LLM-Rosetta: A Hub-and-Spoke Intermediate Representation for Cross-Provider LLM API Translation

📄 arXiv: 2604.09360v1 📥 PDF

作者: Peng Ding

分类: cs.SE, cs.AI

发布日期: 2026-04-10

🔗 代码/项目: GITHUB

💡 一句话要点

LLM-Rosetta：一种用于跨LLM API提供商翻译的Hub-and-Spoke中间表示

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 API转换 中间表示 互操作性 多提供商 流式传输 开源框架

📋 核心要点

  1. 现有LLM API生态碎片化，应用与特定供应商绑定，切换成本高昂，缺乏可移植性。
  2. LLM-Rosetta提出Hub-and-Spoke中间表示，捕获API的共享语义核心，实现API间的双向转换。
  3. 实验证明LLM-Rosetta具有无损保真度、正确的流式传输行为和低转换开销，已在生产环境部署。

📝 摘要（中文）

大型语言模型（LLM）提供商的迅速增加，导致了各自专有API格式的出现，从而创建了一个碎片化的生态系统，应用程序与单个供应商紧密耦合。切换或桥接提供商需要O(N^2)个双边适配器，阻碍了可移植性和多提供商架构。我们观察到，尽管存在巨大的句法差异，但主要的LLM API共享一个共同的语义核心：实际的挑战是句法变体的组合表面，而不是深层的语义不兼容性。基于这一发现，我们提出了LLM-Rosetta，这是一个开源翻译框架，建立在hub-and-spoke中间表示（IR）之上，该IR以9种类型的内容模型和10种类型的流事件模式捕获共享的语义核心——消息、内容部分、工具调用、推理轨迹和生成控制。模块化的Ops-composition转换器架构使每个API标准都可以独立添加。LLM-Rosetta支持请求和响应有效负载的双向转换（提供商到IR到提供商），包括具有状态上下文管理的块级流式传输。我们实现了四个API标准（OpenAI Chat Completions、OpenAI Responses、Anthropic Messages和Google GenAI）的转换器，涵盖了绝大多数商业提供商。实证评估表明，无损往返保真度、正确的流式传输行为和低于100微秒的转换开销——与LiteLLM的单程方法相比具有竞争力，同时提供双向性和提供商中立性。LLM-Rosetta通过了Open Responses合规性套件，并在阿贡国家实验室投入生产。代码可在https://github.com/Oaklight/llm-rosetta获得。

🔬 方法详解

问题定义：当前，各种LLM提供商使用不同的API格式，导致应用程序与特定供应商绑定，难以在不同LLM之间切换。构建多LLM提供商架构需要大量的双边适配器，成本高昂且难以维护。现有方法缺乏一种通用的、可扩展的解决方案，以实现不同LLM API之间的互操作性。

核心思路：论文的核心思路是，尽管不同LLM API的语法差异很大，但它们在语义上是相似的。因此，可以通过定义一个中间表示（IR）来捕获这些API的共享语义核心，从而实现不同API之间的转换。这种Hub-and-Spoke架构可以减少适配器的数量，提高可移植性和可维护性。

技术框架：LLM-Rosetta采用Hub-and-Spoke架构，其中IR作为中心枢纽，各个LLM API作为辐条。框架包含以下主要模块：1) 内容模型：定义了9种类型的内容，用于表示LLM API中的各种信息，如消息、内容部分和工具调用。2) 流事件模式：定义了10种类型的流事件，用于处理LLM API的流式传输。3) 转换器：用于将LLM API的请求和响应转换为IR，以及将IR转换为LLM API的请求和响应。转换器采用模块化的Ops-composition架构，可以独立添加新的API标准。

关键创新：LLM-Rosetta的关键创新在于其Hub-and-Spoke中间表示，它能够捕获不同LLM API的共享语义核心，从而实现API之间的双向转换。与传统的双边适配器方法相比，LLM-Rosetta可以显著减少适配器的数量，提高可移植性和可维护性。此外，LLM-Rosetta还支持流式传输和状态上下文管理，使其能够处理复杂的LLM应用。

关键设计：LLM-Rosetta的内容模型和流事件模式是其关键设计。内容模型定义了9种类型的内容，包括文本、图像、音频、视频、工具调用等，可以灵活地表示LLM API中的各种信息。流事件模式定义了10种类型的流事件，包括开始、结束、数据、错误等，可以有效地处理LLM API的流式传输。转换器采用Ops-composition架构，可以根据API的特点灵活地组合不同的操作，实现高效的转换。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，LLM-Rosetta实现了无损的往返保真度，能够正确处理流式传输，并且转换开销低于100微秒。与LiteLLM相比，LLM-Rosetta在提供双向性和提供商中立性的同时，保持了具有竞争力的性能。LLM-Rosetta还通过了Open Responses合规性套件，并在阿贡国家实验室投入生产，证明了其在实际应用中的有效性。

🎯 应用场景

LLM-Rosetta可应用于需要跨多个LLM提供商进行集成的场景，例如构建多LLM代理、实现LLM的负载均衡和容错、以及开发LLM的通用接口。该框架可以降低LLM集成的复杂性和成本，提高应用程序的可移植性和可维护性，并促进LLM生态系统的发展。

📄 摘要（原文）

The rapid proliferation of Large Language Model (LLM) providers--each exposing proprietary API formats--has created a fragmented ecosystem where applications become tightly coupled to individual vendors. Switching or bridging providers requires $O(N^2)$ bilateral adapters, impeding portability and multi-provider architectures. We observe that despite substantial syntactic divergence, the major LLM APIs share a common semantic core: the practical challenge is the combinatorial surface of syntactic variations, not deep semantic incompatibility. Based on this finding, we present LLM-Rosetta, an open-source translation framework built on a hub-and-spoke Intermediate Representation (IR) that captures the shared semantic core--messages, content parts, tool calls, reasoning traces, and generation controls--in a 9-type content model and 10-type stream event schema. A modular Ops-composition converter architecture enables each API standard to be added independently. LLM-Rosetta supports bidirectional conversion (provider-to-IR-to-provider) for both request and response payloads, including chunk-level streaming with stateful context management. We implement converters for four API standards (OpenAI Chat Completions, OpenAI Responses, Anthropic Messages, and Google GenAI), covering the vast majority of commercial providers. Empirical evaluation demonstrates lossless round-trip fidelity, correct streaming behavior, and sub-100 microsecond conversion overhead--competitive with LiteLLM's single-pass approach while providing bidirectionality and provider neutrality. LLM-Rosetta passes the Open Responses compliance suite and is deployed in production at Argonne National Laboratory. Code is available at https://github.com/Oaklight/llm-rosetta.