人工智能 频道

停止构建无法更改模型的代理

  人工智能模型变化很快,但每次提供商更改其产品时,重建代理成本都很高。稳定的界面和可靠的评估使切换变得更容易。

  没有人能够预测哪个人工智能提供商将赢得下一个基准周期。更聪明的方法是构建一个可以适应模型变化的架构。代理和模型之间有一个稳定的合同,任何单一提供商之外存在的工具和状态,以及使每个模型变化成为可衡量决定的评估。目标不是避免选择首选模式。这是为了确保当下一个模型出现时,改变该选择不需要围绕它重建系统。

  例如,在4月14日通知开发人员后,Anthropic于2026年6月15日从其API中退出了Claude Sonnet 4和Claude Opus 4。任何仍在调用这些模型ID的应用程序都开始收到错误。Claude Opus 4.1于8月5日跟进。当月晚些时候,OpenAI关闭了其整个助手API,并将开发人员指向其响应API。这都不奇怪。每个提供商都提前发布了日期和迁移指南。

  问题在于建筑商。许多团队设计了模型是基础而不是组件的代理,因此当基础移动时,整个建筑也会随着它移动。对于这种设计来说,模型市场发展得太快了,企业应该将模型视为稳定接口背后的可替代计算。通过这样做,他们可以在不重建代理的情况下改变成本、能力、隐私或性能的提供商。

  市场拒绝坐以为,代币成本的上升

  根据Menlo Ventures的数据,OpenAI在2023年占企业大型语言模型(LLM)API使用率的50%。到2025年底,这一比例已降至27%。Anthropic从12%上升到40%,谷歌从7%上升到21%。数据清楚地表明,这个市场的领导权比大多数企业软件合同的续签更快。

  价格走势更快,因为斯坦福大学2025年人工智能指数发现,2022年11月MMLU基准的GPT-3.5级表现为每百万代币20美元,到2024年10月为0.07美元。Epoch AI发现,达到固定性能水平的价格每年下降9倍到900倍,这取决于任务。

  今天任务的模型不会是18个月内该任务的模型,假设相反的架构正在与行业中最一致的趋势背道而驰。

  大多数团队升级而不是切换

  Menlo 2025年年中的调查发现,只有11%的团队在前一年更换了模型提供商,而66%的团队在现有供应商中升级了。这里可能得出的结论是,可移植性并不重要。然而,许多人以另一种方式阅读它。在有如此大变动的市场中,低转换率表明转换比看起来更难。在一个供应商内部升级也是一种迁移,因为新版本会改变输出样式、工具调用行为、延迟和成本。使跨供应商交换变得便宜的架构使同供应商升级也变得便宜。

  代理焊接到一个模型上的地方

  在这种情况下,锁定是通过小的、合理的捷径建立起来的,例如:

  提供商SDK类型在业务逻辑中。导入它们的每个文件都成为迁移的一部分。

  提供商托管状态。提供商平台内的线程、文件存储和矢量索引是最难移动的东西。助手API关闭说明了这一点。

  提示调谐到一个模型的怪癖。这些变通办法在不同的模型上成为死重。

  微调的模型。当其基础模型退役时,调谐的变体停止工作。

  没有独立评估。如果没有测试套件,没有人知道替换是否足够好,所以恐惧让团队保持旧模式。

  稳定的界面是什么样子的

  修复是一个旧系统的想法。在经常变化的部分和不应该变化的部分之间签订稳定的合同。例如,这是Python中的最小草图:

  从数据类导入数据类,字段从输入导入协议@数据类类工具规格:名字:str描述:strjson_schema:字典@数据类类模型请求:系统:str消息:列表[dict]工具:列表[工具规格] = 字段(默认_工厂=列表)任务:str =“默认”@数据类类模型响应:文本:str工具_调用:列表[dict]输入_令牌:intoutput_tokens:int模型_id:str类ModelClient(协议):def complete(自我,请求:ModelRequest)-> ModelResponse:...

  工具使用简单的JSON模式,每个提供商适配器将其转换为自己的格式。“任务”标签允许路由器为每个任务选择一个模型,并允许评估套件对结果进行分组。响应记录令牌计数和服务呼叫的“model_id”,这使得在切换后可以进行成本跟踪和回归分析。

  代理从不导入提供商SDK。配置文件将每个任务映射到一个适配器。更改提供程序将成为配置更改,然后是评估运行。开源网关和OpenAI兼容端点已经处理了其中的大部分。原则比图书馆更重要。

  MCP如何将工具和状态保留在提供商之外

  模型上下文协议(MCP)为代理提供了调用工具和数据源的标准方式。Anthropic于2025年12月将其捐赠给Linux基金会的代理人工智能基金会(AAIF)。MCP服务器背后的工具与任何合规客户端配合使用。Agent2Agent(A2A)协议于2026年3月达到1.0版本,并于8月加入AAIF,允许来自不同供应商的代理移交工作。

  状态属于您运行的系统,因此将对话历史、内存和源文档保存在您自己的数据库和开放格式中。嵌入是特定于生成它们的模型的,因此切换嵌入模型意味着重新生成向量。当源数据被组织起来时,这项工作是例行公事,当唯一的副本存在于提供商的托管存储中时,工作是痛苦的。

  评估是有代价的,但可移植性也是如此

  更换适配器需要一个下午的时间。了解新模型是否足够好,需要一套真实任务示例的测试,通过检查您的团队控制进行评分,并记录每次运行的成本和延迟。有了这个,退休通知就成了例行公事。事实上,Anthropic承诺对公开发布的模型至少提前60天通知。然而,对于有评估套件的团队来说,六十天是足够的,而对于没有评估套件的团队来说,60天的时间非常少。

  然后是可移植性成本。提供商提供其他地方不存在的功能,例如特定的提示缓存行为或推理控制。严格的最低公分母接口会丢掉它们。让适配器声明可选功能,并在有用时让路由器更喜欢它们。代理在没有它们的情况下仍然工作,但成本更高或运行速度更慢,这种权衡仍然可见。

  在配置中为每个任务保留一个基本提示,并覆盖每个模型,有助于控制一切。当覆盖大于基本提示时,将其视为警告。适配器层也需要一个所有者,但与强制重写并不开销,成本仍然很小。

  一个可以将敏感工作负载移动到自托管的开放式权重模型的团队,同时为其他一切保留托管的前沿模型,具有单一提供商团队所缺乏的选项。

  没有人能够预测哪个提供商会赢得下一个基准周期,一个健全的架构不需要这种预测。它需要代理和模型、工具和任何单一提供商之外的状态之间签订稳定的合同,以及将每个模型更改转化为可衡量决策的评估。以这种方式构建的团队仍然选择最喜欢的。他们只是每个季度根据优点进行选择,而不是生活在一个代价太高的选择中。

0
相关文章