当你的组织从在少数平台上运行数十个 AI 代理，扩展到数百或数千个代理时，会发生什么？

　　许多组织正在早期推出 AI 代理，但研究表明，未来一年将有更多代理和助手扩展到更多场景。2026 年 8 月的一份报告称，未来 12 个月内，66% 的企业可能会投资于“数字工人”。据报道，这些代理的首要要求包括证明准确性、对决策给出清晰解释，以及具备人工接管能力。

　　在这一进程的某个时刻，IT、数据和安全负责人将不得不考虑如何管理、监控和衡量数千个在生产中运行的 AI 代理。这正是 AI 代理编排平台的价值所在，因为它们会成为代理间交互以及人对代理交互的中央控制平面。

　　SAP 首席 AI 官兼平台与 AI 负责人 Jonathan von Ruden 表示：“代理编排的未来取决于开放性。除非代理能够通过开放、可互操作的标准进行通信，否则组织不会相信代理能够跨应用、云和公司边界工作。开放标准帮助客户避免碎片化的 AI 环境，加快采用速度，并保持对代理访问企业数据、流程和治理的控制。”

　　在研究方法评估 AI 代理编排平台时，我在这一相对较新的类别中确定了 60 多个商业和开源平台。本文随后介绍推动韧性能力的六项专家建议。

　　衡量结果和业务价值

　　“Token 经济学”——跟踪和管理 AI 代理交付的成本与业务价值——是跨部署代理始终需要衡量的一项重要 AI FinOps 能力。好的平台不仅会考虑财务控制，还会考虑信任、客户影响和碳消耗等其他关键绩效指标。

　　Verint 首席技术官 Rob Scudiere 表示：“每个代理都必须根据收入增长、客户保留率、CSAT、成本降低、eNPS 和产能增长来衡量——这些数字与首席财务官已经在跟踪的数字相同。衡量缺口意味着你无法证明 ROI、优化路由，也无法确定进一步投资的方向。”

　　建议：对于在没有衡量价值和成本的情况下快速部署 AI 代理的组织来说，AI 成本债务是一种风险。仅这一功能就足以证明投资 AI 代理编排平台是合理的。

　　部署前运行评估

　　负责任的开发工程师会编写单元测试，并在部署流水线中建立持续测试。对 AI 代理而言，等价物是编写评估（evals），即用自然语言表达来确定代理准确性及其他质量因素。

　　Font 研发总裁 Vishal Sood 表示，没有评估的代理编排就是没有测试的 CI/CD。“评估和遥测告诉你输出是否良好，并将其反馈到下一次运行中。未经验证就发布的流水线谈不上韧性，它只是很快；每个在软件领域吃过这个教训的团队，都即将在代理上再学一遍。”

　　建议：审查平台的评估引擎，例如 Databricks 中的 LLM-as-a-judge 功能、Snowflake 中的代理评估、LangChain 中的评估平台、Agentforce 中的评估反馈循环，以及 Dataiku 中的评估代理。

　　建立运行时治理

　　在云迁移和现代化时代，先部署再治理是常见做法，但在部署 AI 代理时，这有风险。代理通常可以访问企业的知识产权、客户数据和其他敏感信息，因此一致的基于角色的访问控制（RBAC）是代理部署的必要先决条件。此外，当应用和 API 是确定性的时，硬规则足以规定谁可以访问什么。但使用 AI 代理时，必须在运行时根据治理策略评估请求的上下文。

　　UiPath 负责编排的高级产品营销经理 Chetak Shankar 表示：“如果说有一种能力可以同时推动采用和韧性，那就是内建于执行中的治理，而不是事后补上的治理。这意味着策略执行和审计轨迹要在代理行动发生的那一刻捕获，而不是在故障发生后重建。”

　　Onyx Security 联合创始人兼首席 AI 官 Gil Elbaz 补充说：“代理的速度和复杂性需要运行时保护。这种保护能够理解用户意图，在代理行为发生时进行评估，并确保代理在组织自身治理和运行时策略允许的路径内运行。”

　　对于那些开发专有 AI 代理的组织来说，开发团队需要实施标准，尤其是在使用 AI 代码生成器进行开发时。1Password 首席技术官 Nancy Wang 表示：“通过 API 和自动化为特定任务授予范围窄、时效短的访问权限，验证是谁授权了它，并在工作完成后撤销它。开发者保持机器速度的工作流，同时凭据不在代理可触及的范围内，每个操作都可归因、可审计。”

　　建议：随着组织部署更多代理，访问策略和权限需要集中管理，工作流应利用模型上下文协议（MCP）和代理间交互。

　　标准化决策可观测性

　　可观测的应用与数据管道是事实上的 DevOps 标准。但深入任何组织内部，你都可能在团队、平台和应用之间看到不同的工具和信息质量。AI 代理的可观测性更重要，有助于诊断决策质量、性能和成本。组织将需要可观测性要求，以便始终一致地跟踪代理。OpenTelemetry 正在制定相关标准，我预计若干 AI 代理编排平台将实施该标准。

　　Splunk 产品管理高级总监 Morgan McLean 表示：“通常，当你实施可观测性时，你关心的是捕获延迟、响应信息请求、解决错误，也许还有监控成本；但对于代理或任何生成式 AI，捕获响应的实际质量很重要。你不仅希望看到服务调用运行正常，还希望确保其行为确实符合预期。”

　　为了诊断代理行为问题，平台必须捕获推理步骤、与外部资源的联系、考虑过的决策、做出的决议以及采取的行动。

　　Liferaft 的 CISO Michael Castro 表示：“大多数团队都会记录代理的最终答案，并认为这就完成了，但你真正需要的是包含每次交接在内的决策轨迹。这是对 500 个代理做事件复盘时不靠猜的唯一方法。”

　　Grafana Labs AI 高级总监 Mat Ryer 补充说：“当多代理链失败时，团队需要知道是哪次工具调用、哪次数据检索或哪次交接引入了错误。这种可见性让编排层能够捕获停滞或循环的代理，并让工程师基于假设而非原始遥测来诊断；这正是‘只试点一次的框架团队’和‘敢让代理无人值守运行的框架团队’之间的真正区别。”

　　建议：IT 运营、DevOps 和站点可靠性工程师（SRE）是强可观测性实施的主要受益者。有了 AI 代理，风险管理、信息安全和法律等其他职能也将需要这些信息。当代理遇到质量问题或促成安全事件时，这些团队会希望审查决策轨迹。

　　实现灵活运营

　　多位专家提到了有助于降低成本、提高性能或支持代理决策的能力。一个例子是动态模型选择，这样简化任务就可以卸载到更小、成本更低、内部托管的模型中。

　　NinjaTech AI 创始人、首席执行官兼首席运营官 Babak Pahlavan 表示：“编排的韧性在于拒绝把工作流硬绑定到某一家供应商的模型上。如果你的平台可以把高风险推理任务路由到 Claude，把大批量、低风险工作路由到开放权重模型，并且无需重新架构就能互换任何一项，那么你就对模型贬值和定价变化具有韧性。”

　　Itential AI 战略与创新高级副总裁 Karan Munalingal 表示，一个能采取行动却不能撤销行动的自主代理是一种负债。“韧性编排取决于检测意外结果，并自动将基础设施回滚到已知良好状态的能力，而无需等待人先注意到。这种恢复路径将代理采用从受控试点转变为运营团队在生产中信任的东西。”

　　一个相关功能是集中式代理故障检测和事件解决。Diagrid 首席执行官兼联合创始人 Mark Fussell 表示：“编排代理的挑战不是协调工作流，而是确保这些工作流能从不可避免的故障中自动恢复。代理持久执行正在推动企业采用，因为它允许代理检测故障，并从中断的确切点自动恢复，而不是从头开始。这降低了成本，消除了重复工作，并使长期运行的 AI 系统具备足够韧性来满足关键任务工作负载。”

　　建议：AI 代理是非确定性的，因此即使准确性和价值在生产前得到证明，在初始推出期间，人工和自动化控制将帮助 AI 代理编排平台通过自动化路径解决意外行为，从而形成差异化。

　　改进上下文层

　　一些 AI 编排平台可以监控 AI 代理的准确性和模型漂移。平台还可以改进 AI 代理所依赖的上下文层，其中包含业务知识、语义和业务规则。

　　Concentrix 代理系统主管 Guy Bourgault 表示：“了解先前交互、客户历史和持久业务规则的代理，将以更高的相关性和连续性做出反应。当这种能力成熟时，客户不必重复步骤或信息，流程会变得更高效，决策也会随着系统根据已有知识采取行动而改善。”

　　Kamiwaza AI 联合创始人兼首席技术官 Matt Wallace 表示，在长期复杂任务中提高模型一致性，意味着很多工程工作实际上与系统约束有关。“定义约束与执行、目标与架构、测试与验证。这是为这样一个时代做准备：人们不再问‘AI 能做到吗？’，而是问‘我如何确定 AI 做到了，而且做对了？’”

　　最后，一些平台有助于将人与 AI 的协作标准化。这些能力可以包括：

　　人在中间审核：在采取行动之前审查决定；

　　人机增强工作流：AI 代理推荐行动，人们协作决定如何处理；

　　人类接管和终止开关：当 AI 代理需要纠正路线，或需要从运营职责中拉出时使用。

　　Kosmos 首席执行官兼创始人 Sanjay Gidwani 表示，在代理发现的内容和下一步行动之间应该进行人工检查。“代理列出其调查结果和证据，一个人审查并给出是或否，只有‘是’才能推动代理前进。这一步做了三件事：（1）它阻止错误答案在无人察觉时扩散到四个系统；（2）它给下一个代理一个已获人工批准的依据；（3）它留下谁批准了什么的记录，这是当代理弄错时，任何人首先会要求的东西。”

　　建议：当组织投资于知识管理以提高上下文层信息质量时，AI 代理将变得更聪明并做出更好的决策。此外，应寻找能够在 AI 代理、人工验证和上下文层之间实现反馈回路的 AI 编排平台。在 AI 代理拥有代理所有者和主题专家的绩效与信任历史之前，许多组织将采用人在中间审核和其他人机协作方式。

　　随着组织在生产中部署更多 AI 代理，领导者将认识到需要实现编排、治理、控制、可观测性和指标。AI 编排平台为韧性运营提供了一条路径。