诚实的事实是，大多数企业应该同时使用云和本地。假装不是会导致昂贵的架构错误。

　　信用：Golden Dayz/Shutterstock

　　每隔几周，另一位企业领导人都会问我同样的问题：我们的人工智能代理应该在云端运行还是在我们自己的数据中心运行？这听起来很简单，但制定决定的方式是错误的。代理不是单一的工作量。它们是模型推理、工具执行、内存状态和集成逻辑的编排集合。有些作品属于云，有些作品属于本地，我反复看到的失败模式是根据意识形态或供应商的销售甲板来选择位置，而不是根据每个代理的工作特点。让我们好好处理这个问题，因为错误的答案会很快变得昂贵。

　　云的案例

　　云对代理的核心优势是弹性与托管服务相结合。公共云上的代理平台为您提供按需模型API、用于工具执行的无服务器功能、托管矢量数据库、身份集成和可观察性，所有这些都可以在几天内而不是几个月内到达。如果您的代理有突发或不可预测的需求，大多数需求确实如此，云允许您只为您消费的东西付费，而不是为永远不会到达的峰值负载调整硬件大小。

　　成本在低到中度和尖刺利用率下是有利的。每个令牌的API定价和基于消耗的计算意味着您避免了前期的硬件投资，并且您卸下了GPU故障、驱动程序更新和容量规划的未区分繁重工作。对于面向客户的助理、工作流程代理和文档分类等前台用例，性能通常可以接受，其中云区域的延迟可以忽略不计，您可以横向扩展。

　　开发和部署是云真正获胜的地方。您的团队可以每天迭代代理行为，利用与现有SaaS和数据服务的原生集成，并一键在全球范围内部署。提供商处理操作——模型更新、安全补丁和容量管理——您已经超载的平台工程师会欣赏这些操作。

　　不过，缺点是真实的。在持续的高利用率下，云推理成本随着数量的增长而线性增长，利润率迅速压缩。您还承担数据严重性和治理风险。进入敏感系统的代理通过提供商租赁推送受监管的数据，合规团队应该提出棘手的问题。最后，有锁定。代理框架、专有模型端点和提供商特定工具易于建立，但放松时很痛苦。

　　本地案例

　　在您拥有的硬件上运行代理对于三种模式是有意义的：高和持续的推理量、严格的数据驻留或主权要求，以及与本地系统（如工厂车间、医院网络和交易操作）绑定的延迟敏感工作负载。一旦您的代理车队全天候运行，摊销的GPU成本加上能源加上运营可能会低于您向云提供商支付的每个令牌，特别是如果您运行高效的开放式模型而不是高级前沿API。

　　本地还让您控制代理最接触的一件事：您的数据。处理患者记录、金融交易或机密材料的代理可以将所有内容保持在您的安全边界内，这使得审计、合同义务和主权要求大大简化。您控制模型版本、升级时间和整个操作表面，因此不会在一夜之间破坏生产代理的无声模型弃用，这种情况比任何人都承认的更频繁。

　　缺点同样明显。资本成本很高，现代推理GPU每个运行数万美元，无论你是否达到峰值，你都会达到顶峰。您拥有整个堆栈：电源、冷却、硬件刷新周期、内核和驱动程序更新，以及可靠运行GPU车队的稀缺技能。利用是杀手。以20%运行的本地GPU是一台无论是否工作都要支付租金的机器。开发速度受到影响，因为您的团队将周期花在基础设施上，而不是代理行为上。

　　公共云、私有云或裸机

　　这三者不是一回事，将它们混为一二为一会导致错误的决定。公共平台，即超大规模模型服务和代理运行时间，交易速度和规模的控制。它们适合实验、面向客户的代理以及任何第一天就需要前沿模型质量的东西。私有云平台、您自己的基于VMware、OpenStack或OpenShift的环境越来越多地作为托管设施内的裸机部署提供，并为您提供云式自动化和通过您控制的硬件的自助服务。对于许多企业来说，这是务实的中间地带：在私有云上设置专用推理集群，以云原生编排为前线，数据和模型保持原位。

　　拥有原始硬件是完全不同的动物。在高持续利用率和可配置性下，每个代币是最便宜的，但它也是操作要求最高的，你放弃了代理经常需要的弹性。我的经验法则：公共云用于可变和前沿模型工作负载，私有云用于具有治理限制的稳定内部代理车队，只有当数量、延迟或法规证明承担全部运营负担是合理的时，才拥有硬件。

　　在代理人工智能方面获胜的企业并没有争论云与本地。他们正在映射每个代理的配置文件，包括数量、数据敏感性、延迟容忍度和增长轨迹。然后，他们将其与正确的执行位置相匹配，他们正在构建便携式设计，以便工作负载可以随着经济变化而移动。便携式架构是真正的投资。一旦你做完作业，位置问题就会自行回答，它通常会混合回答。