每Token成本vs每任务成本:究竟什么决定了AI的投资回报率(ROI)?
2018年,当我们仍处于AI发展的初级阶段时,科技领军人物和咨询公司就已经在讨论早期采用AI所带来的竞争优势。八年过去了,这一观点依然未变。发生变化的是行业格局:企业操作系统正努力跟上新AI模型飞速演进的步伐。
如今,在主要模型发布方面,我们似乎已进入平稳期。我们不需要更多智能模型;相反,我们需要弄清楚哪款模型能以最优成本完成各项任务。这为首席信息官(CIO)创造了一个契机,让他们能够展开一系列战略性对话,从而在不确定性持续令许多组织陷入瘫痪的环境中保持领先。其核心理念很简单:持续投资于AI应用。
诚然,根据麻省理工学院(MIT)的一项研究,2025年部署的95%的AI模型未能达到预期效果。但即便失败,也比原地踏步要好。在过程中调整方向,总比从头开始要容易得多。毕竟,在成为运动员之前,你首先需要学会走路。
没有投资回报率(ROI)的采用并非转型
过去几年最重要的教训之一是:购买AI许可证并不会自动使组织变得更高效,这种错觉早已被彻底破除。与时俱进不再是可选项,而是当务之急。
成功的应用取决于实验:通过持续地试错,测试不同的模型、流程和团队结构。由于技术仍处于不成熟阶段,实验成本相对较低。然而,一旦市场趋于成熟,成本结构可能会发生巨大变化。届时,那些已经探索过多种替代方案的组织将更具优势,能够转向更易获取的解决方案,而不是被锁定在单一的模型提供商身上。
AI成本曾长期被忽视,如今正成为下一阶段的关键挑战之一。海量Token消耗不再等同于创新,它越来越多地转化为巨额的月度账单。许多组织如今正为早期阶段的准备不足付出代价。
为何“Token最大化”偏离了重点
“Token最大化”的时代即将结束。但下一个范式也不能仅仅为了节省Token而一味追求Token最小化。每Token成本和每任务成本并非相互对立的指标。在一个由智能体主导的世界中,这两者正日益成为同一话题。
不同的任务需要不同层次的智能。有些任务可以由较小、高效能的模型处理;而另一些则需要更复杂的模型、更深入的推理、更长的上下文,或者多个智能体的协同工作。因此,一项任务的成本最终取决于你选择的模型以及成功完成该任务所需的Token数量。
正因如此,“Token最大化”这种思路无论从哪个角度看都偏离了重点。Token是消耗品,而非产出,真正的优化不在于将其最大化或最小化,而在于为合适的任务选用合适的智能方案。若在复杂问题上投入更多Token能以更少的迭代次数获得更佳结果,这便是最明智的投资;反之,若将昂贵的模型用于简单任务,则纯属浪费。
真正的要诀在于将每项任务与能够可靠完成且成本最低的模型相匹配,并在任务层面进行衡量,以便提供切实证明。那些将Token增长视为AI采用率的首席信息官(CIO),无异于将成本当作价值来报告。要优化实际数据,我们需要精于理解每个Token所创造的价值。
成本杠杆在实践中的表现
例如,在长达七个月的时间里,我们在自有基础设施上并行运行开源模型和商业API,总Token量的约30%是以近乎零边际成本处理的。节省下来的API支出在第一年就覆盖了硬件投资的相当大一部分——而我们转由开源模型处理的工作负载,其输出质量并未因此下降。最后这一点至关重要:这并非以牺牲质量为代价来降低成本,而是将任务与能够可靠完成且成本最低的模型进行匹配。
当消耗量与成本不再同步增长时,我们也观察到了同样的动态。2026年1月至7月期间,我们的Token总消耗量增长了6.7倍。而我们的支出仅增长了2.2倍。这一差距几乎完全归因于智能路由——将每个查询发送至最合适的模型,而非默认将所有任务都分配给成本最高的模型。这是我会向任何董事会展示的数据:采用率增长速度是成本增长速度的三倍,且并非因为有人减少了AI的使用。这就是网关带来的实际投资回报率:不仅是成本透明度,更是成本杠杆效应。
首席信息官(CIO)的三大优先事项
对于首席信息官(CIO)而言,这一新格局引出了三个关键结论:
首先,AI项目必须以投资回报率(ROI)为导向。将特定流程“代理化”能带来哪些切实的益处?答案可能是节省时间、降低成本、增加收入,或是这三者的某种组合。无论如何,每一项AI投资都必须与可衡量的业务成果挂钩。Token数量或许能说明资源消耗情况,但并不能定义价值。
其次,流程自动化并非简单地在现有工作流上叠加技术。它需要从头开始重新设计流程,以构建原生AI的运营模式。在某些情况下,这甚至可能需要将流程的所有权转移给组织内的另一个团队。
第三,每项任务都应配备专属的智能代理。没有必要在企业内的每个用例中都部署最大、最昂贵的模型。由于缺乏经验,一些公司做出的决定,无异于“用起重机来搬一把椅子”。
AI工作的全新经济模式
这也正在改变软件开发的经济模式。传统上,成本与人力时间密切相关:涉及多少人以及工作耗时多少小时。在代理模型中,计算能力和智能成为这一方程式中更为重要的组成部分,这意味着首席信息官(CIO)需要在任务层面建立成本监测机制,就像我们一直以来以人力和工时来衡量项目一样。
这一新兴范式要求CIO重新思考预算编制本身。工作成本不能再仅以员工薪资来衡量,还必须将执行该工作的技术成本纳入考量。AI并非免费,也永远不会免费。确保每一项投资都能产生可衡量的价值至关重要,这不仅是为了实现回报最大化,也是为了避免与首席财务官(CFO)进行棘手的对话。
如果说工业时代在机器发明后提供了长达十年的机遇窗口,那么当今的技术周期则短得多。在新模型爆发式增长之后,我们似乎正进入一个相对稳定的时期。未来三年,行业发展的主旋律很可能是大规模应用,而非突破性产品发布。
善用这一窗口期的企业,将在竞争中确立显著优势。任务代理化、流程重构、模型多样化、生产力衡量以及成本控制,是新时代运营可靠性的基石。Token消耗量将告诉我们成本是多少……但投资回报率(ROI)才将决定这项投资是否物有所值。
作者:作为首席信息官,Sebastian Arriada负责领导Globant的IT转型,通过敏捷性和以Globers为中心的策略来加速公司的发展。
来自 “ https://www.hpcwire.com/bigdatawire/2026/08/31/cos ”