当团队在预算下测量工作流程并运行系统时，生成性人工智能计划的投资回报率就会变得清晰。这是一个移动过去试点的计划。

　　来源：Shutterstock

　　生成性人工智能飞行员通常看起来很成功。团队收集积极的反馈，该工具看到稳定的使用，组织期望快速扩展。投资回报率讨论从节省的时间开始，以请求更多用例结束。当生产成本和采用现实出现时，这种模式会导致失望。

　　我把生成性人工智能的投资回报率视为一个具有明确界限的测量问题。投资回报率是工作流程在规定时期内交付的净价值，在组织所需的风险控制下，考虑了整个生命周期成本。

　　工作流程是价值的单位。模型是一个组件。工作流程将努力与对业务重要的结果联系起来。

　　阿德南·马苏德

　　定义工作流程和结果

　　工作流程是产生业务结果的可重复步骤序列。示例包括客户支持解决方案、索赔处理、供应商入职、工程变更管理和安全分类。工作流程有所有者、输入、输出和可衡量的性能。

　　结果指标因领域而异。我选择了一套与交货和质量相关的小套装。在支持方面，这可能是第一次响应和解决率的时间。在工程中，它可以是周期时间和缺陷逃逸率。在合规性方面，可以审查吞吐量和例外率。

　　在引入生成性人工智能之前，我记录了一个基线。基线应该反映正常条件和正常季节性。当结果看起来不错和结果看起来平淡时，基线会创造可信度。

　　以全额成本构建投资回报率等式

　　我使用一个简单的方程，以便讨论保持具体。

　　投资回报率=（成果价值-总成本）/总成本

　　成果价值=（节省时间*加载成本）+收入提升+损失避免总成本=构建成本+运行成本+治理成本+变更管理成本

　　构建成本包括工程、平台工作、评估、安全审查以及与记录系统的集成。运行成本包括推理、检索、存储、监控、事件响应和供应商成本。治理成本包括审计、红色团队练习和政策维护。变更管理成本包括培训、工作流程重新设计和采用期间的支持。

　　团队在早期低估了运行成本。随着模型和数据源的发展，他们还低估了保持系统稳定所需的努力。

　　阿德南·马苏德

　　使用将活动与结果联系起来的指标堆栈

　　我跟踪四层指标。每个层回答不同的问题。

　　活动指标跟踪使用情况。他们回答目标受众是否正在使用该工具。

　　质量指标跟踪正确性和可靠性。他们回答系统是否根据政策产生可接受的产出。

　　工作流程指标跟踪运营绩效。他们回答工作流程是否以可衡量的方式得到改善。

　　业务指标跟踪经济影响。他們回答變化是向重大方向轉移成本、收入或風險。

　　一个健康的程序通过仪器将这些层连接在一上。没有工作流程改进的活动增长会指向采用摩擦或薄弱的整合。具有稳定活动信号评估间隙或检索漂移的质量回归。

　　完成工作的仪器结果

　　当结果测量位于工作流程执行的系统中时，它就起作用了。在客户支持中，仪器化票务系统。在销售中，仪器CRM。在工程中，仪器回购和CI管道。这些系统提供时间戳、状态更改和最终处置。

　　我还在用户界面中添加了轻量级反馈捕获。当用户拒绝回答时，我会要求提供简短的原因代码。原因代码训练优先级，并减少迭代过程中的猜测。

　　选择具有运营杠杆的用例

　　一些用例会产生持久的收益。其他人产生孤立的储蓄，这些储蓄逐渐消失。我寻找运营杠杆。

　　具有一致结构和清晰结果的大容量工作流程。

　　具有大量上下文查找的工作流程，其中检索取代了手动搜索。

　　具有昂贵的交接流程，其中助理通过更好的第一次通过质量来减少返工。

　　包含可检索和引用的文档化政策和游戏手册的工作流程。

　　通过工具和审批，工作流程具有明确的自动化路径。

　　这些特性支持可重复的测量。他们还支持治理，因为政策和证据已经存在。

　　将采用作为投资回报率的一部分来处理

　　采用会影响价值的实现。用户采用适合其现有流程的工具。我把采用设计成一个交付问题。助手应该出现在工作发生的地方，上下文切换最少。它应该保留用户对最终决定的控制权。

　　培训很重要。特定于角色的指导更加重要。我为每个角色提供简短的剧本，其中有与他们日常任务相匹配的例子。我保持界面可预测。我保持工具输出的可追溯性。

　　运行受控的推出并比较队列

　　队列方法加强了投资回报率的索赔。我比较了能够访问该工具的团队和在同一时期没有访问权限的类似团队。尽可能控制工作量差异。我跟踪使用、质量和结果的漂移。

　　这种方法揭示了价值集中在哪里。它还揭示了该工具在哪里需要更好的集成或更好的检索。

　　常见的投资回报率故障模式

　　当投资回报率停滞不前时，我也看到了同样的问题。

　　飞行员通过自我报告的时间节省和没有基线来衡量。

　　仅基于使用情况的价值声明，没有工作流程结果跟踪。

　　运行成本被视为平台关注点，每个工作流程没有预算所有者。

　　允许质量漂移的评估差距，这降低了信任和使用。

　　工作流程集成是事后考虑的，这增加了用户的努力。

　　产生可信投资回报率信号的90天计划

　　我为团队通过试点项目使用一个简短的计划。

　　第 1 到第 2 周：选择一个具有明确所有者的工作流程，确定结果指标的基线，并定义每笔交易的成本预算。

　　第3-5周：对工作流程系统进行仪器化，构建评估套件，并发布小型队列版本。

　　第6-9周：每周迭代检索质量和失败原因，扩大队列，并强制执行成本路由。

　　第10-13周：发布带有基线、队列比较和全成本核算的结果。决定规模、暂停或重新设计。

　　最低可行清单

　　在团队声称生产投资回报率之前，我会寻找七个要素。

　　工作流程所有者和可衡量的结果指标，并记录在案的基线。

　　记录系统中的仪器，用于时间戳、处置和吞吐量。

　　请求路径中包含路由和护栏的成本预算。

　　跟踪质量和安全回归的评估套件。

　　带有比较数据的队列推出计划。

　　采用计划，包括特定于角色的指导和反馈原因代码。

　　运行成本、事件响应和治理更新的运营计划。

　　清除投资回报率

　　当团队在预算下衡量工作流程并操作系统时，投资回报率就会变得清晰。这种方法使投资决策有根据。它还使预期与生产要求保持一致。