数据分析和机器学习在商业领域的应用潜力巨大，然而，许多项目并未能充分发挥其商业价值。
据Foundry的《首席信息官2024年状况》报告显示，尽管80%的首席信息官负责研究和评估技术堆栈中可能增加的人工智能技术，且74%的人正在与业务部门领导在AI应用上进行更紧密的合作，但只有54%的首席信息官的IT预算有所增加。这表明，尽管人工智能的投资需求迫切，但实际投入仍然受限。
在这一背景下，首席信息官、IT和数据科学团队需要保持清醒的头脑，避免被人工智能的热潮所迷惑。事实上，近期研究显示，尽管投资回报率、收入增长和效率提升被视为分析项目成功的关键指标，但仅有32%的受访者能够成功部署超过60%的机器学习模型。更令人担忧的是，超过半数的受访者并未定期衡量分析项目的绩效，这可能意味着许多项目并未能实际产生商业价值。
组织应理解，模型层面的高部署率并非一蹴而就，而是需要通过反复实验和迭代，才能将业务目标有效转化为精确的模型、实用的数据面板以及能提升生产力的人工智能工作流程。然而，如果组织在分析项目的商业价值转化上表现不佳，可能会导致资金削减、方法替代或在竞争中落后。
技术和数据问题固然是导致分析工作失败或表现不佳的原因，但更深层的问题往往与组织管理和流程有关。商业领导需要更直接地与数据科学团队合作，并深入理解机器学习的开发生命周期。同时，数据科学团队也应设定明确的部署和预测目标，因为机器学习模型的部署不仅是一门技术，更是一门艺术。
在深入调查了导致绩效不佳的组织和流程问题后，我认为，数据科学团队需要在多个方面进行改进。而最重要的是，除了模型部署，他们还需确保业务团队能够充分利用所提供的分析能力，从而真正实现投资回报率、增长和效率的提升。这不仅是技术问题，更是组织协作和流程优化的问题。只有这样，数据分析和机器学习的商业价值才能被最大化。
为什么许多分析和机器学习工作未能实现
我们将研究以下原因，为什么分析和机器学习工作可能无法按预期提供业务价值，以及团队如何改进：
- 分析与最终用户工作流程脱节
- 数据科学家与开发人员之间合作不足
- 对变革管理的忽视
- 缺乏从实验中学习的态度
- 没有自动化或集成的分析能力
- 缺乏生产环境验证的概念证明
- 领导力和人才技能差距
分析与最终用户工作流程脱节
我经常从数据科学的领导者那里听到的一个核心问题是：团队需要更深入地理解他们的模型和分析如何与最终用户的工作流程相融合。如果预测模型未能整合或自动化到人们做决策所依赖的系统中，那么这些模型就很难得到最终用户的广泛接纳和应用。
Tredence的首席战略官Soumendra Mohanty强调：“在构建和开发人工智能解决方案时，我们应从用户体验出发，明确理解推荐、预测或自动化功能将如何推动业务产生实质性的影响。”在数据分析和科学领域，关键不在于向用户展示一堆与业务系统脱节的仪表盘，而在于深入访谈最终用户，精准把握问题的核心。
解决方案：即便数据科学团队的主要职责是构建模型，模型的开发过程也应始于一个明确的愿景声明，该声明应阐述如何提供价值，以及如何将这些分析解决方案有效地整合到现有的业务流程中，或者在某些情况下，如何对现有流程进行必要的改革。这意味着，数据科学团队不仅需要精通技术，还需要具备业务流程和用户体验方面的知识，以确保其工作能够真正为最终用户带来价值。
数据科学家与开发人员之间合作不足
为了实现最终用户能够采纳的生产工作流程，除了模型部署之外，还需要数据科学家与软件开发人员紧密协作，共同完成集成、应用程序调整以及工作流更新等任务。
Thirona的首席技术官Rita Priori指出：“在人工智能或机器学习项目的生产过程中，一个常见的管理问题是数据科学家和软件开发人员之间缺乏适当的合作框架或沟通节奏。”她强调，“当模型成熟到可以投入生产时，数据科学和软件开发两个团队必须尽早汇聚一堂，以协调接下来的工作，并确保开发人员充分理解这项工作如何与他们的专业领域相衔接。”
一个核心议题是，何时引入软件团队以了解模型并确定所需的系统调整。Priori认为：“在实验阶段过早地让软件团队介入是不现实的，而如果没有接收团队的参与，将想法推进得过远则可能导致效率低下。”她强调，“明确传达数据科学家和开发人员何时应交接模型的期望，对于通过产品化工作提供价值至关重要。”
解决方案：构建灵活、敏捷的数据科学团队，并在分析生命周期的不同阶段引入具备不同技能的成员。在项目早期规划阶段，这些团队可能包括六西格玛和用户体验专家，以审查现有的工作流程并思考如何进行工作流程的优化。随着模型开始展现出有前景的结果，团队可以引入软件开发人员来规划实施细节，包括应用程序的调整和集成工作。这样的协作模式有助于确保数据科学工作能够顺利转化为实际生产力，并最终为用户提供价值。
对变革管理的忽视
对变革管理的重视不足，往往是数据科学和开发团队容易忽视的一项职责。期望最终用户在没有相应变革管理流程的情况下，能够接受并采纳支持机器学习的工作流程改进，这无疑是一种误解。特别是当机器学习模型改变了决策能力或通过工作流程自动化进行交付时，变革管理显得尤为重要。
StreamAlive的首席执行官兼联合创始人Lux Narayan指出，技术团队与业务团队之间的一致性缺失，以及项目初期就未能获得员工的认同，是阻碍新技术采用的主要障碍。“员工和团队必须完全理解为什么创新努力如此重要，这样他们才能明白如何实现自身的目标。团队领导和组织负责人应确保沟通的简化，提供同步和异步的通信技术，并确保业务团队、IT团队以及分析领导者之间定期进行调整，确保他们正在深入研究实施细节。”
解决方案：首先由利益相关者和选定的最终用户共同起草愿景声明，明确哪些预测是重要的，探讨这些预测对工作流程的影响，并设定成功的标准。在数据科学和开发的过程中，应邀请关键的利益相关者和最终用户参与冲刺规划会议，为需求提供意见，并通过冲刺审查来监督正在进行的进度。这样的做法不仅增加了透明度，还确保了所有人的目标都是一致的，从而提高了项目的成功率和用户的接受度。
缺乏从实验中学习的态度
数据科学家虽然深知他们工作的实验性和迭代性，但可能忽略了在用户体验中嵌入模型和改进工作流程也需要通过迭代发布和反馈来进行优化。即便团队部署了初步可行的体验，也必须采访最终用户和利益相关者，了解需要进行哪些调整和改进。
“人工智能的实现可以成为提升用户体验的强大加速器，也可能成为令用户和应用程序不堪重负的麻烦功能，”LaunchDarkly的高级总监Cody De Arkland指出。“产品领导者必须确保人工智能功能的实现符合最终用户所需的工作流程，作为一种‘附加’体验，而非破坏者。通过实验来确保积极的用户情绪，可以帮助您快速推广人工智能功能，同时避免因强迫用户接受糟糕体验而失去客户的风险。”
解决方案：数据科学团队应考虑采用一些技术来解决此问题，包括进行A/B测试来衡量不同实现对用户的影响，并对最终用户进行定性调查。此外，开发人员和数据科学家还应确保应用程序和工作流程是可观察的，以便捕捉和审查性能问题、软件缺陷、机器学习模型问题或可用性问题。
缺乏自动化或集成的分析
向最终用户提供更多的数据、预测、仪表板和报告可能具有价值，但也可能带来生产力的潜在成本。当部署的报告工具与用于工作流程和决策的平台断开连接时，数据科学团队可能会为员工创造更多的工作负担。另一个问题是，当分析提供新的见解时，却需要大量的手工工作来实施这些见解。因此，自动化和集成应该是分析交付计划中的优先事项。
Kumo的首席执行官兼联合创始人Vanja Josifovski表示：“分析是需要人类消耗的，它们是不可扩展的部分。”“大多数关键的企业用例，如个性化和推荐，都是基于预测的。释放这些用例价值的途径是使机器学习更加容易、更加自动化，然后扩展到更多的人工智能用例。”
解决方案：一种融合仪表板和应用程序之间简单集成的方法是通过嵌入式分析，即将数据可视化或商业智能工具的可视化集成到带有JavaScript或iframe的用户界面中。正如Sisense首席执行官Ariel Katz在最近一篇关于嵌入式分析新时代的博客文章中所指出的那样，API提供了更丰富的集成选项。“转向嵌入式分析的API将使开发人员能够快速适应变化并为用户创造新价值，从而产生更高的投资回报率。”
缺乏生产结果的概念证明
即使产品管理、设计思维和六西格玛等学科监督敏捷团队与业务、数据科学和软件开发进行协作，仍存在风险。即使进行合作，仍可能运行过多的概念证明（POC）并不断迭代改进，而不会将具有分析能力的工作流程推入生产环境。
当这些问题在相当长的时间内持续发生时，可能表明POC与业务的战略方向不一致，或者领导层没有确定其战略分析优先事项。
Teradata的首席产品官Hillary Ashton说：“人工智能失败的首要原因是缺乏战略方向，还有POC的困境，大多数模型从未离开过实验室。”“将分析功能更有效地产品化的一种方法是使用可重复使用的数据产品或经过精选的可信数据集。使用可信的数据是建立人工智能信任的关键。”
解决方案：如果数据科学团队在反复进行POC测试时没有什么可展示的成果，领导层应该介入提供指导，并在模型准备就绪时促进工作流程的更改。CsiBizInfo的联合创始人兼首席运营官Paul Boynton表示：“真正的价值来自于领导力利用这些见解，并在组织内做出具体改进。”
领导力和人才技能差距
组织必须努力解决他们是否具备领导才能和技能，以跟上人工智能能力、新技术和不断发展的商业战略的高速变化。一个问题是当组织不认同终身学习文化时，数据科学和技术人员没有足够的机会采用现代化的分析方法。在其他情况下，才华横溢的团队可能被陈旧的技术所拖累，无法专注于新的业务、分析和技术机会。
技术和数据科学技能差距可以通过招聘、培训和合作来解决。另一个挑战是团队是否具备足够的商业洞察力来将分析能力与业务需求和机会联系起来。
关于人工智能，尤其是生成式人工智能，是新的领导要求还是数据科学和技术责任的延伸，尚存争议。但成功的公司已经创建了人工智能领导角色，建立了多学科的人工智能/机器学习团队，并投资了简化人工智能项目开发、运营和治理的集成平台。
解决方案：尽管围绕人工智能存在炒作，但许多公司已经证明了其数据科学投资的有效性。组织必须建立自己的能力才能取得成功。当分析投资表现不佳时，领导者应首先关注人员和流程问题。组织通过定义领导角色、确定优先事项、推动多学科合作和促进学习活动而获得成功。
