如何确保您的企业数据“人工智能就绪”
将人工智能代理引入员工工作流程和客户体验时,数据风险不容忽视。以下是七项关键实践,助您为企业数据做好人工智能准备。
许多组织正在试水人工智能代理,以明确哪些岗位值得关注、哪些操作适合自动化、哪些环节仍需人工介入。人工智能代理结合了大型语言模型与API接口,使其能够执行操作,并无缝融入不同领域的员工工作流程与客户体验中:
现场运维人工智能代理可总结处理服务请求的步骤。
人力资源代理协助招聘人员为优质候选人安排面试。
财务人工智能代理帮助应对供应链、采购与应收账款管理等日常挑战。
代码代理被整合进人工智能辅助开发平台,以促进协同编码并加速应用开发。
人工智能代理正融入工作场景,参与会议、总结讨论、生成待办任务并安排后续会议。
一流的IT组织正在调整其战略与实践,以开发人工智能代理,同时降低快速部署带来的风险。Workday首席信息官Rani Johnson表示:“构建世界级的IT团队意味着必须引领风险对话。我们与法律、隐私及安全团队密切合作,根据总体战略明确风险容忍度。”
对于每位技术、数据和业务领导者而言,核心问题在于:人工智能代理所调用的底层数据是否已处于“人工智能就绪”状态。根据Ocient的《超越大数据》报告,97%的领导者表示由于人工智能的推动,数据处理需求显著增加,但只有33%的机构为人工智能驱动的工作场所中日益增长的规模与复杂性做好了充分准备。让数据具备人工智能就绪能力至关重要,因为大多数人工智能代理都依赖企业数据来提供符合业务、行业和具体职能的回应与建议。
我咨询了销售、人力资源、财务与IT运营等领域的业务与技术领导者,了解他们如何评估人工智能代理所需的数据就绪程度。以下七项关键实践由此浮现。
集中数据与智能
IT部门已投入大量资源,将数据集中至数据仓库与数据湖,并通过数据结构连接各类资源。然而,数据并不等同于智能,因为许多数据科学与计算工作发生在SaaS工具、数据分析平台及其他平民数据科学工具的下游。更棘手的是,大量电子表格、演示文稿等非结构化文档通常分类混乱,缺乏统一的检索功能。
TCS副总裁兼北美转型负责人Sushant Tripathi指出:“我们需要将智能直接带到数据所在之处,在企业内部构建一个数据就绪的旅程,在源头就嵌入上下文、可信度与质量。这种相互连接的组织智能,如同编织成企业架构的网络,将碎片化信息转化为可信、统一的资产,使得人工智能代理能够以企业级的规模、像最优秀员工一样的速度与上下文采取行动。”
即使IT部门希望集中数据与智能,人工智能代理中使用的“数据债务”积压仍会带来风险。
SAP数据与分析首席营销官Dan Yu强调:“人工智能就绪的数据必须超越数量与准确性,实现统一、可信与受治理,从而培养出可靠的人工智能。借助恰当的业务数据结构架构,组织能够保留上下文、减轻偏见,并将问责机制嵌入人工智能的每一层。这一基础确保了决策的准确性与可审计性,并使人工智能能够基于语义丰富、受控的数据产品进行扩展和适应,从而提供持久的商业价值。”
建议:大多数组织都存在持续的数据运营与数据债务待处理。基于产品思维的IT组织应将数据资源视为产品进行管理,并制定与人工智能优先事项相匹配的路线图。
确保合规与安全标准
在数据安全方面,Securiti首席数据官Jack Berkowitz建议,应着重厘清:谁有权访问生成式人工智能应用中流入或流出的任何特定信息;内容是否包含敏感数据;以及这些数据和信息是如何被处理或查询的。他进一步指出:“当我们转向代理人工智能时,由于其具备主动处理与决策能力,仅设置静态或扁平的防护措施将不再有效。”
必须设置防护栏,以防止人工智能代理失控,并避免在风险高于收益的场景中使用数据。
ReilAI首席执行官Joanne Friedman表示:“大多数企业已建立了可观的安全基础,包括安全软件开发生命周期、静态与传输中加密、基于角色的访问控制、数据丢失防护以及对GDPR、HIPAA和CCPA等法规的遵守。这对传统IT来说或许足够,但对人工智能则不然,因为人工智能的数据变化迅速、使用模式具有突发性,且模型行为必须被控制——而非仅靠推测。”
建议:Joanne建议建立以下四个人工智能风险就绪的数据支柱:
定义人工智能物料清单。
采用NIST人工智能风险管理框架或ISO 42001等风险管理框架。
将生成式人工智能提示视为数据,并防范提示注入、数据泄露及相关滥用。
使用模型卡和数据集数据表记录人工智能,包括预期用途、限制条件及其他资质说明。
定义上下文元数据与注释
人工智能语言模型可能从多个文档和数据源中获得相互矛盾的信息。当员工的提示导致错误回复或产生幻觉时,他们可以通过澄清问题来缩小差距。
然而,随着人工智能代理融入员工工作流程和客户旅程,不良建议与错误行为所带来的风险显著升高。当文档与数据源包含丰富的元数据和注释时,人工智能代理的准确性将得到提升,因为这些信息指明了应如何恰当地使用底层内容。
Graphwise增长与营销高级副总裁Andreas Blumauer解释说:“人工智能需要能够通过添加语义层来理解数据背后的含义,这就像是数据的通用词典。该语义层使用一致的标签、元数据和注释,告诉人工智能每段数据代表什么,并将其直接关联到您的业务概念与问题上。这也是融入特定行业知识或领域知识模型的地方,从而使人工智能理解您的业务背景。”
建议:利用行业特定的分类法与本体,然后应用诸如都柏林核心、Schema.org、PROV-O或XMP等元数据标准。
审查无偏见数据的统计显著性
调查是市场研究的主要工具。研究人员会依据实践来设计调查问题与选项,以尽量减少对受访者的引导。例如,询问使用服务台的员工:“您对我们出色的服务台团队快速响应时间的满意程度如何?”这种问题就带有偏见,因为“出色”和“快速”等词语暗示了主观标准。
研究人员面临的另一挑战是确保所有受访者群体都有足够的样本量。例如,如果只有少数人回复了服务台调查的某个部分,那么据此向高管汇报结果将具有误导性。
在审查用于人工智能的数据时,考虑统计显著性与数据偏见变得更加重要,尤其是在支撑人工智能代理决策的关键数据方面。
华盛顿大学AnswerRocket数据科学主管兼兼职教授Shanti Greene指出:“人工智能就绪的数据不仅需要传统的质量框架,更需要统计严谨性,这包括进行均衡赔率的综合偏见审计、分布稳定性测试,以及建立因果可识别性框架以实现反事实推理。”
“一个矛盾的现象是,那些追求通过复杂生成模型实现转型成果的组织,却仍受限于数据基础设施——这些设施的数据量不足以覆盖边缘案例。人工智能系统依然受限于其统计基础,这证明,在缺乏充分数据上训练的模型可能会产生看似权威、实则为幻觉的‘情报’。”
建议:了解并记录数据偏见应成为数据治理中不可妥协的一环。适用的通用公平性指标包括人口均等与均衡赔率,而统计显著性检验则常使用p值检验。
基准测试与审查数据质量指标
数据质量指标侧重于数据集的准确性、完整性、一致性、时效性、唯一性与有效性。DataPelago总裁JG Chirapurath建议跟踪以下内容:
数据完整性:只有当任何关键字段的条目中,空白或缺失值少于5%时,数据才被视为完整。
统计漂移:如果任何关键统计量的变化超过预期值的2%,则标记该数据以供人工审查。
偏见比率:如果某一群体或细分市场的结果与另一群体或细分市场的结果差异超过20%,则标记该数据以供人工审查。
黄金数据集:人工智能输出必须与人类在样本子集上验证过的基准真值达到90%以上的一致性。
MediaMint董事长兼首席执行官Rajeev Butani补充道:“组织可以通过空值率与重复率、模式与分类一致性、相对于SLA的新鲜度,以及预订、交付与开票记录之间的对账差异等指标来衡量数据就绪度。偏见与风险则可以通过同意覆盖率、个人可识别信息暴露分数以及保留或删除检查来进行测试。”
建议:选择数据质量指标并计算综合数据健康分数,是数据目录的常见功能,有助于建立对数据集用于人工智能和决策的信任。数据治理领导者应传达目标基准,并为低于质量标准的数据集建立审查流程。
建立数据分类、血缘与溯源
除了数据质量,关键的数据治理实践还包括对知识产权和隐私数据进行分类,以及建立数据的血缘与溯源信息。
Immuta创始人兼首席执行官Matt Carroll认为:“未来的方向是将人工智能代理作为非人类身份进行管理,这些身份需要被注册、问责,并受到与身份系统中人员同等的规则约束。这要求将信息按风险等级分类,在人工监督至关重要的环节设立检查点,同时允许低风险交互自由进行。”
Conga产品与组合营销副总裁Geoff Webb分享了两个关键指标,在信任任何代理工作流程的结果之前,必须仔细评估它们:
数据溯源:指数据的来源。来源是否可信?该数据是如何成为您所用数据集的一部分的?
数据时间性:指数据的时效性。需防止使用不再与目标相关的数据,或可能反映过时工作实践、不合规流程或过去不良商业行为的数据来训练模型。
建议:受监管的行业在成熟数据治理实践方面有悠久历史。对于在这些方面落后的公司,数据分类是一个重要的起点。
创建人工介入的反馈循环
随着组织在人工智能中使用更多数据集,主题专家及其他最终用户对人工智能语言模型和代理的准确性进行持续验证至关重要。数据运营应将关于人工智能的反馈延伸至底层数据源,以帮助确定改进优先级,并识别需要新数据集补充的领域。
Principal Financial Group企业业务解决方案副总裁兼首席信息官Ryan Downing说:“在我们的呼叫中心,我们不仅倾听客户互动,还将定性数据反馈给工程团队,以重塑体验的设计方式。我们衡量人们如何与融入人工智能的解决方案互动,以及这些互动如何关联到下游行为,例如,有人在使用了移动应用后是否仍需致电我们。”
建议:非结构化数据集,以及那些记录人们意见和情绪的数据集,最容易出现统计方法不易验证的差异。当人们报告基于这些数据的人工智能模型出现异常响应时,必须追溯到数据中的根本原因,特别是因为许多人工智能模型尚无法完全解释其推理过程。
自动化数据准备清单
DataOps.live首席技术官Guy Adams总结道:“人工智能就绪的数据不仅仅是‘好’数据;它是经过产品化、妥善管理并以正确上下文交付的‘好’数据,因此能够被当今人工智能系统所信任——并可重复用于我们甚至尚未设想的人工智能用例。”
对人工智能代理及其他人工智能能力进行重大投资的组织,将首先确保其数据准备就绪,并自动化执行持续验证的清单。当任何数据集被用于更关键的任务工作流程或更大规模、影响收入的客户体验时,都应相应提高其就绪标准。