在过去的几年里，人们对人工智能 (AI) 产生了很多担忧，因为商界人士和技术专家都担心他们认为这些系统拥有巨大的决策能力。

　　作为一名数据科学家，我习惯于为人工智能的可能性和局限性发声。在本文中，我将解释公司如何使用区块链技术进行模型开发治理，这是更好地理解人工智能的突破，使模型开发过程可审计，并为人工智能决策识别和分配责任。

　　使用区块链进行模型开发治理

　　尽管人们普遍意识到治理人工智能的必要性，但关于如何治理人工智能的讨论往往含糊不清，例如《哈佛商业评论》中的“如何在人工智能中建立问责制”：

　　评估治理结构。 管理 AI 的健康生态系统必须包括治理流程和结构...... AI 问责制意味着在组织层面寻找治理的可靠证据，包括 AI 系统的明确目标和目标；明确定义的角色、职责和权限；能够管理人工智能系统的多学科劳动力；广泛的利益相关者；和风险管理流程。此外，寻找系统级治理元素至关重要，例如特定 AI 系统的记录技术规范、合规性以及利益相关者对系统设计和操作信息的访问。

　　这份详尽的要求清单足以让任何读者目瞪口呆。组织究竟如何获取“系统级治理元素”并提供“利益相关者访问系统设计和运营信息”？

　　以下是切实可行的建议：使用区块链技术确保所有关于人工智能或机器学习模型的决策都被记录下来并且是可审计的。（全面披露：2018 年，我提交了一项美国专利申请 [16/128,359 USA]，围绕使用区块链进行模型开发治理。）

　　区块链如何创造可审计性

　　开发 AI 决策模型是一个复杂的过程，其中包含无数增量决策——模型的变量、模型设计、使用的训练和测试数据、特征的选择等等。所有这些决定都可以记录到区块链中，这也可以提供查看模型原始潜在特征的能力。您还可以将构建变量集不同部分以及参与模型权重创建和模型测试的所有科学家记录到区块链中。

　　模型治理和透明度对于构建可审计的道德 AI 技术至关重要。在区块链技术的支持下，这些决策的总和和总记录提供了在内部有效管理模型、赋予问责制并满足肯定会为您的 AI 服务的监管机构所需的可见性。

　　区块链之前：分析模型漂移

　　在区块链成为流行语之前，我开始在我的数据科学组织中实施类似的分析模型管理方法。2010 年，我制定了一个以分析跟踪文档 (ATD) 为中心的开发流程。这种方法详细的模型设计、变量集、科学家分配、培训和测试数据以及成功标准，将整个开发过程分解为三个或更多敏捷冲刺。

　　我认识到需要采用 ATD 的结构化方法，因为我已经看到了太多的负面结果，这些负面结果已经成为金融行业的常态：缺乏验证和问责制。以银行业为例，十年前分析模型的典型生命周期如下所示：

　　数据科学家构建模型，自行选择其中包含的变量。这导致科学家创建冗余变量，而不是使用经过验证的变量设计并在模型代码中创建新错误。在最坏的情况下，数据科学家可能会使用可能引入偏差、模型敏感性或目标泄漏的变量做出决策。

　　当同一位数据科学家离开组织时，他或她的开发目录通常会被删除，或者，如果有许多不同的目录，则不清楚哪些目录负责最终模型。银行通常没有模型的源代码，或者可能只有其中的一部分。仅查看代码，没有人明确了解模型是如何构建的、构建模型的数据以及模型构建中的假设因素。

　　最终，银行可能会通过假设模型构建正确并且表现良好而处于高风险境地 - 但也不是真的知道。银行无法验证模型或了解模型在什么情况下不可靠或不可信。这些现实导致不必要的风险或大量模型被丢弃和重建，经常重复上述过程。

　　一个区块链来编码问责制

　　我正在申请专利的发明描述了如何使用区块链技术对分析和机器学习模型开发进行编码，以将实体链、工作任务和需求与模型相关联，包括测试和验证检查。它复制了我在组织中用来构建模型的大部分历史方法——ATD 本质上仍然是我的科学家、经理和我之间的合同，它描述了：

　　型号是什么

　　模型的目标

　　我们如何构建该模型，包括规定的机器学习算法

　　该模型必须改进的领域，例如，在交易级别上将不存在卡 (CNP) 信用卡欺诈提高 30%

　　科学家必须解决问题的自由度，以及他们不需要的自由度

　　重用受信任和经过验证的变量和模型代码片段

　　训练和测试数据要求

　　道德 AI程序和测试

　　稳健性和稳定性测试

　　特定模型测试和模型验证清单

　　指定的特定分析科学家选择变量、构建模型和训练它们以及验证代码、确认结果、执行模型变量测试和模型输出的人员

　　模型和特定客户群的特定成功标准

　　指定的特定分析冲刺、任务和科学家，并满足正式的冲刺审查/批准要求。

　　如您所见，ATD 提供了一组非常具体的要求。该团队包括直接建模经理、分配给项目的一组数据科学家，以及作为敏捷模型开发过程负责人的我。一旦我们都协商好我们的角色、职责、时间表和构建要求后，团队中的每个人都会签署 ATD 作为合同。ATD 成为我们定义整个敏捷模型开发过程的文档。然后，它被分解为一组需求、角色和任务，这些需求、角色和任务被放到区块链上进行正式分配、工作、验证和完成。

　　根据每个要求跟踪个人，然后团队评估一组现有的抵押品，这些抵押品通常是以前经过验证的可变代码和模型的片段。有些变量是过去批准的，有些会调整，还有一些是新的。然后，区块链会记录每次在该模型中使用该变量的时间——例如，从代码存储中采用的任何代码、编写新的代码以及所做的更改——谁做了它，做了哪些测试，哪个建模经理批准了它，和我的签字。

　　区块链支持细粒度跟踪

　　重要的是，区块链实例化了一系列决策。它显示了一个变量是否可以接受，它是否在模型中引入了偏差，或者该变量是否被正确利用。区块链不仅仅是一个积极成果的清单，它是构建这些模型的过程的记录——错误、更正和改进都被记录下来。例如，道德 AI 测试失败等结果会保留在区块链中，用于消除偏见的补救步骤也是如此。我们可以非常细化地看到旅程：

　　模型的碎片

　　模型的作用方式

　　模型响应预期数据、拒绝不良数据或响应模拟变化环境的方式

　　所有这些项目都在谁在模型上工作以及谁批准了每个操作的背景下进行了编纂。例如，在项目结束时，我们可以看到这个关键模型中包含的每个变量都经过了审查，放到了区块链上并获得了批准。

　　这种方法提供了高度的信心，即没有人在模型中添加了表现不佳的变量或在模型中引入了某种形式的偏差。它确保没有人在其数据规范中使用了不正确的字段或未经许可和验证更改了已验证的变量。如果没有 ATD（现在是区块链）提供的严格审查流程来让我的数据科学组织保持可审计性，我的数据科学家可能会无意中引入一个有错误的模型，尤其是当这些模型和相关算法变得越来越复杂时。

　　透明的模型开发过程可减少偏见

　　总之，将模型开发过程覆盖在区块链上，为分析模型提供了自己的实体、生命、结构和描述。模型开发成为一个结构化的过程，最后可以生成详细的文档，以确保所有元素都经过了适当的审查。这些元素也可以在未来随时重新访问，为模型治理提供必要的资产。当模型最终使用时，其中许多资产成为可观察性和监控要求的一部分，而不是必须在开发后发现或分配。

　　通过这种方式，分析模型的开发和决策变得可审计，这是使人工智能技术和设计它的数据科学家负责的关键因素——这是消除用于做出影响人们生活的决策的分析模型的偏见的重要一步。

　　Scott Zoldi 是 FICO 的首席分析官，负责FICO 产品和技术解决方案的分析开发。在 FICO 期间，Scott 负责撰写 110 多项分析专利，其中 71 项已获得批准，46 项正在申请中。Scott 积极参与新分析产品和大数据分析应用程序的开发，其中许多应用程序利用了新的流分析创新，例如自适应分析、协作分析和自我校准分析。Scott 最近专注于应用流式自学习分析来实时检测网络安全攻击。Scott 在软件圣地亚哥和卓越网络中心两个董事会任职。Scott 在杜克大学获得理论和计算物理学博士学位。