人工智能 频道

Nvidia发布了开放代理安全平台,用于监控和管理代理人工智能

  分析师对这些控制表示赞誉,但指出,绝大多数代理生成的问题都超出了Nvidia的产品范围,这也造成了供应商锁定的担忧。  

  英伟达周一推出了一个名为开放代理安全平台的代理治理系统,该系统将软件与基于带外DPU的硅相结合,在参考系统设计中表示,它将“从测试到部署”保护代理。

  但是,虽然英伟达设计的基于硅的组件提供了一些网络安全优势,但分析师认为,它无法解决绝大多数代理问题。

  该公司在一份新闻稿中表示,英伟达的产品利用其OpenShell软件,并承诺“对运行代理的软件和硬件、计算和机器人系统进行全栈治理和控制”。“OpenShell软件提供了一个安全的运行时边界,当代理在Nvidia Vera CPU上运行时,该边界可以跟踪所有操作并强制执行策略。作为开源软件,OpenShell可以扩展到与第三方计算平台配合使用,包括Arm和Intel的计算平台。”

  开放代理安全平台参考系统设计以NVIDIA Sentry为特色,这是一个带外看门狗,在NVIDIA BlueField-4 DPU上运行,以持续监控代理行为。新闻稿称:“Sentry提供硅内安全强制执行,这意味着如果人工智能代理试图超出其软件边界,Sentry将隔离并在毫秒内阻止它。”

  在一篇专注于其“安全平台”细节的开发人员博客文章中,英伟达将其方法描述为“安全运行时,在沙盒环境中执行具有内核级隔离的自主人工智能代理”,并认为“开放模型的优势在于整个推理空间和激活都是可见的。”

  该平台的组件正在由广泛的合作伙伴推出,包括花旗集团、摩根大通、花旗、Anthropic、思科、CrowdStrike、戴尔技术、Figure、HPE、Hugging Face、微软、Palantir、Palo Alto Networks、Perplexity、Red Hat、Salesforce、SAP、Scale AI、ServiceNow和SpaceXAI。

  朝着正确的方向迈出一步

  Gartner高级总监分析师Lauren Kornutick主要赞扬了Nvidia的努力,她说这是“从硬件层面的有趣角度解决问题。这是朝着正确方向迈出的一大步。”

  但Kornutick说,她对公布的支持者名单印象不那么深刻,她观察到,“一些主要参与者明显失踪了”,包括OpenAI、亚马逊和谷歌。

  其他分析师和顾问表示,技术实施令人印象深刻,并提供了明显的好处,但他们强调,在试图管理和保护自主代理时,它也忽略了企业CISO真正挣扎的大局。

  限制

  最大的挑战是,企业环境充斥着未经IT或网络安全团队批准的代理。通常,这些团队甚至不知道认证代理。

  咨询公司Control Risks的合伙人Brian Levine说:“极限是覆盖范围。”“这些控件管理您在您控制的基础设施上部署的代理。他们为代理代理业务部门在SaaS平台上旋转,嵌入供应商产品中的平台或攻击者带来的平台。如果你不知道一个代理存在,你就不能让一个代理遵守它。发现和库存是第一位的,这既是一个治理挑战,也是一个技术挑战。”

  总部位于纽约市的技术咨询公司Tribeca Softech的首席战略官Aman Mahapatra同意Nvidia产品的局限性。

  他说:“强制执行仅适用于在受监管运行时间内运行的代理。”“运行时治理会保护您已经了解的代理,即最不需要它的人群。”

  然而,Mahapatra说,这并不意味着努力是徒劳的。

  他说:“由于一个具体原因,这有有意义的机会使事情在实质上变得更好:Sentry在BlueField-4 DPU上超出带,在Nvidia描述的孤立信任域中,对代理和攻击者来说是看不见的。”“你不能绕过你无法感知到的控制,你也不能说服DPU执行一项政策。概率推理必须夹在模型无法影响的确定性层之间,具有读取所有内容而不写入内容的监督功能。哨兵是将原理推入硅中,硅是它的正确位置。”

  IDC人工智能基础设施副总裁Brent Ellis表示同意。他估计,它解决了“可能不到25%”的企业代理网络安全问题。

  锁定风险

  他补充说,产品中也有供应商锁定因素。尽管英伟达今天控制着企业中人工智能硬件的巨大、几乎垄断的市场份额,但埃利斯表示,他预计这些数字会下降,因为“竞争对手开始出现,特别是投资设计自己的硅的超大规模企业”。

  Ellis说,但对于绝大多数是Nvidia商店的企业来说,硬件方法可能非常有意义。但Nvidia平台会有很好的机会使企业代理网络安全得到实质性改善吗?

  “是的,对于在里面运行的特工来说,”他说。“不过,这是一个很大的'如果'。有很多非Nvidia的代理基础设施,在Vera和Bluefield之前,他们的架构限制了他们可以采用的平台元素。”

  Ellis说,有了这个警告,消息开始看起来不错了。“在您可以采用所有元素的环境中,您可以将强制执行移出模型和应用程序层,在这些层中,代理反复谈论或编码控制。然后,您可以将强制执行移入运行时和硅,这是一个更难的障碍。哨兵专门让DPU成为更难绕过的交通警察。”

  他再次指出,一些攻击仍然可以利用治理的弱点。

  “看看最近的OpenAI事件是如何展开的,”他指出。“特工没有打破沙盒墙。他们经历了一个瑞士的环境安全奶酪:用作留言板的共享软件包存储库,代表代理获取互联网内容的服务,以及相邻系统中未修补的缺陷。”

  避免战略错误

  Dickson Research的首席分析师Frank Dickson表示,他喜欢Nvidia的平台,因为它避免了过去那些试图确保代理系统的人犯的一些战略错误。

  “两年来,这个行业一直试图通过要求代理商行为来确保他们,将护栏螺栓固定在提示、模型和线束上。这种方法总是会失败的,”他说。“Nvidia最终将强制执行置于它所属的位置:在代理之外,在内核中,在检查每个出站请求的代理中,在代理看不到或触摸的硅中。你没有要求囚犯锁上自己的牢房。每个严肃的代理平台都必须与这个设计相匹配。”

  Dickson说,Nvidia的方法并不试图在行为不端的药剂被发现后阻止它,而是试图防止问题的发生。

  Dickson说:“OpenShell在离开沙盒之前会根据策略检查每个出站请求,其策略验证器在代理运行之前会检查权限。”“Nvidia声称Sentry在毫秒内隔离了行为不端的代理人。”

  这与解决OpenAI报告的最新代理问题所花的时间形成鲜明对比,在该问题中,OpenAI代理绕过网络限制与外部聊天机器人通信。OpenAI报道说:“人工审查员只花了三分钟就确认了系统确实生成的DNS警报,但又过了两个半小时才停止培训运行。”

  不是万药

  咨询公司Acceligence的首席执行官Justin Greis也同意Nvidia的方法是可靠的,但他强调,人工智能代理在找出绕过此类限制的方法方面享有盛誉。

  “我们应该假设,越来越有能力的代理人会探索界限,发现意外的途径,并利用歧义。安全不能取决于代理人决定不这样做,”他说。“但即使是硬件强制控制也只能和我们给他们的边界和政策一样好。”

  他指出,如果用户意外授权了产生危险结果的合法路径,代理不一定需要规避安全控制。他说:“权限配置错误、权限过高、个别无害能力的组合、第三方受损以及发生在受监管环境之外的活动仍然是非常真实的问题。”

0
相关文章