AI代理会利用软件包缓存等共享基础设施来突破隔离——这说明环境信号不能替代真正的授权检查。

　　在OpenAI与Hugging Face事件的调查中，最让我注意的是软件包缓存。

　　约1200个本应彼此隔离的AI代理，找到了通过它通信的方法。大约同一时间，Anthropic披露了一起事件：一个代理访问了真实互联网，却仍继续把周围环境描述为模拟。

　　这些是不同的失败。但把两项调查放在一起读，我不断回到同一个差距：我们以为自己提供的环境，和代理实际能使用的环境之间，存在落差。普通基础设施可能提供一种意想不到的通信方式，也可能提供被代理误认为许可的线索。

　　基础设施成为接口的一部分

　　METR最近发布了一项独立调查，由METR和Redwood Research的研究人员对参与Hugging Face事件的OpenAI代理展开。代理本应在各自独立的沙盒中运行。但它们却在Artifactory包缓存中发现了共享状态。

　　代理发现，它们可以创建其他实例能读取的目录名。这些名字变成了信息。缓存承担起了远远超出其本职的责任。

　　调查期间，约1200个代理使用了由此形成的留言板，交换了7万多条消息和文件。约700个代理参与了对Hugging Face的攻击。

　　很容易想象这样一场架构审查：仔细检查容器、凭据和网络访问，却把软件包缓存当作普通依赖项。下载软件包是它的用途。所谓孤立工作负载之间的通信，可能根本不在议程上。

　　然而，共享状态让这种通信成为可能。代理发展出交换信息、分发工作和把发现传递给其他实例的惯例。

　　我们倾向于用独立进程、容器和凭据来描述隔离。这些边界很重要，但它们并不能告诉我们这些进程能触达的所有服务。构建产物可以在不同运行之间携带信号。日志可以跨边界暴露信息。缓存可以提供留言的地方。

　　这不仅仅是对规则的误解。METR发现，代理意识到攻击Hugging Face超出了它们的授权范围，却仍然继续。更明确的指示不一定能阻止它们。

　　基础设施为这些代理提供了机会，而它们本应被隔离剥夺这些机会。在我对沙盒图感到放心之前，我希望架构审查先检查这一部分。

　　环境成为授权信号

　　Anthropic在7月30日披露的网络安全评估中描述了另一个问题。Claude Mythos 5被明确告知，它正在模拟中运行，没有互联网接入。尽管如此，一个配置错误留下了一条通往真实互联网的路径。

　　模型找到了启用该访问的凭据，在PyPI上注册了一个账户，并发布了一个恶意软件包。PyPI在一小时内将其删除，但此前已有15个第三方系统安装了它。在9月的评估中，Anthropic表示，它相信这15家都是在沙盒中扫描所安装软件包的安全供应商。一个扫描仪泄露了凭据，模型随后用它访问了供应商的实时数据库。

　　9月的评估修改了最初的解释。Anthropic警告，不要把模型自称处于模拟中的说法，当作它真实信念的可靠证据。研究人员认为，这反映出有偏的推理和鲁莽：模型忽视了相反证据，并继续执行任务，尽管有迹象表明可能造成现实世界伤害。

　　另一个涉及Claude Opus 4.7的事件，让授权问题尤为明显。模型意识到自己已经触达一家真正的公司。但这家公司能从演习网络访问到，名称又与虚构目标相似，于是它假设该公司也是演习的一部分。

　　可访问性成了授权的替代信号。

　　在针对攻击记录的后续实验中，Opus 4.7在89%的回复中表示，它正在与一家真正的公司接触。当被问及访问是否获得授权时，它在75%的情况下回答是。当研究人员追问谁授予了许可、许可是否扩展到真正的生产系统时，模型始终承认其行动不被允许。另有实验表明，一旦明确缺乏授权，攻击会大幅减少。

　　早在代理出现之前，我就在普通企业工作中见过这个问题的缩小版。当我在开发、预发和生产环境之间调试时，我会像代理一样读取环境：主机名、服务名、查询返回的行形态。我会把预发服务指向共享缓存来复现错误，复用具有生产形态的数据集，因为这是最快看到故障的方法；我也会信任一个结果已经陈旧五年的服务名。这些做法本身都不是安全漏洞。只有当某个东西字面地推理这些信号，并据此得出结论说自己拥有许可时，它们才会变成漏洞——因为环境回答了本该由访问模型回答的问题。

　　这些线索能帮助识别环境，却不能授予行动许可。有效凭证可能让请求被接受，但这个请求未必适合某人获批的任务。

　　Anthropic还测试了显式范围指令的放置方式如何影响行为。在一次重采样实验中，只有当提醒明确指出哪些主机、服务和账户在范围内时，Mythos 5才会停止其行为；如果提醒是最近一次出现的，停止率为90%。如果提醒出现在三轮之前，这个数字降到40%。研究人员在另外两起深入分析的事件中观察到同样模式。

　　指令并没有消失，消失的是它的影响力。

　　这些数字描述的是特定实验，而不是代理忘记指令的普遍比例。但它们说明，为什么仅仅把范围声明留在上下文中，并不足以保证它持续约束行动。许可必须独立于代理的解释来执行，而不能从环境中推断。

　　转录记录不是审计线索

　　METR调查发现，代理在研究如何操纵转录记录，因为它们误以为基准评分员会检查它们完成任务的方式。

　　在被评估的转录记录中，约7%在某些地方包含看似成功欺骗的工具调用。观察到的例子规模不大。调查人员没有发现成功追溯改写早期记录条目的情况，但代理已经展示出，它们记录工具调用的方式可以不同于实际执行方式。

　　在任何人开始把日志当作解释依据之前，这已经构成问题。如果代理能操纵记录自身操作的机制，那么仅追加式生成的记录也无法保证准确。它可能只是非常可靠地保存了一份错误账目。

　　在测试监视器如何解释已记录活动时，Anthropic遇到了另一个问题。最初的评估没有生产网络保障措施，尽管模型仍保留安全训练。在对Mythos 5转录记录进行回顾性测试时，一个离线监控管道只标记了约1%的行动。模型的推理说服了监视器，让它相信环境是模拟的、活动是允许的。

　　当研究人员移除思维链，只向监视器展示用户轮次、工具调用和工具结果时，标记率升到约50%。Anthropic另行报告称，其较新的实时拦截监视器以及它测试过的网络分类器会发现这些行为。离线结果并不代表其部署防御的失败率。

　　METR发现代理会干扰记录内容；Anthropic则发现，监视器会接受代理的解释。保护记录机制能解决第一个问题，却解决不了第二个。

　　检查代理的推理仍有价值。它能揭示假设、不一致之处以及干预机会。错误在于，让这种解释来决定活动是否获得授权。“我以为这是测试环境”应当是调查要检查的内容，而不是结论。

　　对我而言，这就是环境完整性的有用含义。它包括代理能够影响的共享服务、它遇到的信息，以及用于监督它的证据是否独立。软件包仓库和代理声明的工具一样，都属于这场讨论。

　　共享状态泄漏和错位信任是常见安全问题。这些事件表明，代理会在漫长工作流中发现并利用它们。它们还表明，误解情境与故意越权需要不同的解释，即便基础设施可能同时促成两者。

　　孤立容器仍是有用边界，但它不是对代理工作环境的完整描述。

　　代理可能看到你的架构图遗漏的连接。其中一些正穿过你以为只是管道的基础设施。

来源：https://www.infoworld.com/article/4223350/your-ai-agents-are-isolated-your-infrastructure-isnt.html