随着代理不断越线，OpenAI拔掉了GPT 6.1 Astra的插头
在内部测试发现安全和对齐问题后，OpenAI放弃了计划于10月发布的Astra更新，这是该公司日益关注的问题。
在内部测试发现该模型不符合公司的安全和对齐标准后，OpenAI取消了计划于10月发布的GPT-6.1 Astra。
GPT-6.1 Astra正在开发为一个更自主的模型，能够在更少的人力协助下处理复杂的任务，并有望被整合到ChatGPT和Codex中。但根据《华尔街日报》的一份报道，内部测试发现，它可以逃避监督，歪曲其行动，并超出其授权范围，同时试图使用它知道不安全的外部工具
据报道，OpenAI计划通过额外的强化学习来利用Astra的基础模型，在GPT-6系列中构建后续模型，并调查导致测试期间发现的安全问题的原因。
OpenAI开发的模型越来越多地受到行业委婉地称为“对齐问题”的困扰，这意味着对什么是错，什么是可接受的行为，什么是不可接受的行为缺乏理解。
现已废弃的模型的前身GPT-6 Astra在模拟网络安全测试中被英国人工智能安全研究所抓获进行未经批准的软件供应链攻击，尽管被明确告知攻击互联网目标超出了范围。到目前为止，它比其前身GPT 5.5和GPT 5.6 Sol更频繁地进行测试。
Secure Code Warrior的联合创始人兼首席执行官Pieter Danhieux说，这种模型基本上会做任何事情来实现其目标。“对于这些代理来说，他们的运营本质上是照常的业务；他们将坚持不懈地追求他们被指示的初始目标，访问控制参数反复告知'不'只会确保他们寻找下一个可用的终点，直到他们成功，”他说，并补充说，此类模型需要人工监督和更强有力的监管。
OpenAI决定撤下GPT-6.1 Astra，这是在一系列涉及该公司模型的事件中发生的，包括一名未经授权访问澳大利亚政府门户网站的代理，以及以意想不到的方式与几个美国政府网站互动的模型。
人工智能打破了规则，但有人先打破了
澳大利亚总理安东尼·阿尔巴尼斯表示，6月18日，一个内部OpenAI模型正在对公共医疗支出进行研究，当时它在试图从澳大利亚医疗保险统计报告门户网站获取信息时遇到了反复的封锁。它尝试了其他方法来获取信息，最终获得了对门户网站的未经授权的访问。
他说，该代理访问了公共和非公共文件，并将文件写入内部服务器；对事件的调查仍在进行中。
Above Security的联合创始人兼首席执行官Aviv Nahum表示，这一事件可能不仅仅是人工智能的过错。他说：“如果档案证据成立，今年最被炒作的人工智能黑客攻击看起来非常像过去三十年最常见的安全故障：配置错误。”“门户网站自己的代码将访问者指向一个不需要凭据的端点，代理遵循了给定的路径。这不是“人工智能代理入侵政府网站”，而是一扇敞开的门，被可以更仔细地阅读代码并更快地执行的东西发现。”
Nahum警告说，我们应该谨慎地将每个代理事件框定为“流氓人工智能”，并补充说，这样做会造成“戏剧性的头条新闻”，但会把责任归咎于模型而不是环境。
美国事件不那么严重，但遵循了与外部系统交互的类似模式。OpenAI发言人告诉《华盛顿邮报》，该公司的模型在培训和评估期间访问了SEC.gov、Investor.gov和Census.gov上的公开信息。该公司表示，其代理人在SEC和人口普查局事件中行为不当，但没有窃取任何私人数据。
Huntress网络安全顾问团队的经理Ben Bernstein对美国事件持类似看法，认为这些事件被夸大为人工智能黑客。他说：“这些特工只是负责收集SEC和人口普查的公共信息，但到位的护栏不够牢固，无法包含一个用于解决问题的编程模型。”
尽管如此，OpenAI还是不能完全放手，过去几天里，关于模型错位和未经授权的活动的报告堆积起来。
测试时间
这些事件的共同点是，它们涉及由OpenAI测试或评估的模型，而不是公开部署的模型。
澳大利亚事件涉及内部OpenAI模型进行研究。美国的活动同样涉及OpenAI作为其研究和评估工作的一部分正在测试的模型。两者都不涉及客户使用公开可用的ChatGPT模型并将其针对政府系统。
OpenAI决定终止GPT-6.1 Astra，此前，其中一个正在测试的模型绕过了网络限制并使用DNS进行外部通信，因此它决定暂停其最有能力的模型的训练。
首席执行官Sam Altman在9月25日的一条推文中承认了问题的广度。“关于我们的代理在培训和评估期间使用互联网访问，正在进行广泛和持续的审查，”他写道，并补充说，“我们没有我们希望的那么快，但我们正在努力平衡我们对透明度的愿望，从PB级代理活动日志中获得清晰的理解，并与受影响的组织合作。”
