人工智能是否在核战争和流行病的路线上对人类构成生存威胁？人工智能科学家和其他知名人士签署的一份新声明表示，它应该被如此对待。
声明写道：“与流行病和核战争等其他社会规模风险一起，减轻人工智能的灭绝风险应该是全球优先事项。”这份22字的声明由总部位于旧金山的非营利组织人工智能安全中心（CAIS）发布，该中心表示，该声明旨在开启关于人工智能紧急风险的全球讨论。
在签署者名单中名列前茅的是人工智能研究先驱Geoffrey Hinton，他最近离开了谷歌，以便更自由地就他所谓的人工智能带来的明显和现实的危险发出警报，他说：“这些东西比我们更聪明。”
Hinton是GPT-4等大型语言模型使用的深度学习方法的创始人之一，与代言人Yoshua Bengio一起。值得注意的是，图灵奖获奖研究团队的第三名成员——Meta的首席人工智能科学家Yann LeCun。
该声明还由主要人工智能参与者的几位首席执行官签署，包括OpenAI的Sam Altman、Google DeepMind的Demis Hassabis和Anthropic的Dario Amodei。
CAIS声明如其网站上所示。（来源：人工智能安全中心）
CAIS网站的一个部分列出了潜在的人工智能风险，包括武器化、错误信息、欺骗、寻求权力的行为等。关于人工智能可能试图夺取权力，该网站表示：“如果获得大量权力的人工智能与人类价值观不一致，可能会变得特别危险。寻求权力的行为也可以激励系统假装对齐，与其他人工智能勾结，压倒显示器等。从这个角度来看，发明比我们更强大的机器就是在玩火。”
该组织还断言，建立这种渴望权力的人工智能可能会受到看到其战略优势的政治领导人的激励，他引用了弗拉基米尔·普京的话说：“谁成为[人工智能]的领导者，谁将成为世界的统治者。”
CAIS的声明标志着一系列专注于解决人工智能安全问题的高调举措中的最新一项。今年早些时候，一封有争议的公开信——由一些支持当前警告的人支持——敦促人工智能开发中断六个月，科学界的反应不一。批评者认为，这封信要么夸大了人工智能构成的风险，要么相反，他们同意潜在风险，但不同意拟议的解决方案。
（SuPatMaN/Shutterstock）
未来生命研究所（FLI）撰写了之前的公开信，并对CAIS的声明发表了以下言论：“尽管FLI没有制定这一声明，但我们强烈支持它，并认为监管核技术和合成生物学的进展对降低人工智能风险具有指导意义。”
FLI建议采取一系列行动来减轻这种风险，包括制定和制定国际协议，以限制特别高风险的人工智能扩散，并减轻先进人工智能的风险，以及类似于国际原子能机构（IAEA）的创始政府间组织，以促进和平利用人工智能，同时降低风险并确保护栏得到执行。
一些专家称这些公开信被误导了，AGI或具有一般智能的自主系统并不是最紧迫的问题。华盛顿大学计算语言学教授、2020年被谷歌解雇的臭名昭著的人工智能伦理团队的成员Emily Bender在推文中表示，该声明是“人们自愿添加自己名字的耻辱之墙”。
她写道：“我们应该关注[公司]和组成这些公司的人以'AI'的名义，而不是以天网的名义造成的真正伤害。”
其中一个危害可以从饮食失调帮助热线的例子中看到，该热线最近解雇了其人类团队，以雇用一个名为Tessa的聊天机器人。该帮助热线已经活跃了20年，由全国饮食失调协会运营。Vice的一份报告指出，在NEDA工人上月初加入工会后，该协会宣布将用Tessa取代帮助热线，作为该团体的主要支持系统。
Tessa在被该组织接管前两天就下线了，因为聊天机器人鼓励破坏性行为，这些行为可能会使饮食失调恶化，例如严重限制卡路里和每天称重。
