Anthropic呼吁全球放缓前沿AI研发 警惕自我改进风险

美国人工智能公司Anthropic最近发出一个相当直白的呼吁：全球顶级AI实验室，是不是该考虑把开发速度放缓一点？理由很简单，但也足够让人警惕——AI系统正以令人目眩的速度进步，快到可能很快就不再需要人类插手，自己就能完成自我改进。而一旦跨过这道门槛，社会将面临前所未有的系统性风险。

这家公司在本周四发布的一篇博客文章中，首次公开了他们内部关于模型能力提升速度的数据。文章的措辞很直接：如果全球能有机会把AI开发的节奏降下来，“可能是一件有利于全世界的事情。”

文章由Anthropic内部研究所负责人和政策主管联合撰写，核心观点是——当前AI模型的进步轨迹，正在向“递归式自我改进”靠拢。通俗点说，就是AI系统可以在没有人工干预的情况下，自己迭代、自己升级。不少业内专家把这一点视为潜在的“红线”：一旦越过，社会将面临巨大的结构性动荡。

“我们觉得，如果世界能有一个选项——适当放缓，甚至暂时暂停前沿AI的开发，让社会体系和一致性研究能跟上技术进化的步伐，那会是件好事。”文章还进一步提议，最好能就如何实现开发放缓达成一个全球协议，并且建立一套核查机制，确保各方都遵守约定。

值得注意的是，Anthropic最近刚完成了一轮融资，估值直逼1万亿美元，并且已经秘密提交文件，启动了公开上市的流程。而ChatGPT的制造商OpenAI，据说也很快会提交IPO文件。两家公司在资本市场上的动作，和他们在政策立场上的表态，难免让人多一层思考。

自创立以来，Anthropic一直把“AI安全”挂在嘴边、写进基因。但长期以来，批评者并不买账，认为他们这套政策主张，本质上是在借监管的手段，给自己的竞争对手上枷锁。

风险投资家、特朗普的非正式顾问Da vid Sacks就曾毫不客气地指责Anthropic的领导者，是在推行一套“监管俘获议程”。

还有一类声音认为，Anthropic对自己工具危险潜力的警告，本质上就是营销。怀疑论者指出，他们决定限制发布那款强大的Mythos模型，本身就是一种宣传自家产品能力的巧妙方式。

对此，Anthropic的领导者回应说，他们是认真对待安全问题的，并且愿意推动关于风险的讨论走得更深、更远。

宾夕法尼亚大学沃顿商学院的教授Ethan Mollick给出了一个相对平衡的评价：“Anthropic的文章里，既有自我反思的成分，也有一些营销的影子。但更重要的是，他们真诚地表达了对未来AI发展的判断，而这些判断本身是值得关注的。”

Anthropic的领导者，包括CEO Dario Amodei，多年来一直在发出警告：AI可能带来危险的影响，并且需要广泛的社会协作才能应对。Amodei曾公开表示，AI可能加剧不平等，甚至消除多达一半的入门级白领工作岗位。

他还警告说，预计在不远的将来会出现强大的AI系统，它们可能以难以预测的方式发展出带有破坏性的倾向。

周四的博客文章还提到，Anthropic研究所将与其他机构合作开展研究，目标是“帮助建立可信的放缓或暂停所需的系统”。

文章明确指出，暂停或放缓动作只有在得到广泛遵守时才有意义，这需要一套核查机制来确保所有人真的都停下了脚步。作者将这个问题比作核武器条约——但也承认，在AI领域，制止作弊要比核弹管制棘手得多。

按照计划，Anthropic将在未来几个月里与政策制定者、研究人员和其他相关人士组织对话，共同回答关于递归式自我改进和核查系统的问题：“共同研究这些问题的窗口已经开启，AI公司之外的人也应该参与进来。”

来源：互联网