AI自我改进警告：巨头称系统或很快实现自主进化

美国人工智能公司Anthropic最近发出了一个很有意思的呼吁——希望全球顶级AI实验室都好好想想，是不是该放慢开发脚步了。理由呢？倒也不是拍脑袋想出来的：他们内部数据显示，AI系统正以如此迅猛的速度在进化，以至于可能很快就能在没有人类插手的情况下，自己改进自己。而这，对社会的潜在风险不言而喻。

就在周四，Anthropic在一篇博客文章中公开了自家模型能力提升速度的一手数据。他们的态度也很坦诚：如果能让全球AI开发慢下来，“对全世界来说可能是件好事”。文章由Anthropic内部研究所负责人及政策主管联合撰写，点出了一个核心方向——当前AI模型的进步，似乎正朝着“递归式自我改进”这条路上狂奔。换句话说，就是AI系统能够在没有人工干预的前提下，自行完成能力升级。在不少AI业内人士看来，这个门槛既是技术突破的象征，也是一个潜在的危险信号，甚至可能引发不小的社会震荡。

文章里有一段话直击要点：“我们认为，世界若能拥有放缓或暂时暂停前沿AI开发的选项，使社会结构和一致性研究能跟上技术进步的步伐，这绝对是一件好事。”他们还进一步提议，是不是可以把这事上升到全球协议层面？比如，建立一个核查机制，确保竞争对手们也真的在遵守暂停开发的约定。

01

聊回Anthropic近期的动态——这家公司刚完成一轮融资，估值已经逼近1万亿美元，而且还秘密提交了启动公开上市的文件。同样走这条路的，还有ChatGPT背后的OpenAI，预计很快也会递交IPO材料。

从成立之初，Anthropic就把“AI安全”当作核心标签。但长久以来，批评声也没断过：有人认为，他们的政策主张说到底就是在借监管手段，为自己争取时间、拖慢竞争对手的节奏。风险投资家、特朗普的非正式顾问Da vid Sacks就曾直接指责Anthropic的领导者是在推行“监管俘获议程”。

更直白一点说，也有人觉得，Anthropic对自己的工具发出危险警告，这本身就是一种营销手段。怀疑论者指出，Anthropic选择限制发布其强大的Mythos模型，其实是一种非常便捷的、向外传递产品能力的方式。

对于这些质疑，Anthropic的领导者们回应得很干脆：他们是真心实意地在对待安全问题，也一直在推动更多公开的风险讨论。

宾夕法尼亚大学沃顿商学院教授Ethan Mollick的评价倒是很中肯：“Anthropic的文章里，既有自我反思，也有营销成分，但更核心的是，他们真诚地表达了对未来AI发展的判断——而这些判断，值得认真关注。”

Anthropic的核心人物、首席执行官Dario Amodei，多年来一直在发出关于AI潜在危险的警告，并且呼吁全社会共同应对风险。他特别提到过，AI可能会加剧社会不平等，甚至消除掉多达一半的入门级白领岗位。更令人警惕的是，Amodei还预测，不久的将来会出现强大的AI系统，它们可能会以不可预测的方式，发展出一些带有破坏性的倾向。

02

周四这篇博客文章还透露了一个动作：Anthropic研究所计划与其他机构合作，共同研究如何“建立可信的放缓或暂停所需的系统”。文章的潜台词很清晰——暂停或放缓，只有被广泛遵守才有意义。所以，必须有一套核查机制来确保所有人都在规则之内。

他们把这个问题比作核武器条约，但坦率地说，在AI领域制止作弊，难度可能要棘手得多。Anthropic计划在接下来的几个月，组织一系列对话，对象包括政策制定者、研究人员以及其他相关人士。目的很明确：帮助回答关于递归式自我改进和核查系统的未解问题。他们自己也承认：“共同研究这些问题的窗口已经打开，AI公司之外的人士，也应该参与到这场审议中来。”

来源：互联网