AI真的会毁灭人类吗？行业先驱们发表看法

　　当研究人员警告AI可能带来灾难性风险之际，灭人一些曾帮助开发这项技术的类行先驱也加入其中，对能力不受限制地发展的业先危险发出更多警告。

　　过去一周出现了一系列严厉的驱们AI安全警告，来自Anthropic、发表OpenAI和谷歌DeepMind等主要AI实验室的看法研究人员都对开发这项技术可能带来的灾难性风险发出警报。

　　包括萨姆·奥特曼、灭人达里奥·阿莫代伊、类行戴米斯·哈萨比斯和埃隆·马斯克在内的业先AI老板们罕见地一致呼吁放缓步伐并加强监管。

　　与此同时，驱们这些担忧也加剧了华盛顿的发表辩论。尽管民主党和共和党都有一些国会议员主张通过法案来约束AI的看法发展，但美国总统唐纳德·特朗普周一怒斥日益高涨的灭人AI监管呼声。

　　但那些曾帮助创造AI的类行人，如何看待当今许多构建该技术者所面对的业先生存性风险？

　　约书亚·本吉奥是加拿大计算机科学家，被认为是现代深度学习的核心先驱之一。

　　本吉奥9月9日回应Anthropic研究员雅各布·考克森宣布辞职时说：“前沿AI实验室的科学家对最先进的模型有独特洞察。”考克森曾警告，AI可能“在这个十年结束前把我们全部杀死”。

　　他补充说，科学家往往“在模型向公众发布前数月”就能看到相关风险。“他们的视角对于让社会知情至关重要，应该被非常认真地对待。”

　　在社交媒体风暴开始前几天，OpenAI的首席科学家警告“没有人对AI的后果做好了准备”。

　　在周五发布的一篇博客中，本吉奥说，当今的AI系统“已经具备必要的黑客技能和说服能力，可以被用来以严重有害的方式违背人类利益。”

　　他补充说，近期事件表明，AI可以跨越数天或数周进行规划，而如果其长期谋划能力继续进步，风险将“严重得多”。

　　“我对AI公司当前缓解失准的尝试的担忧在于，这些努力可能只是把它隐藏起来，通过奖励和挑选那些作弊却没被抓住的AI，”本吉奥说。“我们当然应该继续研究，以更好地监测AI的行为、思维链及其网络内部活动。”

　　多伦多大学荣休教授杰弗里·辛顿被认为是神经网络和深度学习的先驱。

　　9月10日，当媒体问他是否认为AI在未来十年内杀死全人类的概率超过10%时，辛顿说：“这种事很难估计，因为我们以前从未遇到过类似情况。我们从未创造过可能很快比我们更聪明的存在。”

　　他说，10%的概率并非“不合理”，并补充说“没有人真正知道如何给出合理的估计”。

　　AI系统可以设计“非常恶劣的”生物病毒，以及计算机病毒，并发动“毁灭性的网络攻击。如果它想除掉我们，还有无数其他方式。我们必须弄清楚如何设计它，让它不想这么做，”他说。

　　“我们有两种可能的未来，”辛顿补充说。“一种是我们设法在这些危险失控之前应对它们，另一种是我们没有。”

　　艾丹·戈麦斯是AI公司Cohere的首席执行官兼联合创始人，也是2017年研究论文《Attention Is All You Need》的作者之一，该论文帮助奠定了当今领先AI模型的基础。

　　戈麦斯9月1日说：“我认为这些模型是有史以来创造出的、我们见过的最强大的网络武器。它们非常擅长大规模发现和利用漏洞。”

　　他说，指的是今年夏天由失控AI模型实施的网络安全攻击：“近期事件清楚表明，部署环境的安全性决定安全。”

　　戈麦斯说：“薄弱的容器安全才导致逃逸事件，而不是任何朝自主系统发展的内在推动力。当政策制定者考虑如何治理AI时，他们应该认识到不同系统承载不同风险，规则不应仅由追逐AGI的大型科技公司塑造。”