Document

划重点：

• 1 报告警告，在最糟糕的情况下，人工智能可能会对“人类物种造成灭绝级威胁。”
• 2 报告还称，先进人工智能和通用人工智能（AGI）有可能像核武器一样破坏全球安全。
• 3 报告建议，设立政府AI机构，未来企业开发新AI模型需获得该机构批准。
• 4 报告还建议，美政府应进一步加强对人工智能芯片制造和出口的控制。

腾讯科技讯 3月13日消息，据国外媒体报道，受美国政府委托，第三方机构Gladstone AI已完成编写及上报《提高高级人工智能安全与安保的行动方案》（An Action Plan to Increase the Safety and Security of Advanced AI）的工作。该行动方案指出，政府必须“迅速果断”采取行动，避免人工智能带来的重大国家安全风险。该报告指出，在最糟糕的情况下，人工智能可能会给“人类带来灭绝级威胁。”

报告称：“目前，前沿人工智能的发展对国家安全构成了紧迫和日益增长的风险。先进人工智能和通用人工智能（AGI）的崛起，有可能破坏全球安全，就如同核武器出现后的情况一样。”通用人工智能是一种假设的技术，能够以人类水平或更高水平完成大多数任务。这种系统目前还不存在，但领先的人工智能实验室正在努力实现它们。许多人预计，通用人工智能将在未来五年或更短的时间内实现。

01 对安全感到担忧

该报告的三位作者花费一年多时间撰写了这份报告。他们与200多名政府雇员、专家，以及OpenAI、谷歌DeepMind、Anthropic和Meta等前沿人工智能公司的工作人员进行了交谈，分享了其中一些实验室的员工私下分享的担忧摘录，但没有指明具体的公司。截至目前，OpenAI、谷歌、Meta和Anthropic均对此报道未予置评。

某人工智能实验室的研究人员表示，该实验室存有“对安全态度过于松懈”的问题。另有受调查者表示，担心他们的实验室没有足够的控制措施，来防止通用人工智能脱离他们的控制。还有一些人表达了对网络安全的担忧。根据一些技术人员的私下判断，许多前沿人工智能实验室的安全措施不足以抵御老练的攻击者的持续IP渗透活动。鉴于目前前沿实验室的安全状况，如果没有美国政府的直接支持，这种攻击很可能会成功。报告还称，目前人工智能系统尚未给人类带来灾难性后果的事实，并不能证明未来更大的系统是安全的。

在过去12个月里，全球许多政府已意识到先进人工智能系统带来的风险。去年11月，英国主办了一场人工智能安全峰会，世界领导人承诺共同努力为该技术制定国际规范。去年10月，美国总统拜登发布了一项行政命令，从国会层面为人工智能实验室制定安全标准。然而，美国的人工智能法律尚未通过，意味着人工智能实验室在训练先进模型时仍没有法律限制。

02 监管企业训练模型

这份名为《提高高级人工智能安全与安保的行动方案》的最终文件，建议采取一系列全面和前所未有的政策行动。如果这些行动得以实施，将从根本上改变人工智能产业。该报告建议，美国国会应该把使用超过一定算力阈值训练人工智能模型的行为定为非法。该报告建议，这一阈值应由新成立的联邦人工智能机构设定，该机构可以将该阈值设定为略高于训练当前尖端模型（如OpenAI的GPT-4和谷歌的Gemini）的算力水平。

报告补充称，新设立的人工智能机构应该要求处于该行业“前沿”的人工智能公司获得政府许可，以在某个较低的阈值之上训练和部署新模型。报告称，当局还应“紧急”考虑禁止发布强大人工智能模型的“权重”或内部运作方式。例如，在开源许可下发布，违反规定可能会面临牢狱之灾。报告建议，政府应进一步加强对人工智能芯片制造和出口的控制，并将联邦资金投入到让先进人工智能更安全的“联合”研究当中。

公开记录显示，这份报告由美国国务院于2022年11月委托撰写，是价值25万美元的联邦合同的一部分。它由四人组成的公司Gladstone AI撰写，该公司专门为政府雇员提供人工智能技术简报。（行动计划的部分内容建议政府大力投资，让官员了解人工智能系统的技术基础，以便他们能够更好地了解将会面对的风险。）这份247页的报告于2月26日提交给了美国国务院。该报告的第一页写道：这些建议“并不反映美国国务院或美国政府的观点”。截至目前，美国国务院对此报道未予置评。

该报告中提出的许多建议在以前不可想象的。人工智能领域近年来出现了一系列令人眼花缭乱的重大发展，导致许多观察人士重新调整了他们对该技术的立场。2022年11月发布的聊天机器人ChatGPT，让整个社会首次看到人工智能的发展速度，导致许多人质疑未来的人工智能是否可能对人类构成生存风险。

此后，具有更多功能的新工具一直在快速发布。在世界各国政府讨论如何最好地监管人工智能之际，全球的大型科技公司们一直在快速建设基础设施，训练下一代更强大的系统--在某些情况下，计划使用10倍或100倍以上的算力。与此同时，人工智能政策研究所（AI Policy Institute）最近的民调显示，超过80%的美国公众认为人工智能可能会意外引发灾难性事件，77%的受调查者认为政府应该采取更多措施来监管人工智能。

报告指出，禁止训练超过一定阈值的高级人工智能系统，可能会“缓和所有人工智能开发者之间的竞争态势”，并有助于降低芯片行业开发新一代芯片的速度。报告提出，随着时间的推移，一旦尖端模型的安全性证据得到充分证明，联邦人工智能机构可以提高阈值并允许训练更先进的人工智能系统；如果在现有模型中发现危险功能，该机构还可以降低安全阈值。

这项提议可能最终不会被政府采用。美国战略与国际研究中心瓦德瓦尼人工智能和先进技术中心主任格雷格·艾伦（Greg Allen）在回应该报告关于禁止超过一定阈值的人工智能训练的建议时表示：“我认为这项建议极不可能被美国政府采纳。”他指出，美国政府目前的人工智能政策是设定算力阈值，超过该阈值需满足额外的透明度监控和监管要求。“如果没有某种外部冲击，我认为他们不太可能改变这种做法，”艾伦说。

Gladstone AI的首席执行官和首席技术官杰雷米·哈里斯（Jeremie Harris）和爱德华·哈里斯（Edouard Harris），自2021年以来一直在向美国政府通报人工智能的风险。哈里斯兄弟表示，参加了许多早期简报会的政府官员都认为，人工智能的风险很大，但告诉他们处理这些风险的责任落在了不同的团队或部门身上。哈里斯兄弟表示，2021年末，Gladstone AI终于找到了负责应对人工智能风险的政府部门：美国国务院国际安全与防扩散局。该机构内的小组有一项任务，即应对新兴技术带来的风险，包括化学和生物武器以及放射性和核风险。在杰雷米和Gladstone AI时任首席执行官马克·比尔（Mark Beall）介绍情况后，该局于2022年10月发布了一份报告招标，要求提供信息，把人工智能添加到该局监控的风险名单中。Gladstone AI团队最终赢得了这份合同，周一发布的报告就是最终的结果。

03 两类不同的风险

该报告关注两类不同的风险。第一类风险称为“武器化风险”，即“此类系统可能被用于设计甚至执行灾难性的生物、化学或网络攻击，或在群体机器人技术中实现前所未有的武器化应用。”第二类风险称为“失控”风险，即先进的人工智能系统可能会玩转其创造者。报告称：“有理由相信，如果使用当前技术开发它们，它们可能是不可控的，并且可能会在默认情况下对人类产生敌意。”

报告称，人工智能行业的“竞争态势”加剧了这两类风险。第一家实现通用人工智能技术的公司可能会获得大部分经济回报，这可能刺激企业将速度置于安全之上。报告称：“前沿人工智能实验室面临着，尽快扩大其人工智能系统规模强烈而直接的激励，但他们不会对未直接带来经济效益的安全或安保措施进行投资。”

Gladstone AI的报告将硬件--特别是目前用于训练人工智能系统的高端计算机芯片--定为提升人工智能能力的瓶颈技术。报告认为，对这种硬件的扩散进行监管，可能是“保护全球长期安全免受人工智能威胁的最重要要求。”它表示，政府应该探索将芯片出口许可证与监控芯片是否被用于大型人工智能训练的片上技术（on-chip technologies）挂钩，以此来执行反对训练大于GPT-4的人工智能系统的拟议规则。不过报告也指出，任何干预都需要考虑到过度监管可能会削弱美国影响供应链的能力。

该报告还提出了一种可能性，即宇宙的物理界限最终可能不会站在试图通过芯片阻止高级人工智能扩散的人一边。“随着人工智能算法的不断改进，越来越多的人工智能功能可能会需要更少的算力。根据这一趋势的发展程度，通过集中算力来缓解高级人工智能扩散最终可能变得不切实际。”为了解释这种可能性，该报告认为，新成立的联邦人工智能机构可能会探索阻止发表提高算法效率的研究，但这种作法可能会损害美国人工智能行业。

哈里斯兄弟在与行业人士的交谈中认识到，他们的建议会让人工智能行业的许多人感到有点“多余”。他们预计，禁止开源高级人工智能模型权重的建议不会受到欢迎。Gladstone AI的首席技术官爱德华说:“开源通常是一个很好的现象，总体来说对世界有很大的好处。这是一个极具挑战性的建议，我们花了很多时间来寻找像这样的建议措施。”他表示，任何禁止超过一定规模的开源模型的提议，都需要考虑到美国法律的适用范围有限这一事实。“这是否意味着开源社区将转移到欧洲？”他说，“鉴于这是一个很大的世界，你多少要考虑到这一点。”

尽管存在挑战，但该报告的作者表示，如果用户能够接触到模型权重，他们对目前移除人工智能模型上的安全护栏有多容易感到不安。爱德华说:“如果你大量使用开源模型，即使它看起来很安全，但在未来仍可能很危险。”他补充说，开源模型的决定是不可逆转的。“到那时，你所能做的就是承受损失。”

在创办Gladstone AI之前，哈里斯兄弟曾经营着一家人工智能公司，得到硅谷创业孵化器YCombinator的支持。当时，OpenAI的首席执行官山姆·奥特曼（Sam Altman）还在执掌该孵化器的帅印。哈里斯兄弟表示：“虽然他们也是人工智能产业的开拓者，但如果建议被采用，将会颠覆整个行业的利益。我们目前的发展轨迹，似乎非常有可能创造出强大的系统，要么被灾难性地武器化，要么无法控制。最糟糕的情况之一是发生灾难性事件，所有的人工智能研究都将终止，而我们无法获得这项技术的巨大好处。”（编译/无忌）