千人公开信：暂停巨型人工智能实验

当代AI系统现已在通用任务方面具有与人类竞争的能力。因此，我们必须问自己：我们是否应该让机器充斥着我们的信息渠道，传播宣传和虚假信息？我们是否应该将所有工作自动化，包括那些有成就感的工作？我们是否应该开发可能最终超越、取代我们的非人类智能？我们是否应该冒着失去对文明的控制的风险？这些决策不能交由未经选举的科技领袖来做。只有在我们确信AI系统的影响将是积极的，风险将是可控的情况下，才能开发强大的AI系统。这种信心必须有充分的理由，并随着系统潜在影响的增大而增加。

因此，我们呼吁所有AI实验室立即暂停至少6个月的时间，停止训练比GPT-4更强大的AI系统。这种暂停应该是公开的、可验证的，并包括所有关键参与者。如果这样的暂停无法迅速实施，政府应该介入并实行禁令。

AI实验室和独立专家应利用这段暂停时间共同制定并实施一套先进的、共享的AI设计和开发的安全协议，这些协议应由独立的外部专家严格审计和监督。这些协议应确保遵守它们的系统在排除合理怀疑之后是安全的。这并不意味着暂停AI发展，而只是从危险的竞赛中退一步，避免发展出具有突现能力的更大、更不可预测的黑箱模型。

AI研究和发展应该致力于AI的新的、有能力的监管机构；对高能力AI系统和大量计算能力的监督和追踪；源头和水印系统，以帮助区分真实与合成以及追踪模型泄漏；强大的审计和认证生态系统；对AI造成的损害承担责任；技术AI安全研究的充足公共资金支持；以及应对AI带来的严重经济和政治颠覆（特别是对民主制度）的有充足资源的机构。

人类可以与AI共享繁荣的未来。在成功创造出强大的AI系统后，我们现在可以享受一个“AI夏天”，在这个时期，我们可以收获硕果，为所有人带来明确的利益，让社会有机会适应。社会已经在其他可能对社会产生灾难性影响的技术上按下了暂停键。我们在这里也可以做到。让我们享受一个漫长的AI夏天，而不是毫无准备地跳入秋天。

热点：马斯克