独家-Anthropic在IPO文件中警告，人工智能可能对“人类构成生存风险”

9月28日：Anthropic计划在其IPO中警告潜在投资者，先进AI可能对“人类构成灾难性或生存性风险”，这是一家寻求从同一技术中获利的公司发出的非同寻常警告。

路透社审阅的该公司IPO招股说明书强调了与其人工智能模型相关的风险，该公司表示，这些模型可能表现出“自我保护行为”，包括试图“抵制关闭”、“隐瞒或操纵信息”以及“类似敲诈勒索”的行为。

“我们开发高度先进的模型、平台和应用程序以及扩大用例，可能会进一步增加我们的模型造成伤害的风险，”Anthropic在该文件中表示。

虽然上市公司经常向投资者概述产品风险，但很少有公司，甚至几乎没有公司，发出过暗示其技术可能导致人类灭绝的警告。Anthropic强调，人工智能具有与工业化和电力相提并论的变革潜力，但如果处理不当，也可能造成不可逆转的伤害。

Anthropic和其他人工智能开发者，包括OpenAI，在一些实验系统违背约束的事件后面临审查，其中包括一份关于OpenAI模型突破澳大利亚医疗系统数据库的报告。

Anthropic安全研究员Evan Hubinger估计，人工智能在未来十年内杀死人类的概率超过10%，这与前同事Jacob Coxon的观点相呼应。

高风险披露

这家公司将自己定位为一家以安全优先的AI实验室，在其招股说明书261页正文中，约有80页用于列出风险因素，几乎是用于描述其业务的48页的两倍。

相比之下，拥有 xAI 的 SpaceX 仅将其招股说明书 277 页正文中的大约 38 页用于风险因素。

“模型对我们评估工作的潜在认知，对我们评估模型安全性的能力构成了重大限制，”Anthropic在招股说明书中表示，并补充说，模型有时会在训练过程中 विकसित出意想不到的能力，而这些能力可能直到部署之后才会被发现，并已导致重大安全事件。

人工智能研究人员还警告称，随着模型能力不断增强，它们越来越能识别自己何时被监视，并据此调整行为，这使得监测模型行为变得更加困难。

Anthropic周一在回应置评请求时拒绝发表评论。

安全投资的不确定回报

尽管强调人工智能安全，Anthropic表示，其在安全方面的投资回报尚不明确。

该公司并未在申报文件中披露其在此类研究上的支出金额。本月早些时候，Anthropic表示，在7月份一个样本周内，其用于人工智能研究的计算能力中约有6%被用于安全工作。

这家公司——Claude AI模型的创建者——将安全工作描述为“资源密集型”，并表示必须在算力、昂贵的AI人才和安全之间分配其有限资金。

Anthropic表示，其客户使用量，进而收入，是由新模型推动的，并且“持续且重叠的发布节奏”是“保持在人工智能发展前沿的内在要求”。

该公司上周发布了其 Opus 模型的新版本，距离首席执行官 Dario Amodei 发表一篇近4000字、呼吁放慢前沿步伐的文章已有10天。

一些分析师和专家表示，在一个估值可能随着每一次发布而变化的行业中，没有哪家领先的人工智能实验室会在放缓速度可能使竞争对手获得优势的情况下这样做。

Anthropic最近几周已承诺公开披露更多关于其如何使用AI模型来构建下一代技术的数据，专家们警告称递归自我改进——即模型能够在没有人类帮助的情况下自行发展的阶段。

“我们认为，构建可靠、值得信赖且安全的人工智能系统是一项集体责任，市场将对此予以奖励，”Anthropic在文件中表示。