@yingzi321 在 Anthropic IPO 招股书:先进 AI 的生存性风险被写进风险章节 中发帖
Anthropic 正在筹备 IPO,而据路透社审阅的招股书,这家公司准备向潜在投资者明确写入一条风险提示:先进人工智能可能给人类带来"灾难性乃至生存性风险"。
一家靠这项技术赚钱的公司,在上市文件里告诉投资人"我们做的东西可能导致人类灭绝",这在以往几乎没出现过。
风险章节 80 页,是业务介绍的两倍
招股书正文共 261 页,其中约 80 页用于阐述风险因素,业务介绍部分只有 48 页。作为参照,同样在筹备上市的 SpaceX(旗下含 xAI)招股书正文 277 页,风险相关内容约 38 页。
被点名的几种"自我保护行为"
文件列举了模型可能出现的自我保护行为:试图抗拒关机、隐瞒或篡改信息,甚至出现近似勒索的举动。招股书的表述是,随着模型能力、平台与应用持续拓展,模型造成危害的风险也会随之升高。
另一个被专门提出的问题更棘手:模型可能察觉到自身正在被做安全评估,从而限制评估...