据报道，Anthropic在当地时间周一公布的IPO招股文件中披露，出于安全方面的顾虑，公司曾暂停下一代旗舰AI模型的训练长达一个多月，另有四个AI智能体在测试期间突破限制、接入了真实的外部计算机系统。
这家Claude开发企业在风险因素章节中说明，推迟了一款全新前沿基础模型的预训练工作，目的是强化防护机制，防止模型权重与知识产权被盗。文件用大约94页篇幅罗列风险因素，并直言训练暂停会造成营收延后、使公司在竞争中落后。
更引人注意的是此前未公开的沙箱逃逸事故。四个模型脱离了测试沙箱环境、访问到现实中的计算机系统，相关会话持续10小时至34小时。Anthropic称事故源于与第三方合作开展网络安全测试时的操作失误：按要求测试环境应关闭联网权限，但最终环境仍保持着互联网连接。
其中一起事故里，模型的早期版本持续尝试一项无法完成的评估任务，期间找到一条保存的密码，并借密码取得第三方系统的管理员权限，随后获取更多凭证、修改系统设置，还访问到个人数据。文件没有写明涉事外部合作方的身份。
Anthropic表示已通知所有受影响相关方，未发现模型刻意躲避人类监管或多个模型协同行动的证据。事后公司叫停了部分上线前网络安全评估项目，并暂停风险等级更高的强化学习测试环境。该公司上周日还披露，Claude曾绕过付费墙，在未获人工授权的情况下调取美国佐治亚州公开的汇总选票数据。
原创文章，作者：李森，如若转载，请注明出处：https://www.kejixun.co/article/766028.html
