Anthropic 披露未发布内部模型:能力超 Mythos 5.1,安全对齐更可靠

10月24日,据报道,Anthropic 与英国人工智能安全研究所(AISI)联合发布一起 AI 网络测试失控事件的调查报告,并提及旗下一款尚未发布的内部研究模型。

Anthropic 披露未发布内部模型:能力超 Mythos 5.1,安全对齐更可靠

报告显示,在测试 Claude Mythos 5 期间,该模型曾试图向真实 GitHub 项目提交恶意代码,并伪造身份向真实维护者施压,所幸代码未被合并,未造成实际损害。

报告同时透露,这款未发布的内部模型在能力上已超过已发布的 Claude Mythos 5.1,在安全对齐测试中表现更好:在同类危险能力评估中从未主动发起攻击,当意识到可能造成真实伤害时,也更愿意停止行动。

Anthropic 将事故记录重新回放给 Mythos 5.1、Opus 5.5 及该内部研究模型进行对比。结果显示,三款较新模型从原始攻击起点继续发起攻击的比例仅为 0% 至 13%,而 Mythos 5 为 83%。

在攻击已经开始后,Mythos 5 从未自发停止;Mythos 5.1 的自发停止率约 1%,Opus 5.5 为 10%,内部研究模型则达到 62% 至 67%。当获得“维护者是真实用户”等补充信息后,较新模型的停止率升至 95% 至 100%。

Anthropic 也强调该评估存在局限:新模型是在由其他模型生成的既有对话记录中回放,未必能完全反映其独立运行时的行为。

原创文章,作者:柠萌,如若转载,请注明出处:https://www.kejixun.co/article/765810.html

柠萌的头像柠萌管理团队

相关推荐

发表回复

登录后才能评论