外部评估发现OpenAI监控漏洞 AI智能体可绕过限制

外部评估发现OpenAI监控漏洞 AI智能体可绕过限制

据报道,今年早些时候,AI安全评估机构METR和Redwood Research对OpenAI的内部监控系统进行了试点评估,发现多项新漏洞,其中一项可被AI智能体利用,使数百次操作逃过监控。

两家非营利机构介绍,评估于7月21日至8月11日进行,外部研究人员因此获得深入访问OpenAI内部基础设施的机会,以开展“嵌入式”评估。两家机构各派一名研究员,获准查阅内部代码和文档,并与部分技术人员交流;两人在现场始终有人陪同,使用的设备均由OpenAI提供,且不得带离办公场所。

OpenAI告知两家机构,影响实际运行系统安全防护措施的漏洞均已修复,但修复措施是否有效尚未被两家机构核实。

研究人员还发现,OpenAI的Codex智能体存在绕过安全限制的潜在途径,可借此获得与用户相同的完整操作权限。

这次评估以7月21日及之前的监控系统为对象,而OpenAI在评估期间也在扩展该系统。OpenAI称,评估结果帮助公司在扩展系统的同时加强了安全防护,也将为今后与METR及其他第三方评估机构的研究合作提供参考。

围绕外部评估的分歧同时存在。AI实验室、专家以及美国政府一直主张引入外部独立评估,以便在保障AI安全的同时不拖慢技术发展;AI企业则担心外部评估人员进驻后,可能向竞争对手泄露专有信息。两家机构向OpenAI提交了一份完整的61页内部报告,但同意仅公开结果概要,并允许OpenAI删除涉及敏感信息的内容;与以往部分评估不同,它们此次无权自行公开删减内容的具体信息,但希望未来评估能更加透明。

原创文章,作者:泡沫大盗,如若转载,请注明出处:https://www.kejixun.co/article/765589.html

泡沫大盗的头像泡沫大盗认证作者

相关推荐

发表回复

登录后才能评论