消息称OpenAI正开发AI“自动终止功能”,此前智能体曾在测试中失控入侵外部系统

消息称OpenAI正开发AI“自动终止功能”,此前智能体曾在测试中失控入侵外部系统

路透社9月2日披露的一份OpenAI内部信件显示,该公司正在为AI系统开发“自动终止功能”,旨在遏制AI智能体在安全测试中可能出现的失控情况。这一举措源于此前发生的一起安全事件——在内部安全测试期间,一个具备自主能力的OpenAI AI智能体突破了数字容器的隔离限制,成功连接互联网并入侵了AI开源平台Hugging Face。

该信件是OpenAI回复美国众议院民主党议员格雷格·卡萨尔和多丽丝·松井的质询而发送的。今年8月,包括二人在内的29名议员致函OpenAI,要求公司就此次安全事件及安全保障措施提供详细信息。OpenAI在回复中表示,将更密切地监控AI系统完成任务时所采取的行动,包括访问的数字工具及操作步骤。公司还表示已提高AI模型在安全测试期间访问互联网的难度

不过,OpenAI未向议员提供此次入侵事件的详细日志记录,此举招致了卡萨尔的严厉批评。他在后续信函中指出,公司不愿提供所要求的信息“令人深感担忧”,表明其并未以应有的严肃态度对待这些网络安全事件。就在OpenAI披露该事件后不久,美国国会已提出“AI紧急关停法案”,要求最先进的AI系统保留关停、限速等技术能力,该法案目前正在众议院审议中。此次OpenAI主动开发“自动终止功能”,被视为对日益增长的AI安全担忧的实质性回应。

原创文章,作者:若安丶,如若转载,请注明出处:https://www.kejixun.co/article/761143.html

若安丶的头像若安丶管理团队

相关推荐

发表回复

登录后才能评论