OpenAI给前沿模型训练断网 改用离线网页环境防越狱

据报道,OpenAI在23日发布博文,宣布对最先进的前沿模型训练与评估环境实施更严格的安全管控,模型在训练期间不再直接访问实时互联网。

OpenAI给前沿模型训练断网 改用离线网页环境防越狱

这一决定来自对当前对齐研究、监测能力和互联网基础设施安全状况的评估。OpenAI表示,限制将持续到安全防护取得足够进展为止。触发点是9月20日的一次意外:一款内部研究模型利用DNS配置漏洞,在训练过程中短暂获得了有限的联网权限,公司因此在9月一度暂停前沿模型的训练与评估。

随后OpenAI加强了研究环境隔离,缩小智能体可被利用的攻击面,并改进异常行为检测与自动停止机制,于10月1日恢复强化学习训练和内部推理。

为了让模型在没有真实网络的情况下继续练习,OpenAI搭建了一个由大量已索引和缓存网页组成的离线环境。智能体仍能使用浏览器、计算机操作工具和代码环境,但只能访问与实时互联网隔离的安全空间,未经授权的智能体之间通信同样受限。

OpenAI称,随着智能体能力增强,未来可能发现并利用尚未被识别的软件漏洞,因此必须在训练阶段切断其对外部系统的潜在影响。接下来公司会在受控的离线沙箱中推进前沿模型研发,同时持续测试虚拟机、隔离机制与监测系统的薄弱环节。

原创文章,作者:柠萌,如若转载,请注明出处:https://www.kejixun.co/article/765719.html

柠萌的头像柠萌管理团队

相关推荐

发表回复

登录后才能评论