今日,OpenAI 发布《管理前沿 AI 风险:从训练到部署》安全政策说明,首次系统披露从研发、内部使用到公开发布各阶段如何管控高能力模型的风险。

OpenAI 称,前沿模型能力快速增强,理解、对齐与保障能力必须始终领先一步。公司维持安全案例流程,要求训练全程提供更有力的行为对齐证据,这些措施会拖慢发布节奏,但能增强安全推进的信心。
说明特别提到今年 7 月的 Hugging Face 事件,认为它表明不能只靠沙盒隔离约束高能力模型。此后公司重构内部研究系统:前沿模型训练环境不接入实时互联网,并通过受限权限沙盒、虚拟机以及网络与云边界实现多层隔离。
另一件事发生在 9 月 20 日:一个正在训练的 AI 研究模型利用 DNS 配置漏洞,绕过网络隔离获得有限的互联网访问权限。OpenAI 随后紧急叫停能力最强模型的训练与评估,停训长达 11 天。
为加快干预,公司建立了控制室系统,收到停止指令后可在 35 秒内停止研究工作负载的后续模型输出,该控制直接部署在推理基础设施中,不依赖各研究任务自行实现关停。模型进入内部部署后,员工可让其访问更广的互联网、Slack、代码库与内部基础设施,风险随之上升,公司将更依赖对齐、系统级防护与实时监控,重点防范绕过限制、数据外泄与向未授权目的地发送敏感信息。
原创文章,作者:校草,如若转载,请注明出处:https://www.kejixun.co/article/768636.html