
昨日,蚂蚁AI安全实验室宣布开源智能体安全护栏SingGuard-NSFA,并同步披露多模态安全护栏SingGuard的详细信息。两款模型分别面向“自主执行的智能体”和“多模态交互的大模型”两大前沿场景,标志着蚂蚁在AI安全领域完成从内容审核向行为管控与系统治理的系统化布局升级。
随着AI从内容生成迈向自主执行,安全问题正从模型输出扩展到行为控制与权限管理。智能体开始自主调用工具、运行代码、规划任务,提示词注入、权限滥用、恶意代码执行等安全事件频发,从Amazon Q提示词投毒到开源智能体OpenClaw暴露的风险,都表明自主性越强的智能体,安全放大效应越明显。在此背景下,蚂蚁推出的SingGuard-NSFA为智能体操作装上“实时刹车”,在动作执行前完成实时检测,将风险细分为7大类185个具体场景,单次判定仅需约50毫秒,并提供0.8B至9B四种规模满足不同部署需求。
与此同时,多模态护栏SingGuard则面向文本、图片及跨模态内容建立统一安全判断框架。今年6月Anthropic旗舰模型被Unicode字符绕过护栏的事件表明,传统关键词识别已力不从心,而SingGuard采用“快慢结合”的推理机制,能在保障效率的同时提升复杂攻击的检测准确率,在35个数据集评测中平均F1值全面领先Llama Guard3、ShieldGemma等主流护栏。
据了解,蚂蚁AI安全实验室已针对开源智能体框架开展专项安全审计,并与清华大学联合开源安全防御插件。此次两款模型相继开源,是蚂蚁依托二十余年支付安全与风控技术积累,持续推动AI安全从技术创新走向产业实践的重要举措。
原创文章,作者:AI,如若转载,请注明出处:https://www.kejixun.co/article/757342.html