英伟达（Nvidia）近日正式推出新型小型语言模型Nemotron-Nano-9B-v2，进一步推动小型模型的技术发展。该模型拥有9亿参数，虽比同类小型模型规模更大，但较原始12亿参数版本大幅精简，可在单台Nvidia A10 GPU上高效运行。据Nvidia AI模型后训练总监Oleksii Kuchiaev介绍，参数缩减旨在优化部署需求，其混合架构使批量处理速度达到同类变换模型的6倍。
该模型支持英语、日语等六种语言，适用于指令跟随和代码生成任务。其创新性在于用户可通过/think等控制令牌切换AI的推理过程，系统默认生成思维链但支持关闭。此外，”思考预算”机制允许开发者设定推理标记数量，平衡准确性与响应速度。测试显示，在推理开启模式下，该模型在AIME25、MATH500等基准测试中表现优异，尤其在长上下文处理中准确性显著高于同类开放模型。
Nvidia为模型采用开放许可协议，允许商业自由使用且不主张输出所有权，大幅降低企业部署门槛。这一举措为需要轻量级推理能力的开发者提供了新工具，其动态推理控制功能进一步拓展了小型语言模型的应用场景，标志着高效AI部署技术的重要突破。
原创文章，作者：柠萌，如若转载，请注明出处：https://www.kejixun.co/article/732708.html
