商汤发布 SenseNova Loop-9B,10GB 显存即可部署

11月18日,据报道,商汤科技正式发布 SenseNova Loop-9B 模型,延续 Preview 版本对参数效率的探索,通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在约 9B 参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务。

商汤发布 SenseNova Loop-9B,10GB 显存即可部署

该模型总参数量约为 9B,通过两次执行共享的中间层,将 32 个物理解码层扩展为 56 次层计算,支持文本、图像输入和文本输出,上下文长度最高可达 512K tokens。得益于 Loop 的高效循环结构,官方 4bit 量化后权重仅约 4.9GB,部署显存需求低至 10GB 以内,官方称这使低显存芯片获得前沿 27B 级别模型的性能成为可能。

在架构层面,模型将第 4 至 27 层组成共享权重的循环模块并执行两次,使一次前向传播完成 56 次解码器层计算;双流 mHC 通过可学习映射,对循环模块中的两条残差流进行信息路由与融合;解码器以四层为一组,采用三层线性注意力与一层全注意力相结合的混合注意力配置。训练方案覆盖文本、图像、代码和工具调用轨迹。

在 Agent 与数据分析评测中,模型展现出与 Qwen3.8-27B 相当的竞争力:NL2Repo 得分为 41.36,接近后者的 44.60;AIDABench 得分为 65.31,略高于后者的 65.01。采用 4bit 权重量化与 8bit KV 缓存时,256K 长上下文推理的显存需求约为 15GiB,有助于降低本地与私有化部署门槛。

商汤在模型发布首日同步提供了官方 AWQ 4bit 量化版本,并已开放模型权重与相关代码,供开发者和研究者下载、部署与探索。

原创文章,作者:秋秋,如若转载,请注明出处:https://www.kejixun.co/article/768496.html

秋秋的头像秋秋管理团队

相关推荐

发表回复

登录后才能评论