摩尔线程完成 Kimi K3.1 Pro 的 Day-0 适配 国产卡也能跑 3 万亿参数模型

月之暗面本月 4 日放出了 Kimi K3.1 Pro 的完整模型权重,两天后摩尔线程宣布完成 Day-0 适配:基于 MTT S5000 训推一体智算卡和 MUSA 软件栈,模型加载、服务启动、文本与图片推理链路都已打通。

摩尔线程完成 Kimi K3.1 Pro 的 Day-0 适配 国产卡也能跑 3 万亿参数模型

先看模型本身。Kimi K3.1 Pro 是 K3.1 系列首款,也是目前参数规模最大的 3 万亿级模型,支持 100 万上下文。在 Arena 运营的 Agent Arena 智能体榜单上,它位列开放权重模型第一、全部参评模型第 13 位,工作、编程、聊天三个类别都排在开放模型首位。

后训练和强化学习的投入体现在基准分上:Terminal-Bench 4.0 拿到 65.7%,Kimi Code Bench 3.0 Long-horizon 61.2%,比 K3 的 55.95% 有明显提升。代码与 Agent 任务上的表现,已经接近顶尖闭源模型。

适配的难点集中在两处。一是稀疏注意力 DSA,MUSA 软件栈要完成索引选择、KV 缓存布局以及 Prefill、Decode 计算路径的迁移,再接入 MATE 稀疏注意力算子,与 KDA 状态管理、跨层残差和视觉 Attention 串成完整执行链路。

二是 MXFP4 专家权重。团队采用在线转换加跨层复用 FP8 工作区的办法执行专家计算,不用预先生成完整的离线 FP8 权重,这为超大模型快速上线省掉了最耗时的预处理环节。

工程侧,摩尔线程用 SGLang-MUSA 承接上游模型实现,再通过 MATE 算子库、Triton-MUSA、TileLang-MUSA 和 MTCC 编译器,把社区模型代码转成 MTT S5000 上能跑的推理服务。MUSA 覆盖框架执行、算子编译、设备运行和多卡通信,新模型适配可以复用成熟接口,只针对新增计算路径做优化。

Day-0 适配的意义不在跑分,而在于国产算力能不能跟上开源模型的发布节奏。模型权重一放开就能接住,开发者才可能把国产卡纳入实际选型。

原创文章,作者:潮玩君,如若转载,请注明出处:https://www.kejixun.co/article/767388.html

潮玩君的头像潮玩君管理团队

相关推荐

发表回复

登录后才能评论