MiniMax开源M3.1 Flash 总参数428B激活参数23B

据报道,MiniMax正式开源MiniMax M3.1 Flash模型权重。该模型总参数量为428B,激活参数量为23B,相较上一代M3模型能力全面提升。官方披露,M3.1 Flash上线72小时内,真实用户处理的Token量已超过100万亿。

MiniMax开源M3.1 Flash 总参数428B激活参数23B

为提升推理效率,M3.1 Flash引入多项优化:将前三个全注意力层替换为稀疏注意力;通过量化感知训练,把路由MoE专家(共享专家除外)迁移至W4A4,并将稀疏注意力索引器和主分支从Q8KV8调整为Q8KV4;同时采用功耗感知调度精细分配计算卡功耗,提升硬件利用效率。

生态建设方面,MiniMax联合华为昇腾、平头哥、昆仑芯、摩尔线程、壁仞、海光、沐曦、天数、英伟达、AMD等芯片厂商,以及Together AI、Fireworks、Nebius、Baseten、Modal、DigitalOcean等推理与云服务平台,推动模型首日接入。

此外,vLLM、SGLang、智源FlagOS以及Hugging Face、魔搭社区也将共同推进模型适配,拓展其在不同芯片、云平台和开发环境中的应用。目前模型权重已在Hugging Face和魔搭社区上线。

原创文章,作者:校草,如若转载,请注明出处:https://www.kejixun.co/article/765591.html

校草的头像校草认证作者

相关推荐

发表回复

登录后才能评论