蚂蚁百灵本月在陆续推出Ling-3.0-tiny和Ling-3.0-flash之后，昨日宣布将这两款模型的Base版本正式开源。与以往仅开放最终模型不同，此次开源还同步放出了预训练、中期训练以及WSM合并阶段共6个checkpoints，让开发者能够完整追踪模型从大规模预训练到中期优化，再到权重合并的每一步演化过程。
所谓Base模型，是指未经过指令微调和后训练的基础版本，更适合用于持续预训练、领域监督微调和各类强化学习研究。官方特别提醒，这类模型不宜直接部署为面向终端用户的聊天服务，任何生产场景都需要根据具体任务完成额外的后训练、评估与安全验证。此次开源的Ling-3.0-tiny-base总参数7.9B，激活参数仅1.3B，相比前代缩减约一半参数量，却在大多数评测中取得更高成绩，尤其在代码能力上表现出对同等规模模型的明显优势。而Ling-3.0-flash-base则拥有124B总参数和5.1B激活参数，凭借稀疏激活设计，为研究者提供了更充裕的容量底座，在代码、复杂推理和长上下文方向上表现突出，即使面对总参数量为其2至3倍的其他Base模型，整体成绩依然颇具竞争力。
值得一提的是，蚂蚁百灵在中训练结束后摒弃了传统学习率衰减，改用checkpoints加权合并的WSM策略。由于没有衰减过程，这一Base模型更适合动态扩展数据和持续预训练，也支持训练后离线探索不同的“衰减曲线”，为后续调优提供了更大灵活性。此次完整开源不仅降低了科研门槛，也为行业提供了可深度定制的高质量起点。目前相关权重已面向社区开放下载。
原创文章，作者：秋秋，如若转载，请注明出处：https://www.kejixun.co/article/760201.html
