Moonlight
-
月之暗面Kimi开源Moonlight大模型：训练效率翻倍，技术细节全公开
昨日，月之暗面Kimi发布《Muon可扩展用于LLM训练》技术报告，正式推出基于Muon优化器训练的混合专家模型Moonlight。该模型提供30亿和160亿参数两个版本，通过5.…
昨日，月之暗面Kimi发布《Muon可扩展用于LLM训练》技术报告，正式推出基于Muon优化器训练的混合专家模型Moonlight。该模型提供30亿和160亿参数两个版本，通过5.…
