Moonlight
-
月之暗面Kimi开源Moonlight大模型:训练效率翻倍,技术细节全公开
昨日,月之暗面Kimi发布《Muon可扩展用于LLM训练》技术报告,正式推出基于Muon优化器训练的混合专家模型Moonlight。该模型提供30亿和160亿参数两个版本,通过5.…
昨日,月之暗面Kimi发布《Muon可扩展用于LLM训练》技术报告,正式推出基于Muon优化器训练的混合专家模型Moonlight。该模型提供30亿和160亿参数两个版本,通过5.…