英伟达优化 Kimi K3推理速度,同硬件性能提升 1.68 倍

10 月 18 日,调研机构 SemiAnalysis 发文称,英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user(每用户每秒 Token)的推理速度,对比相同硬件(GB300 NVL72)性能提升 1.68 倍。

英伟达优化 Kimi K3推理速度,同硬件性能提升 1.68 倍

据介绍,该优化由英伟达 CentML 工程师 Benjamin 完成。它通过大规模 Megakernel 融合,使用 Cute DSL 编写英伟达新推出的解码专用内核。这个 Megakernel 包含 1.2 万行代码,被视为 AI 辅助生成高级计算内核的未来方向。

除此之外,英伟达还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化。

原创文章,作者:泡沫大盗,如若转载,请注明出处:https://www.kejixun.co/article/765083.html

泡沫大盗的头像泡沫大盗认证作者

相关推荐

发表回复

登录后才能评论