蚂蚁百灵开源Ling-3.1-flash模型 让长文本推理更省卡

蚂蚁百灵开源Ling-3.1-flash模型 让长文本推理更省卡

蚂蚁百灵宣布开源Ling-3.1-flash模型。该模型总参数约560B,但每个Token仅激活约25B,最高支持1M上下文。在Artificial Analysis公开评测中,其智能指数为41,输出速度约为每秒210 Token,主要面向长文本处理与高效推理场景。

针对本地部署,团队对routed experts采用MXFP4量化,dense层保持block-FP8,权重占用从约534GB降至292GB。在Hopper GPU测试配置中,服务部署可由8卡降至4卡,让具备服务器级GPU的团队以更少卡数运行模型。同时,模型提供PCP/DCP长上下文并行推理方案,并加强对JSON Schema的支持,方便与现有业务接口对接。

性能方面,在平均输入约25.47K Token、输出约224 Token、缓存命中率76%的模拟生产请求中,8卡Hopper配置下平均首Token时间为604毫秒,相邻输出Token平均间隔为3.28毫秒。4卡Hopper吞吐测试中,平均输入约8.5K Token、输出约800 Token时达到约1.36 QPS,同时满足首Token时间P50小于3秒、相邻输出Token间隔P90小于70毫秒的约束。

目前Ling-3.1-flash提供限时2.5折优惠。OpenRouter美元计价为输入0.075美元、输出0.225美元、缓存读取0.015美元;Ling Studio人民币计价为输入0.5元、输出1.5元、缓存读取0.1元。此次开源与部署优化,为长资料问答、办公助手等场景提供了更省算力的选择。

原创文章,作者:AI,如若转载,请注明出处:https://www.kejixun.co/article/764830.html

AI的头像AI认证作者

相关推荐

发表回复

登录后才能评论