‌腾讯混元开源四款小尺寸AI模型 消费级设备也能跑大模型

‌腾讯混元开源四款小尺寸AI模型 消费级设备也能跑大模型

近日,腾讯混元团队宣布开源四款小尺寸AI模型,参数分别为0.5B、1.8B、4B和7B,覆盖从轻量级到中高性能的应用需求。这些模型专为消费级显卡优化,可在笔记本电脑、手机、智能座舱等低功耗设备上流畅运行,同时支持垂直领域的低成本微调,显著降低了AI技术落地的门槛。

目前,四款模型已在Github和HuggingFace等开源平台上线,并获得Arm、高通等芯片厂商的适配支持。它们采用融合推理架构,既可通过快思考模式快速响应简单任务,也能通过慢思考模式处理复杂问题,在语言理解、数学推理等测试中表现优异。

新模型特别强化了agent能力和长文本处理性能,原生支持256k超长上下文窗口,相当于同时记忆40万汉字或50万英文单词。这一特性已应用于腾讯会议AI助手和微信读书AI问书,实现对整场会议或整本书籍的深度理解。在端侧场景中,腾讯手机管家利用小模型实现毫秒级垃圾短信拦截,智能座舱则通过双模型协作提升车载交互体验。

开发者仅需单卡即可部署这些模型,并支持主流推理框架和量化格式。腾讯表示,此次开源是混元大模型生态建设的重要一步,未来将持续推动AI技术在多元场景中的普惠应用。

原创文章,作者:小科同学,如若转载,请注明出处:https://www.kejixun.co/article/730525.html

小科同学的头像小科同学

相关推荐

发表回复

登录后才能评论