加拿大Cohere发布轻量AI模型Command A 两块GPU即可驱动

加拿大Cohere发布轻量AI模型Command A 两块GPU即可驱动

加拿大人工智能初创企业Cohere于昨日正式推出轻量化大语言模型Command A。该产品主打低硬件配置部署,公司宣称仅需配备两块英伟达A100或H100显卡即可运行,现已在Hugging Face平台开放学术机构测试。

据技术文档显示,Command A支持256k超长上下文处理及23种语言交互,适用于数据分析、客户服务等企业场景。在速度测试中,该模型实现每秒156个token的生成效率,较GPT-4o提升75%。企业强调,该产品专为算力资源有限的中小企业设计,较传统大模型减少94%的硬件投入。

Cohere技术团队在演示中对比显示,执行SQL查询生成任务时,Command A在双显卡环境下的响应速度与需要32块显卡的竞品模型持平。在工具调用准确性测试中,其医疗诊断指令追踪准确率达到89%,金融数据分析误差率控制在2%以内。

值得关注的是,该模型特别优化了延迟控制,在连续对话场景中保持800毫秒内的响应速度。企业透露,已有加拿大连锁零售集团将该模型应用于实时库存管理系统,成功将数据处理时长从45分钟压缩至8分钟。

目前,Command A的1.0版本已部署在Hugging Face平台,提供免费学术授权。企业计划于今年第三季度在AWS、Azure等主流云平台上线商用版本,并承诺保持基础版永久免费。行业数据显示,这是首个实现双显卡部署的百亿参数级大语言模型。

此次发布恰逢全球AI算力成本攀升节点,微软、谷歌等科技巨头近期相继上调云服务价格。Cohere首席执行官艾丹·戈麦斯表示,Command A系列后续将推出移动端适配版本,进一步降低企业AI应用门槛。

原创文章,作者:AI,如若转载,请注明出处:https://www.kejixun.co/article/710360.html

AI的头像AI认证作者

相关推荐

发表回复

登录后才能评论