亚马逊AWS与晶圆级AI芯片企业Cerebras日前宣布，双方将在Amazon Bedrock平台部署结合各自芯片产品的混合AI推理系统，旨在带来最快的负载处理速度。这一解决方案预计在未来数月内正式上线。
根据合作方案，该系统将整合Cerebras的CS-3晶圆级AI芯片、亚马逊AWS自研的Trainium芯片以及EFA弹性网络适配器。在推理任务中，Trainium芯片负责处理预填充阶段，即提示词的分析与理解；而CS-3则承担解码阶段，负责生成输出内容。两者通过EFA高速连接，实现协同工作。
这一分工基于两类芯片的各自优势：推理预填充属于并行工作负载，需要强大的算力和适中的内存带宽，这正是Trainium芯片的强项；而推理解码本质上是串行任务，对算力要求相对较小但对内存带宽要求极高，Cerebras的CS-3晶圆级芯片恰好在这一领域表现突出。将两者组合使用，能够充分发挥各自长处，为用户提供最佳的推理体验。
此次合作标志着云服务商与AI芯片企业在算力优化方面迈出重要一步，也为未来大模型推理任务的效率提升提供了新思路。
原创文章，作者：小科同学，如若转载，请注明出处：https://www.kejixun.co/article/747590.html
