7月26日，数澈软件Seal（以下简称“Seal”）宣布正式发布并开源最新产品 GPUStack，GPUStack 是一个用于运行 LLM（大型语言模型）的开源 GPU 集群管理器。
尽管如今大语言模型作为公共的云上服务已经被广泛推广并在公有云上变得更加易于使用，但对企业来说，部署托管自己私有的 LLM 供企业和组织在私有环境使用仍然非常复杂。
首先，企业需要安装和管理复杂的集群软件，如 Kubernetes，然后还需要研究清楚如何在上层安装和管理 AI 相关的工具栈。而目前流行的能在本地环境运行 LLM 的方法，如 LMStudio 和 LocalAI，却大都只支持在单台机器上运行，而没有提供多节点复杂集群环境的支持能力。
Seal 联合创始人及 CTO 梁胜博士介绍道，“GPUStack 支持基于任何品牌的异构 GPU 构建统一管理的算力集群，无论目标 GPU 运行在 Apple Mac、Windows PC 还是 Linux 服务器上， GPUStack 都能统一纳管并形成统一算力集群。GPUStack 管理员可以从诸如 Hugging Face 等流行的大语言模型仓库中轻松部署任意 LLM。进而，开发人员则可以像访问 OpenAI 或 Microsoft Azure 等供应商提供的公有 LLM 服务的 API 一样，非常简便地调用 OpenAI 兼容的 API 访问部署就绪的私有 LLM。”
加入社区，参与开源共创
GPUStack 项目正在快速迭代，计划引入对多模态模型的支持，更多的 GPU 厂商支持，以及更多的推理引擎支持。我们十分欢迎您一起参与开源项目的贡献，也欢迎在我们的 GitHub 仓库 gpustack/gpustack 上点亮 Star 关注我们的最新动态。
本文转载自：，不代表科技讯之立场。原文链接：http://articlef.yulepops.com/article/m-165/1/412202407290742474581887.html
