谷歌开源TorchTPU 让PyTorch应用改配置就能迁上TPU

谷歌于当地时间周二宣布,面向自家TPU的原生PyTorch框架TorchTPU已在GitHub开源。谷歌与亚马逊一道,尝试打破英伟达在人工智能行业的垄断。目前绝大多数AI应用默认基于英伟达GPU开发运行。

谷歌开源TorchTPU 让PyTorch应用改配置就能迁上TPU

PyTorch是开发者与初创企业搭建、训练和部署AI模型的主流工具库,有统计称85%的AI应用在使用它。它最初由Meta在2016年开发,当时英伟达GPU已是AI研究的标准硬件,因此许多功能专为适配其GPU打造。2022年,Meta将PyTorch移交给Linux基金会管理。

TorchTPU能让AI应用运行在谷歌自研的TPU上,还可把现有PyTorch应用便捷迁移至TPU乃至谷歌云,开发者只需修改配置、无需重写代码。

亚马逊在当地时间周一发布了类似消息,推出自家版本TorchNeuron,可在不重写代码的情况下把应用移植到Trainium芯片与AWS,并表示会继续向PyTorch主项目提交代码,把各类功能与英伟达芯片解耦。

谷歌在某些方面的力度更大。它联合Meta、Hugging Face以及vLLM、SGLang的开发方等,保证TorchTPU与这些主流工具保持兼容;同时推出TPU智能体套件帮助迁移排错,并升级了用于在端侧运行模型的LiteRT工具。这些进展并不意味着开发者会集体放弃英伟达硬件,但两家云厂商显然在努力终结其优势地位。

原创文章,作者:聆听,如若转载,请注明出处:https://www.kejixun.co/article/765351.html

聆听的头像聆听认证作者

相关推荐

发表回复

登录后才能评论