原文标题:Amazon is taking its biggest shot at Nvidia yet with new TorchNeuron dev tool
并运行人工智能模型。据亚马逊称,它只需更改一行配置即可让用 PyTorch 编写的人工智能应用程序在 Trainium 上运行,无需重写代码。
亚马逊表示,大约 85% 的人工智能应用程序是用 PyTorch 编写的。 Facebook 最初开发了它,但自 2022 年以来,它一直是 Linux 基金会的一部分,该基金会负责维护开源项目。 Nvidia 花了数年时间确保其 CUDA 软件(允许应用程序在 Nvidia GPU 及其其他硬件上运行的软件基础设施)无缝支持使用 PyTorch 编写的 AI 应用程序。因此,Nvidia 的硬件现在基本上默认地深深嵌入到工具包中。
TorchNeuron 改编自 PyTorch,因此了解 PyTorch 的开发人员已经知道如何使用它。亚马逊并不是第一家尝试轻松地将芯片引入该平台的公司。 PyTorch 用户还可以通过简单的配置更改将他们的应用程序移植到 AMD GPU 甚至 Apple 的芯片。
然而,亚马逊认为,移植到 Trainium 不仅容易,而且还很困难。它还让人工智能初创公司能够访问亚马逊的整个云。毫不奇怪,AWS 声称这对于初创公司来说是比使用 Neocloud 更好的选择,其中许多与 Nvidia 及其
硬件,例如 Coreweave、Nebius 和 Firmus。
AWS Annapurna Labs(亚马逊定制芯片的制造单位)的技术软件副总裁 Colin Brace 通过电子邮件告诉 TechCrunch,“你是在 AWS 上进行构建。你不是把赌注押在单一用途的计算提供商身上,而是争先恐后地围绕它构建其他所有东西。” “在 AWS 上,”他继续说道,“从原型到生产的基础设施已经存在,允许创始人在需要时快速行动并扩展规模。”
AWS 表示,由于同一个芯片既可以处理训练(教授 AI 模型)又可以进行推理(将完成的模型投入使用,就像回答用户的问题一样),并且与初创公司所需的云基础设施紧密集成,因此即使 AWS 不提供最便宜的单代币价格,其云也将为他们节省资金。
“Trainium 的价值在于性价比,而且它是一个训练和推理平台,可以提高整个工作负载的经济性,”Brace 说。 “看看 Deepgram,他们使用原生 PyTorch 迁移到了 Trainium,并提供支持,并且每美元处理的音频数量增加了 70%,达到了生产级精度。” Deepgram 是一家人工智能语音应用程序提供商,是
十一实验室。
但亚马逊并不满足于仅仅为 PyTorch 应用程序开发人员提供迁移到云的简单选择。
亚马逊还表示,它正在推动 PyTorch 不再自动以 Nvidia 为中心,并将向主要 PyTorch 项目贡献代码来实现这一点。在宣布新工具的博客文章中,该公司写道:
“亚马逊的方法超出了自己的硬件范围。该公司正在为 PyTorch 本身的上游做出贡献,与 PyTorch 社区合作删除将框架与特定芯片联系起来的代码。目标是让 PyTorch 对整个开发者社区(而不仅仅是 Trainium 用户)来说更加与硬件无关。”
虽然这种策略对于那些销售与 Nvidia 竞争的硬件和云服务的人来说无疑是有利的,但 PyTorch 的要点之一是隐藏了让 AI 代码在硬件上运行的所有讨厌的困难。我们必须拭目以待,看看将 Nvidia 推出如此远的范围是否会给开发者带来更多选择和更实惠的选择,就像亚马逊所承诺的那样,或者只是更多的配置问题。
不管怎样,如果亚马逊成功地将 PyTorch 与 Nvidia 深度分离,这对 GPU 巨头来说可能会产生比简单地更大的影响。
与芯片竞争对手打交道。正如布雷斯所说:“真正的故事是消除阻碍开发者做出真正选择的锁定。”