谷歌周一推出了两款人工智能计算系统，用专为隐私和内存密集型人工智能打造的芯片向英伟达发起挑战。
TPU 8tx 和 TPU 8i Max 加入了 Google 的第八代张量处理单元阵容，为企业提供四种用于训练和运行 AI 模型的配置。谷歌表示，它为近 100 个 TPU 客户提供服务，从人工智能实验室到大学。
与 Nvidia 广泛使用的图形处理单元不同，TPU 是专门构建的人工智能加速器。谷歌为自己的服务开发了它们，但越来越多地向外部公司（包括本地客户）出售访问权限。
NVDA 11 月低点
谷歌首席技术专家兼人工智能和基础设施高级副总裁 Amin Vahdat 在谷歌的声明中写道：“随着计算从人类规模转向代理规模，企业需要能够在人工智能模型的巨大上下文窗口中进行推理的加速器。”
保持敏感信息的私密性
TPU 8tx 针对的是许多严肃企业在采用人工智能时遇到的一个问题：在模型使用敏感信息时保护敏感信息。
数据在存储和传输过程中都是加密的，但处理通常需要在内存中解密。谷歌表示，即使在运行过程中，该配置也使用硬件级机密计算来隔离客户数据和专有模型参数。
该系统将 TPU 8t 芯片与第五代 AMD EPYC 处理器和 Google 的低延迟 Boardfly 网络相结合。谷歌声称，与 TPU 8t 相比，它可以将延迟减少一半，而且几乎不会因为增加的保护而导致性能损失。
换句话说，需要隐私的任务不会牺牲速度或准确性。
公司可以在同一系统上微调和运行模型，而不是在集群之间传输敏感信息。然而，机密计算无法防止设计不当的人工智能代理错误地处理允许访问的数据。
打破AI的内存瓶颈
TPU 8i Max 解决了另一个限制：内存。自主代理分析数据、代码库、文档或视频时间等；需要快速访问比传统人工智能任务更多的信息。
谷歌将两颗 TPU 8i 芯片组合到一个封装中，与 TPU 8i 相比，计算能力、片上 SRAM 和高带宽内存吞吐量提高了一倍。该设计在相同的机架占地面积中封装了两倍的硅。
“我们的第四个系统 TPU 8i Max 是为了解决另一个问题而构建的：内存墙，”Vahdat 写道。
谷歌正在开源 TPU Sync，这是一种在芯片、服务器和存储之间移动人工智能工作内存的软件。据称该系统可以将某些数据传输延迟和响应启动时间减少 90% 以上。
谷歌宣布这一消息之际，英伟达面临着华尔街越来越大的压力。在首席执行官黄仁勋承认与一名被美国情报部门怀疑为中国从事间谍活动的女性发生婚外情后，周四股价暴跌 9.3%，周一交易中又下跌 5%。英伟达董事会已启动独立调查，但该公司表示没有证据表明公司机密遭到泄露。
随着竞争对手瞄准英伟达的人工智能芯片主导地位，这一丑闻加剧了人们对英伟达增长的担忧。据报道，OpenAI 计划购买谷歌的 TPU，以减少对 Nvidia 的依赖。这尚未得到证实，但谷歌不断扩大的芯片阵容可能会给人工智能开发商带来更多的议价能力，威胁到英伟达的市场份额和未来的增长预期。
谷歌正在专门的硬件和软件上竞争，而不仅仅是芯片速度。其开源 TorchTPU 项目还允许开发人员在 TPU 上运行 PyTorch 和 Hugging Face 模型，而无需重写应用程序。
不过，谷歌的性能数据是将其新系统与早期的谷歌硬件进行比较，而不是与英伟达的最新产品进行比较。该公司没有透露这两种新配置的定价或上市日期。