KV（键值）缓存解决方案集成了 Supermicro Petascale 存储服务器、IBM Storage Scale 软件、NVIDIA Dynamo 推理软件和 NVIDIA Spectrum-X 以太网交换机

性能测试表明，与没有 KV 缓存的系统相比，KV 缓存解决方案减少了长上下文窗口的首次令牌时间 (TTFT)

客户可以通过更高的 GPU 利用率、吞吐量和基础设施可扩展性显着提高推理效率

加利福尼亚州圣何塞，2026 年 11 月 5 日 /美通社/ -- 以 Data Center Building Block Solutions® (DCBBS) 为特色的人工智能、企业、存储和 5G/边缘整体 IT 解决方案提供商 Supermicro, Inc.（纳斯达克股票代码：SMCI）今天宣布与 IBM 和 NVIDIA 合作推出全新 KV 缓存存储解决方案。该联合解决方案集成了使用 AMD EPYC 9005 系列处理器（“Turin”）的 Supermicro Petascale 全闪存存储服务器、IBM Storage Scale 软件以及 NVIDIA Dynamo 推理框架软件和 Spectrum-X 以太网网络。

这些技术共同可以大大减少人工智能模型开始生成响应所需的时间，这对于企业采用代理和长上下文人工智能工作流程来说是一个关键优势。将 KV 缓存容量扩展到本地 GPU 内存之外可以提高 GPU 利用率和推理吞吐量，同时实现 KV 缓存内容的高可用性和 KV 缓存容量的无中断扩展。其结果是一个更具可扩展性、弹性的推理架构，可提供更快、响应更灵敏的 AI 体验。

美超微总裁兼首席执行官梁见后表示：“随着人工智能工作负载从训练扩展到推理，企业和新云部署了代理人工智能和长上下文、多轮生成人工智能特有的高吞吐量推理工作负载，需要消除瓶颈以提高 GPU 效率。” “我们与 IBM 和 NVIDIA 合作的解决方案清楚地展示了这些性能优势。”

有关此版本的视频回顾，请单击此处。

推理工作负载由两个阶段组成：预填充和解码。在预填充期间，输入文本被转换为标记并由 LLM 处理以生成推理所需的中间键值 (KV) 状态。通过将这些先前计算的 KV 状态存储在持久的 KV 缓存中，系统可以重用它们，而不是为后续请求重新计算相同的上下文。代理工作流程、编码助手、长上下文 RAG、多模式 AI 和多轮应用程序在处理大型代码库、文档、对话、图像和其他上下文时可以生成大量的 KV 状态，从而迅速超出 GPU 和 CPU 内存，并推动将 KV 缓存卸载到大容量共享网络存储的需求。

Supermicro、IBM 和 NVIDIA 的 KV 缓存解决方案提供了这种持久存储层，有助于提高推理效率、吞吐量和可扩展性，同时减少冗余计算。

KV 缓存解决方案的主要客户优势包括：

联合解决方案验证 – Supermicro、IBM 和 NVIDIA 进行了广泛的集群级测试来衡量性能，包括高并发和嘈杂的邻居网络流量场景。

更快、更一致的推理性能 – 在 Supermicro 和 NVIDIA 的联合测试中，使用 1200 亿参数的 LLM，持久 KV 缓存在 130,000 个令牌提示下可提供高达 56 倍的 TTFT 速度。 [1]随着输入长度从 30,000 个令牌增加到 130,000 个令牌，使用 KV 缓存时 TTFT 仅增加了 0.377 秒，而没有使用 KV 缓存时则增加了 29.55 秒，从而为长上下文工作负载提供了更一致的性能。

更高的 GPU 利用率和吞吐量 - 通过在 GPU 内存之外保留经常重用的上下文，该解决方案有助于减少 GPU 空闲时间、增加推理吞吐量并支持更大的并发性，而无需按比例增加 GPU 资源。

企业弹性和可信 AI 操作 – 持久、高度可用的 KV 缓存有助于保护缓存的推理状态，同时提供跨 GPU 节点和集群的共享访问，大规模支持更具弹性和存储效率的 AI 服务。

经过验证的交钥匙人工智能基础设施——Supermicro、IBM 和 NVIDIA 联合验证了跨高并发和嘈杂邻居场景的集成架​​构，结合了 NVIDIA Dynamo、IBM Storage Scale 软件、Supermicro Petascale、服务器和 NVIDIA Spectrum-X 网络。

加速部署服务——Supermicro 的工厂机架集成和现场部署服务可以将该解决方案的部署时间从几周缩短到几天。

IBM Storage 总经理 Sam Werner 表示：“企业需要一种从根本上更好的方法来扩展 AI 推理。IBM、Supermicro 和 NVIDIA 正在共同提供高性能、有弹性的 KV 缓存解决方案，帮助客户最大限度地提高 GPU 投资、独立于计算进行扩展并显着提高基础设施效率。” “此次合作代表着使企业人工智能推理更具可扩展性、可靠性和成本效益的重要一步。”

NVIDIA AI 推理产品主管 Shruti Koparkar 表示：“代理 AI 和长上下文应用程序依赖于在多个步骤中有效地重用上下文，而 NVIDIA Dynamo 有助于协调分布式推理，以便企业可以从每个 GPU 获得更多可用吞吐量。” “通过将 NVIDIA Dynamo 和 Spectrum-X 以太网与 Supermicro Petascale 存储服务器和 IBM Storage Scale 配对，该 KV 缓存解决方案创建了一个高性能共享存储层，可以减少冗余计算、缩短首次令牌时间并帮助客户扩展弹性 AI 推理服务。”

有关 Supermicro 和 IBM 解决方案的更多信息，请单击此处；要阅读 IBM 红皮书《Context without Limits：A High-Performance KV Cache Platform for Large-Scale AI Inference》，请单击此处。

关于 Super Micro Computer, Inc. Supermicro（纳斯达克股票代码：SMCI）是应用优化整体 IT 解决方案的全球领导者。 Supermicro 在加利福尼亚州圣何塞成立并运营，致力于为企业、云、人工智能和 5G 电信/边缘 IT 基础设施提供率先上市的创新。我们是一家提供服务器、人工智能、存储、物联网、交换机系统、软件和支持服务的整体 IT 解决方案提供商。美超微的主板、电源和机箱设计专业知识进一步支持我们的开发和生产，为我们的全球客户实现从云到边缘的下一代创新。我们的产品是在内部设计和制造的（在美国、亚洲和荷兰），利用全球运营来实现规模和效率，并进行优化以提高总体拥有成本并减少对环境的影响（绿色计算）。屡获殊荣的服务器构建块解决方案®产品组合使客户能够从由我们灵活且可重复使用的构建块构建的广泛系统中进行选择，以优化其确切的工作负载和应用程序，这些构建块支持全面的外形尺寸、处理器、内存、GPU、存储、网络、电源和冷却解决方案

（空调、自由风冷或液冷）。

Supermicro、Server Building Block Solutions 和 We Keep IT Green 是 Super Micro Computer, Inc. 的商标和/或注册商标。

所有其他品牌、名称和商标均为其各自所有者的财产。

1IBM 红皮书详细介绍了结果：https://www.redbooks.ibm.com/docs/MD260021/MD260021.html