英伟达股价暴跌。 IBM 和 Supermicro AI 交易将速度提升 56 倍

尽管与超微电脑 (NASDAQ:SMCI) 和 IBM (NYSE:IBM) 的新合作将焦点放在提高人工智能推理系统速度的努力上，但 Nvidia (NASDAQ:NVDA) 股价在周四早盘交易中下跌 6%。

两家公司开发了一种存储系统，允许人工智能应用程序重用之前处理过的信息，而不是重复计算它。根据周四的新闻稿，该技术结合了 Supermicro 的闪存存储服务器、IBM 软件和 Nvidia 的 Dynamo 推理框架以及 Spectrum-X 网络。

涉及 1200 亿个参数的 AI 模型的测试表明，系统在包含 130,000 个令牌的提示下，首次令牌时间性能提高了 56 倍。该指标衡量人工智能系统在收到提示后生成第一个响应所需的时间。

该技术使用持久键值缓存存储来保留早期处理过程中生成的信息。这可以帮助人工智能系统处理更长的对话和复杂的工作负载，而无需仅仅依赖 GPU 和 CPU 内存。两家公司还测试了高网络流量和并发用户请求下的性能，该系统旨在跨多个 GPU 集群共享缓存数据。