思科正在与 Nvidia 合作开发新一代光网络技术，旨在处理通过人工智能数据中心传输的爆炸量数据。思科总裁兼首席产品官 Jeetu Patel 解释了为什么日益强大的人工智能代理在执行相同任务时可能会比人类消耗更多的网络带宽，以及更快、更节能的连接如何帮助数十万个 GPU 一起运行，同时降低人工智能的成本。他与埃德·勒德洛 (Ed Ludlow) 一起参与“彭博科技”节目。

我试图在外行和深入了解 USFP 的细节之间取得某种平衡。但是一种新的光收发器格式，对吧？你在这里要解决什么问题？

所以我们正在解决的问题。首先，如果我们退后一步，说说人工智能目前正在发生的事情，嗯，呃，这些代理将产生的流量，这是我们现在所处的人工智能的第二个大阶段，特别是这些个人代理将呈指数级增长。

所以你开始看到的是，你不再需要确保机架本身可以扩展，但现在你开始在数据中心看到的是，随着时间的推移，你将需要在数据中心内拥有数十万个 GPU，它们需要充当一个连贯的集群。所以你需要做的是你需要确保那些嗯，这些传输不能仅仅通过电线进行，它们需要通过光学嗯，你知道，某种发射机进行，基本上是光线穿过嗯，穿过光纤。因此，我们所做的就是与 Nvidia 合作，开发下一代可插拔光学器件。呃，这是一个称为超密集、小型可插拔的标准，即 USFP。这让你可以考虑一下，它只是拥有完全相同的高速公路，实际上你可以让更多的汽车通过。

因此，它将拥有至少 4 倍的带宽，并且功率效率将比以前高 1.3% 1.3 倍。所以，呃，更多的流量模式实际上可以通过我们与 Nvidia 进行的新合作来适应。

你知道，Jeetu，那里有很多人在观看这个节目，他们总是想进入数据中心，你知道，真的很难理解正在发生的事情。该模块将来自网络交换机的电信号转换为光信号。你知道，这就是技术。嗯，通过光纤传输的大量数据非常重要。我正在尝试了解 USFP 的最新动态。嗯，每通道 400 GB，而上一代技术则达不到这个水平。就这样吧，就这样吧。

是的。所以我认为，正在出现的其他标准实际上并没有什么，这允许你做的是，嗯，你知道，它的构建和部署、表面和服务和管理方式与可插拔式相同。嗯，所以您不必对数据中心进行全面的重新架构。嗯，这是这种标准和这种格式的巨大优势。您知道，大约有 16 个通道或 32 个通道，每秒 400 吉比特的传输正在通过。所以它只是更多的带宽，速度也更快。我认为这些交换机，如果你退一步，你需要确保数据中心内的这些交换机需要以非常低的延迟传输，嗯，你知道，嗯流量，这样你的 GPU 就不会保持空闲状态。这就是我们在这里试图做的，确保您实际上以非常非常低的延迟和非常高的功率效率实现极快的传输。

W- 为什么思科需要与 Nvidia 合作解决这个问题？具体是英伟达吗？

听着，我认为这是一个嗯，你必须记住的一件事是，这是这个市场中总体上的生态系统游戏。嗯，对于一家公司来说，单独出去做所有事情是非常困难的。我们需要确保与合作伙伴合作。呃，Nvidia 制造 GPU，他们制造呃呃他们制造这些机架系统，他们真的出去装备数据中心，我们制造出去连接这些数据中心的网络，我们有呃，我们有这些连贯的可插拔光学呃模块，我们希望确保我们正在制定的标准，我们实际上正在与其他人合作来做到这一点。所以，呃，我们真的很期待与 Nvidia 合作。 Nvidia 的优点在于我们与他们有着良好的合作伙伴关系。我们已经与他们合作了很多很多年，嗯，我们继续寻找不同的途径，在这些途径中我们可以不断推动，你知道，挑战物理学的极限，并不断推动这一进程。

正确的。你，你，你的起始位置是这样的，你知道，人工智能是供应有限的，对吗？但供给相对于需求而言。我发现从代币的角度来看，需求的来源非常有趣。类似的代理使用的代币是人类高级用户的 5 倍，对吗？这如何加剧了你试图解决的问题？

所以，这是我们现在实际上面临的一个非常有趣的问题，随着我们从聊天机器人时代转向代理时代，这些代理，就像你说的，在执行相同的任务时，甚至比人类更消耗网络带宽。与人类执行相同任务所需的网络带宽相比，代理执行相同任务所需的网络带宽要多出大约 500%。因此，您开始发现对越来越多的技术创新的巨大需求，这些技术创新可以专门推动数据中心的发展。所以现在我们面临的问题是，嗯，今天，世界上不到 2% 的人正在以任何类型的高级用户身份使用代理。 Ed，我的预测是，在接下来的 15 个月左右，我不知道，可能会有 30% 到 40% 的人以高级用户身份使用这些代理。因此，将会出现指数级增长。尽管有 2% 的人使用这些药物，但我们的供应仍然完全饱和。因此，您必须确保不仅仅建立更多的数据中心，还要使现有的数据中心更加有效

更多流量

那么让我来谈谈吧，Jeetu。基本原理是，你知道，USFP 是一个超级快速的插头，连接数据中心中的所有 AI 超级计算机。但就你的观点而言，你还必须讨论经济学。那么，您与 Nvidia 合作开发的这项技术，它如何改变在线获取信息的速度，以及运行该数据中心的经济性？

当你开始考虑代币成本时，运行数据中心的经济性、总拥有成本实际上一直在下降，呃，正如你所想的那样。因此，代币的成本实际上比它现有的、过去的更有效。您还可以在这里看到电源效率提高了 1.3 倍。因此，它的能效比您所拥有的高 1.3 倍，这将与您的代币成本在整个嗯，您知道的等式中直接相关。所以对对对。带宽增加 X 倍，带宽密度增加 4 倍，能效提高 1.3 倍，16 个 400 GB 通道，可扩展流量，或者最多可以增加 32 个通道。这就是这些统计数据，这里的关键点是它的构建、部署、服务和管理方式与当今的可插拔式产品相同。因此，客户可以从他们已经构建的数据中心的方式中获得更多收益。