继 NVIDIA 开源发布 Run:ai 平台之后,Zesty 的全新自主功能可根据需求变化不断调整 GPU 内存分配、计算共享和工作负载放置,从而使更多工作负载能够在每个 GPU 上运行。

加利福尼亚州圣马特奥,2026 年 10 月 15 日 /美通社/ -- Kubernetes 优化领域的领导者 Zesty 今天宣布支持 NVIDIA 的 CUDA 原生 GPU 分段。继 NVIDIA 开源发布 Run:ai 作为 NVIDIA DSX AI Factory Platform 的一部分之后,Zesty 的自动化分数 GPU 添加了自主层,该层可以持续决定 GPU 内存分配和计算共享模式,并在 AI 工作负载需求波动时引导工作负载放置。借助这些自主功能,团队可以提高 GPU 利用率,在现有基础设施上运行更多工作负载,减少对多余 GPU 容量的需求,并降低基础设施成本,同时保护应用程序性能。

66% 托管生成式 AI 模型的组织在 Kubernetes 上运行部分或全部推理,而用于这些工作负载的 GPU 容量昂贵且经常受到限制。传统上,团队会将整个 GPU 分配给各个工作负载,或者使用时间切片、NVIDIA 多进程服务 (MPS) 或 NVIDIA 多实例 GPU (MIG) 来共享它们,后者将每个 GPU 划分为基于硬件的固定分区。分配无法跟上动态人工智能工作负载和需求的实时变化。结果,GPU 内存和计算最终陷入困境,团队购买更多 GPU,即使现有容量未使用。

NVIDIA 最近发布的 Run:ai 开源版本通过 GPU Fractioning Operator 将 CUDA 原生 GPU 分段引入 Kubernetes,该运算符强制执行每个工作负载的 GPU 内存限制并与 Kubernetes 调度程序配合使用。分割机制使灵活性成为可能,并定义了工作负载如何划分 GPU,但不确定如何分配该容量。决定哪些工作负载共享每个 GPU、每个 GPU 接收多少内存以及这些分配应如何随着需求的上升和下降而变化,需要一个单独的决策层。

Zesty 提供了这一层。其自动分数 GPU 功能不断确定哪些工作负载应共享每个 GPU、有多少工作负载可以安全地一起运行、每个 GPU 接收多少 GPU 内存、哪种共享模式适合每个工作负载以及何时应增加或减少这些分配。决策取决于实际的 GPU 内存使用情况和利用率、随时间观察的工作负载行为以及团队事先定义的延迟要求和资源限制。每项更改都遵循团队为每个工作负载设置的性能和可用性策略。

Zesty 研发副总裁 Pini Ben Nahum 表示:“GPU 是基础设施团队当今管理的最昂贵、最受限的资源之一。它们很难保护,添加成本高昂,并且由需求不断变化的 AI 工作负载共享。现在 NVIDIA 已向生态系统开放 GPU 分割,而 Zesty 正在使其分配变得智能和自主。” “自主 GPU 资源管理可调整 GPU 内存和计算共享,同时根据每个工作负载需求的上升和下降指导工作负载的放置。团队可以将更多内容打包到现有硬件上,从而减少新 GPU 的采购以及在生产中运行 AI 的成本,而无需放弃性能质量。”

该功能作为轻量级代理部署在 Kubernetes 集群中,并与 NVIDIA Run:ai GPU Fractioning Operator 和 Kubernetes 调度程序一起工作,支持时间切片和 MPS。它不需要应用程序代码或模型更改,并且安装不会重新启动正在运行的工作负载。在受支持的 GPU 堆栈上,Zesty 可以管理优化所需的 Kubernetes 配置,而无需手动更改清单。

自动分数 GPU 现已作为 Zesty 平台的一部分推出。要了解更多信息,请访问 http://zesty.co/platform/automated-fractional-gpus 。

关于 Zesty Zesty 通过自主资源优化帮助组织降低基础设施成本。该平台不断将资源与实时工作负载需求相匹配,自动消除过度配置并提高基础设施效率,同时保护应用程序性能。通过用策略驱动的自动化取代持续的手动调整规模和资源调整,Zesty 使团队能够运行更精简的 Kubernetes 环境,而不会增加运营风险。

借助自动化分数 GPU,Zesty 正在将同样的方法扩展到 GPU 基础设施,帮助团队从现有 GPU 容量中获得更多收益,同时控制 AI 工作负载不断增长的成本。

Zesty 成立于 2019 年,专注于使基础设施更加高效、自动化和更具成本效益。

要了解更多信息,请访问 zesty.co。

查看原始内容:https://www.prnewswire.com/news-releases/zesty-launches-automated-fractional-gpus-bringing-automation-to-nvidia-cuda-native-gpu-fractioning-302910271.html