NVIDIA 以 Apache 2.0 协议开源 Run:ai，面向 Kubernetes 的 GPU 编排平台

NVIDIA 已将完整的 Run:ai 平台作为开源软件发布，源代码以 Apache 2.0 协议托管在 GitHub 上。该平台用于在 Kubernetes 上调度开发、训练和推理工作负载，此次开源后，平台团队可以自行检查、分叉和自托管整套软件，无需付费订阅。

Run:ai 由此成为 NVIDIA DSX AI Factory 平台的一部分。开源版本拆分为四个可独立采用的模块，社区版不包含 NVIDIA 企业级支持，商业版本仍通过 NVIDIA AI Enterprise、NVIDIA Mission Control 及部分云市场提供。

开源范围与许可

此次发布的代码以单一仓库形式托管在 GitHub，涵盖控制平面、集群服务、安装器、命令行工具以及面向 AI 助手的 MCP 服务器。控制平面负责工作负载提交、资源管理与监控；集群服务部署在每一个 Kubernetes 集群上，为其补充 GPU 感知的调度能力。用户可通过 Web 界面、CLI、REST API 和 MCP 服务器访问平台。

Run:ai 运行在 Kubernetes 之上，并不取代 Kubernetes。本地开发构建涉及约 50 个 Go 服务。NVIDIA 同时说明，本次发布未提供平台层面的性能基准数据。

四个可独立采用的模块

开源版本拆分为四个组件，团队可以按需单独引入。KAI Scheduler 是 Kubernetes 原生的调度引擎，采用 Apache 2.0 协议，属于 CNCF 沙箱项目，支持 gang 调度、基于时间的公平份额、拓扑感知、装箱以及 DRA 支持。GPU Fractioning Operator 将 CUDA 13.4 原生的 GPU 切分能力带入 Kubernetes，由 CUDA 驱动对每个工作负载施加硬性显存上限，NVIDIA 已用这一方案取代此前的专有切分方式；该 Operator 不绑定特定调度器，并导出按 Pod 的指标。

KAI Resource Management 提供项目、部门、配额与节点池管理，NVIDIA 给出的示例是将集群的 50% 资源保障给一个研究团队。Workload Map 是一个 Go 库，用于描述 PyTorchJob、RayCluster、KServe 服务等工作负载类型，可离线使用，本身不负责调度、排队或自动扩缩容。

本地运行与生产部署

本地开发依赖一个脚本 local-dev.sh，它在容器内从源码构建约 50 个 Go 服务，随后创建一个固定为 Kubernetes v1.32.5 的 5 节点 Kind 集群。一个模拟 GPU Operator 会模拟出 8 块 Tesla-A10，因此无需真实 GPU 硬件。支持的宿主机为 macOS 或 Linux 的 amd64、arm64 架构，不支持 Windows；Linux 主机需要 4 个 CPU、16 GB 内存和 100 GB 可用磁盘，macOS 上的 Podman 虚拟机至少需要 12 GB 内存，一次完整构建会留下约 44 GB 缓存。加上 --gpu-operator 参数可切换到真实 NVIDIA GPU，该模式需要 Linux、Docker 和 NVIDIA Container Toolkit，不支持 AMD 与 Intel 加速器。

生产环境可从源码部署，或使用 NGC 社区版 Helm chart，该版本无需付费订阅，但不包含 NVIDIA 企业级支持。团队也可通过 Crusoe、Mirantis、Nebius、OpenNebula Systems、Rafay、Saturn Cloud、Spectro Cloud 和 vCluster 这 8 家 DSX 生态伙伴采用该平台。

与同类调度器对比

在许可层面，Run:ai 与 Volcano、Kueue、Apache YuniKorn 同为 Apache 2.0。治理归属上，Run:ai 隶属 NVIDIA DSX AI Factory 组织，其中 KAI Scheduler 为 CNCF 沙箱项目；Volcano 处于 CNCF 孵化阶段，Kueue 归属 kubernetes-sigs，YuniKorn 属于 Apache 软件基金会。

功能范围差异明显：Run:ai 提供的是包含控制平面、界面、CLI、REST API 与 MCP 服务器的完整平台，Volcano 是批处理调度系统，Kueue 是作业排队控制器，YuniKorn 是默认调度器的替代方案。Run:ai 通过 KAI Scheduler 扩展而非替换 kube-scheduler，并支持配额层级、CUDA 13.4 原生 GPU 切分、拓扑感知与多集群能力。

同一技术栈还包含两个相邻项目。Model Streamer 将模型权重直接流式载入 GPU 显存，vLLM 和 SGLang 可通过 --load-format runai streamer 启用；微软公布的基准在 Azure 的 8 台 NVIDIA H100 虚拟机上测得加载速度比默认加载器快 3 至 6 倍，吞吐维持在 80 Gbps，而默认路径约为 40 Gbps。Grove 负责编排多组件推理工作负载，将 prefill、decode 等组件作为全有或全无的单元启动。

要点

• Run:ai 以 Apache 2.0 协议在 GitHub 开源
• 开源版本拆分为四个可独立采用的模块
• KAI Scheduler 是 CNCF 沙箱项目
• 社区版不包含 NVIDIA 企业级支持
• 本地开发用模拟 GPU，无需真实硬件