找回密码
立即注册
搜索
发回帖 发新帖

6822

积分

1

好友

854

主题
发表于 昨天 02:49 | 查看: 14| 回复: 0

摘要:本文介绍谷歌云面向 Kubernetes 的开源 AI 原生技术栈,覆盖开源大模型、分布式推理与 AI 智能体的生产落地,相关项目均已进入 CNCF 沙箱。AI 负载正从科研原型走向多租户大规模集群,传统容器方案在这一过程中暴露出四个问题:加速器利用率低、KV 缓存失效、框架割裂、智能体代码执行不安全。

这套技术栈包含 OpenRL、llm-d、KubeRay、ATE、gVisor 和 TorchTPU 六个组件。

  • OpenRL 解决强化学习中的资源浪费,支持加速器时间分片与增量权重同步。
  • llm-d 1.0 提供前缀缓存感知路由、三层 KV 缓存卸载和 EPD 解耦推理,可大幅降低多轮智能体延迟。
  • KubeRay 借助 Kueue 调度 Ray 分布式训练与数据任务。
  • gVisor 提供内核级沙箱,隔离不可信的智能体代码。

在 Harvey Labs 开源评测集上,Gemma 4 搭配 OpenRL 做强化学习,法律评测准确率从 SFT 的约 50% 提升到 70%。方案适合企业平台团队、强监管机构、智能体开发者和模型即服务(MaaS)厂商,可在 GKE 上私有部署,兼顾自主可控、硬件效率与安全。

过去十年,Kubernetes 已成为微服务与容器化应用编排的事实标准。现在,分布式计算正面临下一次架构变革:AI 工作负载从孤立的科研原型,转向大规模、多租户的生产集群。

本文带你梳理支撑这场变革的开源技术栈,并给出可在自有 Kubernetes 集群上试运行的资源清单。如果你想看现场演示,也可以关注 2026 北美 KubeCon 云原生大会上的技术专场。

Kubernetes 上的开源 AI 原生栈总览:从开源模型、后训练、分布式推理到智能体执行

为什么生产级 AI 需要开源栈

对现代工程团队来说,生产级 AI 正在摆脱对闭源黑盒 API 的通用调用模式。企业逐渐意识到,长期竞争优势来自领域专业化能力。平台工程师、机器学习研究员和 AI 开发者希望做到三件事:

  • 自主运行高性能开源权重模型,例如 Gemma 系列。
  • 借助强化学习(RL),用企业私有数据集对模型做适配调优。
  • 在对外提供服务时,保证可预测的延迟、高吞吐和最高的硬件利用率。

科研团队用声学数据训练 DolphinGemma,帮助科学家研究海豚的交流方式。法律平台用模型解析复杂合同。研发团队搭建自主编码智能体。这些场景的目标是一致的:以更低的推理成本、更短的延迟,达到前沿水平的任务效果。

但在传统容器基础设施上规模化落地强化学习后训练、有状态分布式推理和自主智能体执行,会遇到四个棘手问题:

  1. 强化学习场景下加速器利用率低:训练和轨迹生成交替运行时,昂贵的 GPU、TPU 在大部分训练周期里处于空闲状态。
  2. 缺少缓存感知的负载均衡:使用 Kubernetes 原生的轮询、最小连接数路由策略时,多轮智能体请求会被分散到不同 Pod,KV 缓存的局部性被破坏。
  3. 框架碎片化:在 Kubernetes 之外单独维护多套计算集群(例如自研 Ray、Slurm 环境),会造成资源割裂,运维负担明显加重。
  4. 多租户集群下的智能体安全风险:在共享环境中执行模型生成的不可信 Shell 命令与脚本,集群容易遭遇沙箱逃逸和权限提升攻击。

技术栈组成

在 2026 北美 KubeCon 谷歌云专场活动中,谷歌云推出并持续完善了一套基于 Kubernetes 与 GKE 的统一开源 AI 原生技术栈,用来应对上述挑战。整套组件均为 CNCF 沙箱项目:

  • OpenRL(openrl.dev):Kubernetes 原生后训练服务,简化强化学习后训练流程,最大化加速器利用率。
  • llm-d(llm-d.ai):开源分布式推理控制平面,支持前缀缓存感知路由、解耦式服务和多层级 KV 缓存管理。
  • GKE 上的 KubeRay:提供企业级生命周期管理和弹性扩缩容,依托 Kueue 调度器为分布式 Ray 计算和数据处理任务提供调度能力。
  • ATE(ate.dev):开源编排运行时,为多轮 AI 智能体工作流提供生命周期管理与执行目标能力。
  • gVisor(gvisor.dev):内核级容器沙箱,在多租户集群执行不可信智能体代码时,提供强系统调用隔离。
  • TorchTPU:后端组件,在 vLLM、SGLang 上游版本中,为云 TPU 与 GPU 提供原生 PyTorch 一等支持。

Kubernetes 上的开源 AI 原生栈分层示意:OpenRL、llm-d 1.0、KubeRay 与 gVisor 运行在 Kubernetes 和 GKE 之上

OpenRL:打通强化学习与 Kubernetes

有监督微调(SFT)已是行业常规手段。但要在多步推理、数学证明、自主工具调用这类场景做到领域顶尖水平,就离不开强化学习。

长期以来,机器学习实验环境和生产 Kubernetes 集群之间存在一道壁垒。研究员希望基于 Python、PyTorch 快速迭代,并使用标准奖励函数。平台团队则需要多租户管控、配额限制和稳定的调度能力。

为消除这一矛盾,谷歌打造了 OpenRL,并将其贡献给 CNCF 沙箱。

OpenRL 架构亮点

  • 四个核心原语的 Python 抽象:研究员编写标准 Python 训练代码,围绕 forward_backward、optim_step、sample、save_state 四个原语展开。OpenRL 会自动把这些逻辑转换成 Kubernetes 调度工作流,开发者无需深入理解 Kubernetes 底层,也不用编写基础设施代码。
  • 加速器协同时间分片:在同一块物理加速卡上交替执行训练步骤和轨迹推理,不必再分别搭建静态集群来服务计算密集型训练和低延迟轨迹生成。
  • 增量权重同步:如果每轮优化后都在集群网络中传输数 GB 的完整模型权重,网络会拥塞。OpenRL 只向轨迹生成工作节点传输参数增量,避免轨迹推理冷启动。
  • 零配置动态资源分配:OpenRL 自动采集模型上下文长度、批大小、LoRA 微调或全参数微调等配置信息,再依托 Kubernetes 原生的动态资源分配(DRA)声明,在异构加速卡集群内自动打包调度工作负载。

llm-d 1.0:大规模分布式推理

模型完成后训练后,面向突发、交互式的智能体流量提供推理服务,会带来一系列分布式系统难题。标准入口控制器把大模型请求当作无状态 HTTP 请求,将一轮轮对话分发到不同副本,KV 缓存就需要反复重建。

llm-d 项目由谷歌云、红帽、IBM 研究院、CoreWeave 和英伟达联合发起,来自 25 家以上机构的 500 多名工程师参与贡献。如今 llm-d 作为 CNCF 沙箱分布式推理控制平面,可以把 vLLM、SGLang 这类独立推理引擎,整合成一套集群级协同服务底座。

下面的清单演示了如何用 InferencePool 把多轮请求路由到持有对应 KV 上下文的副本:

apiVersion: inference.networking.x-k8s.io/v1alpha1
kind: InferencePool
metadata:
  name: gemma-serving-pool
  namespace: ai-serving
spec:
  targetRef:
    group: apps
    kind: Deployment
    name: vllm-gemma-27b
  scheduling:
    # 将多轮请求路由到持有对应 KV 上下文的副本
    strategy: PrefixCacheAware
    fallback: LeastQueueDepth
  observability:
    kvCacheSyncInterval: "50ms"

llm-d 1.0 核心能力

  1. 前缀缓存感知路由:端点选择器对接网关 API 推理扩展组件,GKE 原生集成该能力。它会实时评估各个工作 Pod 的 KV 缓存驻留情况。在生产环境中,这一能力最高可将首 token 生成时间(TTFT)降低 35%~70%。面向多轮智能体负载,端到端延迟可下降 70%~85%。
  2. 三层 KV 缓存卸载:在长上下文交互场景下,加速器高带宽显存(HBM)告急时,llm-d 会逐级迁移 KV 缓存块:HBM 显存 → 主机内存 → 本地 NVMe 固态硬盘 / 谷歌云托管 Lustre / 云存储,从而避免代价高昂的上下文重计算。
  3. 基于 DisaggregatedSet 的编码-预填充-解码(EPD)解耦:将编码、Prefill 预填充、Decode 解码任务拆分到由高速互联连接的专用硬件资源池。DisaggregatedSet 基于 Kubernetes LWS(工作集 API)构建,支持独立水平扩缩容和无停机滚动升级。
  4. TorchTPU 上游原生支持:借助 TorchTPU,PyTorch 模型可以在 vLLM、SGLang 上游版本中原生运行于谷歌云 TPU。TPU v5e、v6e、v7x 与英伟达 GPU 保持能力对齐,不需要维护私有分支,也不用重写流水线。
  5. 容忍延迟的异步处理与流控:llm-d-async-processor 组件从 Pub/Sub 或 Redis 拉取后台低优先级任务,利用集群闲置资源处理。同时它严格做流量优先级隔离,后台任务不会影响交互式用户体验。
  6. Prism 集群可观测性:借助 llm-d 开源基准与监控面板 Prism,可以观测集群吞吐、token 间延迟(ITL)、首 token 耗时 TTFT 以及缓存命中率。

KubeRay:分布式 Python 与机器学习编排

推理和强化学习循环由专用运行时承载,而分布式数据预处理、Embedding 生成和分布式 PyTorch 训练则大量依赖 Ray。

KubeRay 是开源的 Kubernetes 原生算子,负责在 Kubernetes 上管理 Ray 集群、任务和服务的完整生命周期,并提供 RayCluster、RayJob、RayService 三种自定义资源。

下面是一个提交到 Kueue 队列的 RayJob 示例,用于微调 Gemma 模型:

apiVersion: ray.io/v1
kind: RayJob
metadata:
  name: gemma-fine-tune-job
  namespace: ai-workloads
  labels:
    kueue.x-k8s.io/queue-name: ml-team-queue
spec:
  shutdownAfterJobFinishes: true
  ttlSecondsAfterFinished: 60
  entrypoint: python fine_tune_gemma.py --model-id google/gemma-2-27b-it
  runtimeEnvYAML: |
    pip:
      - datasets==2.18.0
      - transformers==4.40.0
      - torch==2.2.0
  rayClusterSpec:
    rayVersion: "2.35.0"
    headGroupSpec:
      rayStartParams:
        dashboard-host: "0.0.0.0"
      template:
        spec:
          containers:
            - name: ray-head
              image: rayproject/ray-ml:2.35.0
              resources:
                limits:
                  cpu: "4"
                  memory: "16Gi"
                requests:
                  cpu: "2"
                  memory: "8Gi"
    workerGroupSpecs:
      - groupName: gpu-workers
        replicas: 4
        minReplicas: 1
        maxReplicas: 8
        rayStartParams: {}
        template:
          spec:
            containers:
              - name: ray-worker
                image: rayproject/ray-ml:2.35.0
                resources:
                  limits:
                    nvidia.com/gpu: "1"
                    cpu: "8"
                    memory: "32Gi"
                  requests:
                    nvidia.com/gpu: "1"
                    cpu: "4"
                    memory: "16Gi"

KubeRay 对平台团队的价值

  • 声明式集群生命周期:平台工程师可以按需创建临时、自愈式的 Ray 集群来跑临时训练任务,也可以部署常驻集群运行批处理流水线。
  • 原生对接 Kueue,支持多租户:KubeRay 直接集成 Kueue,在共享的 GPU、TPU 资源上实现多租户公平调度、优先级抢占和配额管理。
  • 弹性扩缩容:KubeRay 会根据正在运行的 Ray 任务与 Actor 放置情况动态调整工作节点数量,避免资源空转。

Agent Substrate 与 gVisor:智能体强隔离

多轮 AI 智能体已经从对话助手,演进为能生成代码、执行 Shell 命令、编排外部 API 的自治系统。在共享集群中运行模型生成的不可信代码,会带来严重的安全风险。

谷歌云向 CNCF 沙箱贡献了 Agent Substrate,并持续投入 gVisor 的核心开发:

  • 内核级沙箱:gVisor 实现了用户态内核,拦截并虚拟化系统调用,保证不可信的智能体代码无法破坏宿主机内核,也无法访问其他租户的负载。
  • 亚秒级临时执行:每一轮智能体请求都能在毫秒级拉起独立的沙箱环境。这一能力既支撑 OpenRL 中的强化学习轨迹生成,也支撑线上生产的智能体工作流。

实战验证:领域推理能力落地

为了在严苛的企业负载下验证这套开源技术栈,团队使用 Gemma 4 模型,在 Harvey Labs 开源评测集上做了测试。这套评测覆盖并购尽调、合同争议分析等 24 个复杂法律业务场景。

评测结果如下:

  • 准确率:单纯的 SFT 在多步推理评分标准下,准确率大约停在 50%。搭配 OpenRL 建立可复现的强化学习闭环后,模型准确率提升到 70%。
  • 运维效率:整条训练流水线可以与集群内同时运行的 LoRA 微调、推理任务动态共享 GKE 上的 GPU 与 TPU 资源,无需人工划分资源。

不同团队的落地路径

不同类型的组织面临的痛点不同,可以按下表选择 OpenRL + llm-d + KubeRay + Gemma 的组合方式:

组织类型 核心痛点 OpenRL + llm-d + KubeRay + Gemma 架构方案
企业平台团队 管理多支内部 ML 团队,不想维护割裂的 Slurm/Ray 集群,同时要控制硬件成本 依托 DRA、Kueue 和加速器时间分片,把现有 GKE 集群改造为自研的强化学习即服务(RLaaS)
强监管企业(金融、医疗、法律) 知识产权、合规、隐私要求,禁止私有数据调用第三方公有 API 在私有 VPC 内完成 1B~30B 参数量 Gemma 模型的后训练与推理;使用领域专属奖励函数提升任务精度,降低总体拥有成本(TCO)
AI 原生开发者、智能体开发团队 长上下文、多轮智能体交互场景下,推理成本高、延迟瓶颈突出 部署 llm-d 前缀缓存路由,搭配 gVisor 隔离的智能体沙箱执行环境
模型即服务厂商、云服务商 在异构硬件集群上交付高毛利的多租户后训练与推理服务 对外暴露 OpenRL 多租户 API 与 llm-d 多加速器控制平面,统一管理 GPU、TPU 混合集群

来源信息

  • 原文主题:Kubernetes 上的开源原生 AI 技术栈:从开源模型到分布式推理与智能体
  • 作者:阿卜杜勒费塔赫・斯吉乌(Abdelfettah Sghiouar,谷歌云开发者布道师)、艾伦・奈姆(Allan Naim,GKE 产品管理总监)
  • 发布时间:2026 年 11 月 10 日



上一篇:Diagram Design:GitHub 67k Star 的 AI 画图 Skill 实测
下一篇:LWS架构复用NPU阵列:边推理边训练,吞吐提升1.6倍
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-20 04:51 , Processed in 0.065242 second(s), 41 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表