跨国深谈← 返回←GPU 坏了，训练不用停：Crusoe 的自愈式训练平台

GPU 坏了，训练不用停：Crusoe 的自愈式训练平台

关联

人物 Young · Nikhil · Connor

公司 Crusoe

概念 Slurm · Kubernetes · AutoClusters · Crusoe Managed Slurm · GPU 故障 · 多节点训练 · 推理 · checkpoint

在几千块 GPU 上训练大模型，GPU 出故障不是意外，而是必然。

Crusoe 是一家提供 GPU 云服务的公司，三位工程师 Connor、Young 和 Nikhil 在这场演讲里讲了他们的做法：

把高性能计算调度器 Slurm 跑在 Kubernetes 上，再加上一套叫 AutoClusters 的自动修复系统，GPU 坏了不用人管，训练 15 分钟内恢复。

训练为什么偏爱 Slurm?

Slurm 是 20 多年前大学和实验室的研究人员为高性能计算造的调度器。它天生适合多节点训练任务：

要跑一个分布在多台机器上的训练，各个节点之间需要紧密的集合通信，还要有帮派调度（所有节点要么一起启动、要么不启动）、拓扑感知（知道哪些机器离得近）这些能力，Slurm 全都有 。

研究人员也熟悉它。写个脚本，用 sbatch、srun 命令提交任务，和在实验室里干活一模一样。

但 Slurm 有三个短板

第一个是太静态。今天的 AI 工作负载很杂：训练、后训练、评测、推理，资源需求变化很快，而 Slurm 的分区划分传统上是固定的 。

第二个是运维负担。GPU 会坏，发现坏节点、排空它、重新排队任务，这些事 Slurm 有工具能做，但要么靠人工，要么自己写自动化脚本。

第三个是可观测性。Slurm 知道任务失败了，但说不清为什么失败——是 GPU 坏了，还是网络抖动？这就得靠监控体系来补。

为什么把 Slurm 搬到 Kubernetes 上？

另一方面，Kubernetes 是云上的操作系统，生态成熟，自带自愈、负载均衡、自动扩缩容。

很多客户的情况是：推理团队用 Kubernetes，训练团队用 Slurm，两套基础设施并行，运维和成本都翻倍 。

Crusoe 的方案是在他们的托管 Kubernetes 服务 CMK 之上构建托管 Slurm（底层用了 Slinky，即 SkedMD 开源的在 Kubernetes 上跑 Slurm 的项目）。

对研究人员来说，它就是一个普通的 Slurm 集群：拿到 IP 地址、SSH 登录、照常提交任务，根本不用知道底下是 Kubernetes 。

对平台团队来说，Slurm 只是一个普通服务，复用现有的监控和值班体系。

一个额外的好处：所有 GPU 在同一个池子里，可以灵活调配。

比如推理流量高峰时把训练集群的部分 GPU 划给推理，流量下来、GPU 闲置时，再拿去跑更大规模的训练 。

GPU 真坏了，会发生什么？

AutoClusters 处理的关键场景之一是 XID79 错误——某块 GPU 完全不可用。整个流程是全自动的 ：

1. 用户收到通知，但不需要做任何事；
2. Slurm 操作器把坏节点标记为下线，取消正在跑的任务，进程收到终止信号，有最多两分钟时间保存检查点或输出日志；
3. 新节点上线后，任务重启，加载检查点，从断点继续训练。

现场演示：全程不到 15 分钟

Connor 做了现场演示：在两个 A100 节点上跑 PyTorch 训练，然后人为触发一个 XID79 错误。GPU 利用率立刻掉下来，节点替换随即启动。

从检测到硬件错误、换上健康节点，AutoClusters 只花大约 5 分钟，其余时间是应用层加载模型和检查点，端到端总停机时间不到 15 分钟 。

对比一下没有这套系统的情形：工程师半夜被叫起来，花几个小时排查问题。

一条命令建好整个环境

过去把 Slurm 和 Kubernetes 融在一起很麻烦。

Crusoe 宣布了一键 Slurm：一条命令就配好 Kubernetes 集群、Slurm 控制器、登录节点和存储，再加一条命令就能加上 GPU 节点池，AutoClusters 默认开启 。

核心想法可以归结为一句话：

故障不可避免，基础设施的架构应该保证关键错误发生时，所有该做的事都自动完成，让工程师专注于应用本身，而不是半夜爬起来修机器 。

本集带走

• 在几千块 GPU 的规模上，GPU 故障是常态，人工修复不可持续
• Slurm 提供高性能调度，但缺自动化修复和可观测性；Kubernetes 正好补上
• 把 Slurm 跑在 Kubernetes 上，研究人员照常用 sbatch，平台团队照常用现有监控，两边都不用改工作流
• AutoClusters 全自动换掉坏节点，从故障到恢复训练，全程不到 15 分钟
• GPU 统一在一个节点池里，可以在训练和推理之间动态调配，避免闲置浪费