Google DeepMind 发布 Decoupled DiLoCo 架构，实现跨数据中心低带宽容错训练

Google DeepMind 发布新论文，提出 Decoupled DiLoCo 分布式训练架构，将训练拆分为解耦的计算孤岛，通过异步数据流隔离局部故障，使系统在硬件故障时仍能保持高可用性。实测中，该架构用 2-5 Gbps 带宽在四个美国区域成功训练了 120 亿参数模型，速度比传统同步方法快 20 倍以上，并支持混用 TPU v6e 和 TPU v5p 等不同代际硬件。