跳到正文

#部署/工程

今日 0 条
9月24日周四
  1. Microsoft Research68

    微软研究:将物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究团队挑战机器人 AI 的核心假设,系统性研究表明仅在机器人板载 GPU 上运行物理 AI 推理会限制性能、电池寿命和可扩展性,而将推理卸载到边缘或云端 GPU 可带来显著优势。

    推荐理由:原文给出首个机器人推理卸载的系统性测量结果,并配套开源工具链,读者可据此评估端侧与边缘云推理的取舍。

8月21日周五
8月18日周二
  1. Hugging Face Blog62

    Dharma AI 发布约束感知 GPU 分配器:同集群利用率提升 33 个百分点

    Dharma AI 构建了约束感知 GPU 分配器,并在七个基准场景中与 FIFO 调度器对比,相同硬件和负载下 GPU 利用率最高提升 33 个百分点,优先级加权输出平均提升 52%。分配器将实时推理需求视为曲线而非峰值预留,按优先级跨整个时间轴放置批处理作业,并在 1 到 2 毫秒内完成调度。文章还介绍了训练、量化等负载的专用预测器,以及 24 小时优化、每 30 到 60 分钟重跑的机制。

    推荐理由:原文给出了约束感知 GPU 分配器相对 FIFO 的实测收益和实现思路,读者可据此评估调度顺序优化对集群利用率的实际影响。

8月10日周一
  1. Hugging Face Blog62

    Multiverse Computing 提出高效知识蒸馏方法,将长上下文蒸馏压缩到单 GPU 可运行

    Multiverse Computing 发布论文《Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss》,通过缓存教师模型 top-100 logits 和融合分块 KL 损失,避免同时加载教师与学生模型,也无需物化完整的词表×序列长度矩阵。

    推荐理由:原文给出了离线蒸馏和融合分块 KL 损失的实现与内存对比,读者可据此评估在单卡上做长上下文蒸馏的可行性。

7月29日周三
  1. Berkeley AI Research70

    K-Search 将 CUDA 内核优化经验迁移到 Apple Silicon,注意力内核达 0.97x 原生性能

    Berkeley AI Research 与 IBM Research 基于 K-Search 框架构建 MLX 后端,通过结构化 CUDA-to-MLX 翻译层,将 NVIDIA 内核优化知识自动迁移到 Apple Silicon。在注意力内核上达到原生 MLX 实现 0.97x 性能,在 Mamba SSM 内核上相比社区 mlx-lm 实现获得最高约 20 倍 prefill 加速。

    推荐理由:原文展示了如何把 CUDA 内核优化经验自动迁移到 Apple Silicon,并给出注意力与 Mamba 内核的具体加速数据。

5月27日周三
5月8日周五
  1. Berkeley AI Research62

    自适应并行推理:高效推理扩展的下一个范式

    Berkeley AI Research 发布综述,系统梳理自适应并行推理(APR)范式:让模型自行决定何时并行、开多少线程及如何协调,以缓解顺序推理在上下文长度、延迟和计算上的瓶颈。文章对比了 Multiverse、ThreadWeaver、Parallel-R1、NPR 等方法在推理引擎改造、训练奖励设计上的差异,并指出并行化是否在测试时稳定提升准确率仍是开放问题。

    推荐理由:梳理自适应并行推理这一新范式的动机、方法与推理系统实现,并对比各方法的奖励设计与评估取向。

4月22日周三
  1. Google DeepMind70

    Google DeepMind 发布 Decoupled DiLoCo 架构,实现跨数据中心低带宽容错训练

    Google DeepMind 发布新论文,提出 Decoupled DiLoCo 分布式训练架构,将训练拆分为解耦的计算孤岛,通过异步数据流隔离局部故障,使系统在硬件故障时仍能保持高可用性。实测中,该架构用 2-5 Gbps 带宽在四个美国区域成功训练了 120 亿参数模型,速度比传统同步方法快 20 倍以上,并支持混用 TPU v6e 和 TPU v5p 等不同代际硬件。

    推荐理由:原文给出了跨数据中心训练的新架构及其在带宽、容错和硬件混用上的实测结果,读者可据此评估分布式训练的新路径。

4月20日周一
3月25日周三