跳到正文
原文
NVIDIA Blog· Vishal Ganeriwala·· 13 天前精选AI 评分62

NVIDIA DSX 平台发布功率管理实测:固定功率下 token 吞吐提升 24%

From Megawatts to Tokens: How NVIDIA Maximizes AI Factory Production

AI 导读

NVIDIA 在 AI Infra Summit 上介绍 DSX 平台,用于在固定功率预算内最大化 AI 工厂的 token 吞吐。云服务商 Lambda 的首次验证显示,19 个节点在 85% 功率下比 16 个节点满功率多产出 24% 的集群 token 吞吐,性能每瓦提升 23%。

推荐理由

原文给出 DSX 平台在功率管理上的实测数据与首个商业部署,读者可据此评估 AI 工厂在固定功率预算下的提效空间。

来源:NVIDIA Blog · blogs.nvidia.com