跳到正文

#部署/工程

今日 5 条
9月24日周四
  2. AWS Machine Learning Blog62

    AWS 教程：用 Amazon Bedrock 上的开源权重模型运行 OpenCode 编码智能体

    AWS 发布教程，介绍如何用 Amazon Bedrock 上的开源权重模型运行 OpenCode 编码智能体。OpenCode 是 Go 编写的终端原生 AI 编码智能体，支持 75 多个 LLM 提供商，推理在 AWS 账户内安全进行，无按席位费用。

    推荐理由：原文给出了在 Bedrock 上运行 OpenCode 的完整配置方法，读者可以据此搭建多模型编码工作流。

  3. Microsoft Research68

    微软研究：将物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究团队挑战机器人 AI 的核心假设，系统性研究表明仅在机器人板载 GPU 上运行物理 AI 推理会限制性能、电池寿命和可扩展性，而将推理卸载到边缘或云端 GPU 可带来显著优势。

    推荐理由：原文给出首个机器人推理卸载的系统性测量结果，并配套开源工具链，读者可据此评估端侧与边缘云推理的取舍。

9月23日周三
  5. 巨潮公告 · 算力服务18

    行云科技签订43套GPU算力服务重大合同，含税总额45,313.98万元

    行云科技与某国资供应商签署3份《算力服务合同》，购买GPU算力服务合计43套，服务期限均为5年，含税总金额45,313.98万元，系此前128套框架性采购协议项下进展。合同约定5年期满后双方续约3年，续约期间净利润70%归公司、30%为供应商服务费。公司提示供货交付延期、算力贬值及高额违约赔付等风险。

9月22日周二
  1. NVIDIA Blog62

    NVIDIA Isaac ROS 5.0 发布，引入智能体工作流并支持 ROS Lyrical

    NVIDIA 在 ROSCon 大会上发布 Isaac ROS 5.0，这是一套基于 ROS 的 GPU 加速开源包，新增智能体工作流和平台支持，帮助开发者更快构建、定制和部署机器人应用。

    推荐理由：原文给出了 Isaac ROS 5.0 的智能体工作流、ROS Lyrical 支持和生态伙伴落地案例，读者可据此判断它如何加速机器人开发。

  3. Hugging Face Blog73

    Hugging Face transformers 支持运行 llama.cpp 的 GGUF 量化模型

    Hugging Face 在 transformers 中加入对 GGUF 模型的高效运行支持，通过复用 ggml 的 Metal 内核，可在 Apple Silicon 上以熟悉的 from_pretrained 接口加载并生成。

    推荐理由：原文给出了 GGUF 加载方式、性能对比和当前限制，读者可以据此判断在 transformers 里跑本地量化模型的可行性与适用场景。

  6. NVIDIA Blog33

    从赋能到落地，埃及AI生态迈向生产规模

    埃及AI生态正从潜力走向规模化生产，NVIDIA在开罗举办活动展示其全栈AI方案。过去一年，NVIDIA深度学习学院在埃及的学习者数量增长超十倍；Hassan Allam Data Centers获许可建设数据中心，预计投资4亿美元。非洲一年内新增四座AI工厂，另有656兆瓦容量在建，Cassava Technologies等企业正推动本地化AI基础设施部署。

9月21日周一
  3. NVIDIA Blog42

    AI 安全是工程问题：NVIDIA 如何在智能体栈每一层解决它

    NVIDIA 提出 AI 安全本质是工程问题，需在智能体栈的每一层（模型、工具、运行时环境）落实可执行的安全边界、责任人与防护证据。NVIDIA 开源 OpenShell 安全运行时，在智能体触及范围之外强制策略并提供沙箱执行；Cisco DefenseClaw、JFrog 等合作伙伴正基于 OpenShell 构建治理与技能扫描层。

9月20日周日
9月18日周五
  1. GitHub · new-api18

    new-api v1.0.0-rc.38 发布：新增 Responses WebSocket 与请求策略

    new-api v1.0.0-rc.38 发布，系统设置新增请求策略，可集中配置请求检查、会话与重试、渠道健康，并在使用日志中记录策略决策。渠道新增 vLLM、SGLang 支持，并可按渠道开启 Responses WebSocket 与 OpenAI 兼容对话。该版本仍不推荐用于生产环境，从 v1.0.0-rc.26 或更早版本升级的用户需重新配置所有视频模型价格。

9月17日周四
  2. GitHub Blog · AI & ML85

    GitHub 用 Copilot 将 Copilot 运行时重写为 Rust

    GitHub 用 Copilot 将 Copilot 运行时从 TypeScript 重写为超过 80 万行生产 Rust，历时约 14.5 周，由一名开发者主导完成。重写采用组件级就地替换策略，性能提升数个数量级，并新增 C ABI 支持进程内嵌入。

    推荐理由：原文给出了用 Copilot 自身完成大规模 Rust 重写的完整过程与数据，读者可据此评估 AI 辅助重写的可行性与工程方法。

  3. 巨潮公告 · 服务器18

    康惠股份：全资子公司采购高性能算力服务器并签署算力服务合同

    康惠股份全资子公司北京康惠智创与A公司签署五年期算力服务合同，总金额约17.20亿元（含税），并为此向供应商G公司采购高性能算力服务器，合同金额约11.41亿元（含税）。公司预计需投入约11.41亿元购置服务器，主要依靠金融机构融资，资产负债率预计将由69%上升至78%左右。算力交付自2026年三季度末至2027年一季度末分批实施，预计2026年度新增收入约3,000万元。

9月16日周三
  1. NVIDIA Blog68

    NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中取得领先性能

    NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首次提交中，Qwen3-VL 吞吐量比 GB300 NVL72 最高提升 3.7 倍，DeepSeek-R1 最高提升 2.5 倍。GB300 NVL72 在 288 GPU 规模下实现 99% 扩展效率，软件优化带来最高 1.6 倍性能提升。Nebius 等 19 家合作伙伴也提交了结果。

    推荐理由：原文给出 Vera Rubin NVL72 在 MLPerf 推理基准上的首秀成绩与对比数据，读者可据此评估新一代平台的推理性能与扩展效率。

  3. NVIDIA Blog62

    NVIDIA DSX 平台发布功率管理实测：固定功率下 token 吞吐提升 24%

    NVIDIA 在 AI Infra Summit 上介绍 DSX 平台，用于在固定功率预算内最大化 AI 工厂的 token 吞吐。云服务商 Lambda 的首次验证显示，19 个节点在 85% 功率下比 16 个节点满功率多产出 24% 的集群 token 吞吐，性能每瓦提升 23%。

    推荐理由：原文给出 DSX 平台在功率管理上的实测数据与首个商业部署，读者可据此评估 AI 工厂在固定功率预算下的提效空间。

  4. NVIDIA Blog70

    NVIDIA 在 AI Infra Summit 展示 Vera Rubin 与 DSX 平台能效进展

    NVIDIA 在 AI Infra Summit 上宣布 Vera Rubin 与 DSX 平台多项进展，包括与 Amazon Annapurna Labs 合作 NVHBM 技术、d-Matrix 集成 NVLink Fusion，以及 Emerald AI 与 Silicon Valley Power 的灵活负载项目。

    推荐理由：原文汇总了 NVIDIA 在 AI Infra Summit 上围绕 Vera Rubin 与 DSX 平台的多项进展，读者可据此了解 AI 工厂在能效与吞吐上的最新优化方向。

9月15日周二
9月14日周一
9月11日周五
9月10日周四
  1. Mistral AI33

    Cloudera 与 Mistral 达成合作，为企业数据带来专业化主权智能

    Cloudera 与 Mistral 宣布建立新合作伙伴关系，将 Mistral 模型集成到 Cloudera 的混合数据平台中，使企业能够在私有云、公共云、本地及完全隔离（air-gapped）环境中部署 AI 模型并保持完全控制。企业还可利用专有数据在受控环境中训练定制模型，保留数据和智能的所有权。该合作旨在满足对主权 AI 日益增长的需求，让数据、智能、计算和运营始终处于客户控制之下。

  2. GitHub · Dify28

    Dify v1.17.1 发布：知识库 API 密钥支持数据集级绑定及多项修复

    Dify v1.17.1 发布，知识库服务 API 密钥现可绑定至特定数据集，越权访问返回 403，现有密钥保持工作区级行为不变。工作流画布节点与评论支持键盘移动，插件作者获得公开主页，Markdown 表单字段名长度上限可通过环境变量配置。自托管用户需注意：内置 Weaviate 须从 1.27.0 手动分阶段升级至 1.39.2，跳过中间版本可能导致向量搜索永久损坏。

  3. Hugging Face Blog78

    AsyncGRPOTrainer 结合 LoRA 跨 HF Jobs 训练：用存储桶同步适配器，无需 NCCL

    Hugging Face 博客介绍如何用 AsyncGRPOTrainer 结合 LoRA 在 HF Jobs 上跨节点训练，通过 Storage Bucket 同步适配器而非 NCCL，并用代理路由请求。500 步训练从 3 小时 27 分钟优化到 53 分钟，速度提升 3.9 倍，代码已开源。

    推荐理由：原文给出了完整的架构、代码和调优过程，读者可以据此复现跨节点 LoRA 异步强化学习训练。

9月3日周四
9月1日周二
  1. GitHub · Dify18

    Dify v1.16.1 发布：Bug 修复与安全增强

    Dify v1.16.1 发布，主要包含 Bug 修复与安全增强。新增工具多选输入、工作流节点定位、侧边栏导出 Agent DSL 等功能。安全方面，Agent 沙箱现通过 Squid 正向代理运行并采用令牌认证，同时修复了 Jinja2 模板注入漏洞。性能上，新增轻量级 recent apps 端点，使首页“继续工作”区域延迟降低约 69%（3.2 倍提速）。

  3. Hugging Face Blog73

    Hugging Face 发布 @huggingface/kernels：207 个 WebGPU 内核加速本地 AI 推理

    Hugging Face 发布 @huggingface/kernels，一个用于从 Hub 加载和运行优化 WebGPU 内核的库，并推出 207 个内核的初始集合，Apache-2.0 许可。在 Apple M4 GPU 上与 ORT WebGPU 对比，几何平均快 2.57 倍，中位数快 1.90 倍。同时推出 Fleet 浏览器基准测试套件，用于众包收集真实 GPU 上的正确性和性能证据。

    推荐理由：原文给出了 207 个 WebGPU 内核的发布、性能对比数据和开源许可，读者可据此评估浏览器端推理的加速空间。