使用 SkyRL 在 Amazon SageMaker HyperPod 上加速多模态 RL 训练
AWS 展示了如何在 SageMaker HyperPod 上运行开源 RL 框架 SkyRL，以 GRPO 算法训练 Qwen3-VL-8B 视觉语言模型导航视觉迷宫。
#多模态
#多模态
今日 0 条AWS Machine Learning BlogAI 评分3838
Google ResearchAI 评分5252 Google 研究提出 AI 视频联合导演框架，实现连贯长视频生成
Google Research 发布 AI 视频联合导演研究，这是一套构建在 Gemini 和 Veo 之上的统一多智能体框架，通过全局优化和世界状态追踪解决长视频生成中的语义漂移与级联失败问题。
Google DeepMind精选AI 评分6262 Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，为对话模型加入实时视频形象
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，为原生实时对话模型加入近实时视频生成能力，可边听边看边用动态视觉形象说话。该功能支持精确唇形同步、自然表情和流畅轮换，并可在后台异步调用工具的同时保持对话不中断。即日起在 Gemini Enterprise 中可用，支持跨 97 种语言无缝切换，所有输出均带 SynthID 水印。
推荐理由：原文给出了实时视频形象、异步工具调用和 97 语言同步等能力细节，读者可据此判断企业客服等场景的落地方式。
Hugging Face Blog精选AI 评分6060 Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型，加速视觉语言模型推理
Liquid AI 发布 LFM2.5-VL-3B 的实验性 DSpark 草稿模型，通过投机解码在几乎不增加内存的前提下提升推理速度，解码加速最高达 3.13x（设备端）和 2.66x（H100），端到端提升最高 2.62x 和 2.27x。
推荐理由：原文给出了解码加速倍数、内存开销和三种推理框架的接入方式，读者可据此评估端侧视觉模型的推理收益。
AWS Machine Learning BlogAI 评分5252 AWS 发布基于 Strands Agents SDK 的智能体视频问答架构
AWS 官方博客发布了一套基于 Strands Agents SDK、Amazon Bedrock、Rekognition 和 Transcribe 的智能体视频问答方案，用户可用自然语言查询视频内容。
Google DeepMind精选AI 评分7575 Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音生成模型
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型，支持用自然语言提示从零创建自定义角色声音、逐行导演表演，并覆盖 100 多种语言。
推荐理由：原文给出了两款新语音模型的能力边界、开放入口和评测排名，读者可据此判断其适用场景。
NVIDIA Blog精选AI 评分6262 曼彻斯特大学用 NVIDIA Earth-2 预测英国空气污染
曼彻斯特大学团队利用 NVIDIA Earth-2 的生成式模型 CorrDiff 和 StormCast，在 Isambard-AI 超级计算机上训练出覆盖全英国的空气污染预测模型，分辨率达 2-3 平方公里，训练耗时仅两天。该模型还能在 DGX Spark 桌面系统上运行，团队计划开源训练数据和工作流，并探索与边缘 AI 设备结合实现实时决策。
推荐理由：原文展示了生成式模型在空气污染预测上的首次落地，读者可借此了解生成式框架从天气迁移到污染领域的可行路径。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 语音模型
Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking 两个语音对话模型，前者面向规模与成本效率，后者面向高复杂度任务。
推荐理由：官方给出了两个新模型的定位差异、基准成绩和开放渠道，读者可据此判断它们适合哪些语音智能体场景。
NVIDIA Blog精选AI 评分6262 费城儿童医院如何用开源 NVIDIA AI 在数秒内完成儿童心脏建模
费城儿童医院（CHOP）基于 NVIDIA 联合发起的开源医学影像框架 MONAI，将儿童心脏建模从原先需要熟练研究员四小时的工作缩短到数秒，已用于先天性心脏病手术规划。
推荐理由：原文展示了开源AI工具如何把心脏建模从四小时压缩到秒级，并推动多家儿童医院落地，读者可借此理解开源生态在罕见病医疗中的实际价值。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型
Google DeepMind 和 Google Research 发布 WeatherNext 3，据 Brightband 独立实时评测为目前最先进、最准确的全球天气模型。
推荐理由：原文给出了分辨率、更新频率和降水精度等关键指标，读者可据此判断新一代天气模型的实际能力提升。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布多模态编码器 NeoMME，260M 与 800M 两档开源
Hugging Face 发布 NeoMME，一个 260M 和 800M 的多语言多模态编码器家族，用单一双向 Transformer 同时处理文本 token 和原始图像块，从零训练，不使用预训练视觉塔或因果语言模型。
推荐理由：原文给出了模型架构、检索性能和压缩方案，读者可据此评估其在视觉文档检索中的适用性。
Google DeepMind精选AI 评分8080 Google DeepMind 推出 Gemini 智能体视频理解功能
Google DeepMind 推出智能体视频理解功能，覆盖 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite，可将 token 消耗降低最多 88%、成本降低最多 66%，准确率提升最多 7%。
推荐理由：官方给出了 token 与成本降幅和准确率提升的具体数字，读者可据此判断该功能对长视频分析的实际价值。
Microsoft Research精选AI 评分6262 微软发布 GigaPath-Flash 与 GigaTIME-Flash 高效病理基础模型
微软研究院发布 GigaPath-Flash 与 GigaTIME-Flash，通过知识蒸馏将十亿参数编码器压缩为 22M 参数的 ViT-S 骨干，在保持约 97% 预测性能的同时将全切片分析计算量降低约 50 倍，空间蛋白组学预测提速约 6 倍、显存减少约 8 倍。两模型均以 Apache 2.0 协议开放权重，代码与权重已上架 Hugging Face，面向科研用途而非临床诊疗。
推荐理由：原文给出了蒸馏压缩后的效率提升和开放权重入口，读者可据此评估病理基础模型在更大队列研究中的实用成本。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 Gemini Omni 1.1 Flash，新增场景扩展与 4K 放大等视频能力
Google DeepMind 发布 Gemini Omni 1.1 Flash，通过 Gemini API 在 Google AI Studio 提供面向专业用途的生成式视频能力。
推荐理由：官方介绍了场景扩展、首尾帧控制、4K 放大等新能力，读者可据此判断它是否适合接入自己的视频生成工作流。
Google DeepMind精选AI 评分7575 Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文字模型
Google DeepMind 发布 Gemini 3.5 Transcribe，这是其最精确的语音转文字模型，支持实时流式与预录音频处理，可通过 Gemini API 在 Google AI Studio 和 Gemini Enterprise Agent Platform 使用。
推荐理由：原文给出了新模型的精度、延迟和开放入口，读者可以据此判断它相比 Chirp 3 的实际提升。
Google ResearchAI 评分3838 AgentHands：为XR空间对话生成交互式手部手势
Google Research在CHI 2026发布AgentHands研究原型，为XR环境中的AI智能体赋予与语音同步的3D手部手势，将LLM输出映射为实时物理动作。该系统通过手势事件库和词级时间戳实现手势与TTS精确同步，用户研究（N=12）显示其相比纯语音基线在空间接地方面有显著提升。
Google ResearchAI 评分5454 Google Research 推出 Biomarker Discovery Framework，用多智能体系统从可穿戴数据中筛选候选生物标志物
Google Research 推出 Biomarker Discovery Framework，一个在人类监督下将候选生物标志物优先级排序构建为迭代研究循环的多智能体系统。
Google ResearchAI 评分4242 移动性如何让语言模型更深入地理解地点
Google Research 提出 Mobility-Embedded POIs（ME-POIs）框架，将聚合的匿名移动模式（如到达时间、停留时长）与文本描述结合，为地点构建动态嵌入。该框架在公开基准上使访问意图预测相对提升 81.9%，价格等级分类提升 75.1%，繁忙度估计提升 24.7%。ME-POIs 通过空间多尺度传播解决数据稀疏问题，并将移动性从预测任务转为定义地点本身的输入特征。
Google Research精选AI 评分6262 Google Research 发布 PhotoScan：用智能手机照片估算体脂率与胰岛素抵抗风险
Google Research 推出 PhotoScan，一个基于深度学习的研究框架，可从标准 2D 智能手机照片估算三维身体成分指标，包括体脂率（BF%）、A/G 比值和 V/S 比值。
推荐理由：原文给出了PhotoScan在体脂率、A/G和V/S比值上的误差数据，以及相比智能手表BIA和DXA的预测能力对比，读者可据此判断智能手机影像估算代谢风险的可行性。
Hugging Face Blog精选AI 评分6262 OlmoEarth Studio 推出自定义嵌入向量导出功能
OlmoEarth Studio 现支持计算并导出嵌入向量，用户可通过 UI 或 API 选择感兴趣区域、时间范围、编码器变体和分辨率，得到 Cloud-Optimized GeoTIFF。嵌入向量支持相似性搜索、少样本分割、变化检测和 PCA 探索等下游任务，模型权重和源码已公开。Studio 还支持监督微调（SFT）以提升性能。
推荐理由：原文给出了嵌入向量的导出方式、参数选项和下游任务示例，读者可据此判断它是否适合自己的遥感分析场景。
Microsoft ResearchAI 评分4848 MindTopo 基准揭示多模态模型的空间推理短板
Microsoft Research 推出 MindTopo，一个评估多模态大模型拓扑推理能力的新基准，涵盖连通性、封闭、顺序、分离和打结五类任务，并区分静态推理与交互规划两个认知层级。
Google DeepMind精选AI 评分8080 Google DeepMind 发布手语转文本模型 SL2T，率先落地 Pixel 11
Google DeepMind 发布大规模多语种手语转文本模型 SL2T，首次将手语 AI 带入消费产品，支持在 Pixel 11 的 Gboard 和 Live Transcribe 中实现美国手语（ASL）到英语的听写。模型基于超过 10 万小时、50 多种手语数据训练，在 FLEURS-ASL 基准上取得 70 BLEURT 的零样本成绩，并采用姿态关键点而非原始视频以保护隐私。
推荐理由：原文给出了 SL2T 的训练规模、基准成绩和落地入口，读者可据此判断手语 AI 从实验室走向消费产品的实际进展。
Google Research精选AI 评分6767 Google 研究团队推出 AMIE (Video)，实时视频问诊达到专家级水平
Google Research 推出 AMIE (Video)，基于 Gemini 和 Project Astra 构建，支持实时视频临床问诊，可感知非语言线索并引导虚拟体格检查。
推荐理由：原文呈现了 AMIE (Video) 在实时视频问诊中达到专家级水平的关键结果，读者可据此评估多模态医疗 AI 的当前能力边界。
Microsoft Research精选AI 评分6262 微软研究院发布 CARE-X 放射学视觉语言模型
微软研究院发布 CARE-X，一个面向胸部 X 光临床解读的统一视觉语言模型，结合生成式报告与结构化预测，并采用 DAPO 强化学习优化临床正确性。在 Chest ImaGenome 异常分类上，CARE-X 辅助头在阈值 0.5 时达到 0.943 灵敏度，在 ReXVQA 基准上以 94% 准确率排名第一。
推荐理由：原文展示了辅助监督与奖励对齐如何提升放射学视觉语言模型的临床实用性，并给出工具增强测量带来的显著性能提升。
Hugging Face Blog精选AI 评分6262 NVIDIA 发布 Magpie TTS 多语言语音模型，开放权重并支持 12 种语言
NVIDIA 发布 Magpie TTS Multilingual，一款 364M 参数开放权重模型，新增现代标准阿拉伯语、韩语和巴西葡萄牙语，共支持 12 种语言。
推荐理由：原文给出了新增语言、延迟数据和开放权重细节，读者可据此判断自建语音管线的可行性与性能预期。
Hugging Face Blog精选AI 评分8585 Meta 发布开源多模态模型 Muse Glimmer-30B，主打本地智能体场景
Meta 今日发布 Muse Glimmer，一个从 Muse 蒸馏到 30B 参数的多模态模型，专为本地智能体场景设计，采用 Apache 2.0 许可。模型由 2B 视觉编码器和 28B 文本解码器组成，支持图像、视频输入及多模态工具调用，并附带 DFlash 投机解码加速。
推荐理由：原文给出架构细节、基准对比和本地部署路径，读者可据此评估它在端侧智能体场景的适用性。
Mistral AI精选AI 评分7070 Mistral 发布 3B 开源多模态安全审核模型 Shieldstral
Mistral 发布 Shieldstral，一个 3B 开源多模态安全审核模型，在文本安全上匹配最高 7 倍规模的模型，并在多模态审核上达到新 SOTA。它把内容审核建模为策略自适应问答，推理时用自然语言问题定义策略，无需重训即可统一审核文本和图像，返回校准的安全分数。模型以 Apache 2.0 开源，可在单张 16GB NVIDIA GPU 上运行。
推荐理由：原文给出了把内容审核建模为策略自适应问答的思路，读者可以据此判断这种免重训的审核方式是否适合自身场景。
Google DeepMind精选AI 评分7575 Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型
Google DeepMind 发布 Gemini Robotics ER 2，这是其最强大的具身推理模型，支持视频理解、任务编排和多机器人协作，可将动作执行交给任意底层 VLA 模型。
推荐理由：原文给出了新模型的三大能力升级和公开开放入口，读者可据此判断它如何改变机器人任务编排与多机协作的开发方式。
Google DeepMindAI 评分5555 Google DeepMind 发布 Lyria 3.5 音乐生成模型
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5，今日在 Google Flow Music 中上线。新版本在音乐性、歌词、人声和创作控制四方面提升：支持更自然丰富的旋律结构、更高品质的歌词生成、更具表现力和情感的人声，并允许用户更轻松地控制输出节奏和时长。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 Gemini Robotics 2，实现全身控制与多机器人协作
Google DeepMind 发布 Gemini Robotics 2，包含三款模型：Gemini Robotics 2 是最先进的视觉-语言-动作模型（VLA）。
推荐理由：原文给出了三款模型的分工和开放入口，读者可据此判断具身智能模型的能力边界与接入方式。
Google Research精选AI 评分6262 Google Research 发布 SymptomAI 研究：对话式 AI 智能体用于日常症状评估
Google Research 发布 SymptomAI 研究，在 n=13,917 的全国随机对照中，让参与者与五种 Gemini Flash 2.0 SymptomAI 智能体交互，并由临床专家盲评其鉴别诊断（DDx）表现。
推荐理由：原文给出了大规模随机对照结果和可穿戴生物信号佐证，读者可据此评估对话式AI症状评估的真实水平。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 与 3.5 Flash Cyber
Google DeepMind 发布三款新 Gemini 模型。Gemini 3.6 Flash 相比 3.5 Flash 减少 17% 输出 token 用量。
推荐理由：官方给出三款新模型的定价、token 效率与关键基准提升，读者可据此评估其在智能体工作流中的成本与性能取舍。
Hugging Face Blog精选AI 评分8282 Thinking Machines 发布开源多模态模型 Inkling 及 Inkling-Small
Thinking Machines 在 Hugging Face 发布开源多模态模型 Inkling，约 1T 参数、支持 1M 上下文，原生接受图像、文本和音频输入，具备智能体能力，并提供 BF16 和 NVFP4 变体。
推荐理由：原文给出了 Inkling 的架构细节、部署配置和基准表现，读者可以据此判断它作为开源多模态模型的定位与可用性。
Google DeepMindAI 评分3838 Google DeepMind 为印度 ATL 推出 Gemini 驱动的 AI 助手 ATL Saathi
Google DeepMind 今日启动 ATL Saathi 实时试点，这是一款基于 Gemini 的 Web 应用，为印度 Atal Tinkering Labs 的每位教育者提供 24/7 规划与培训助手，覆盖超 1.1 千万学生。
Google Research精选AI 评分7070 Google Research 发布 SensorFM，用一万亿分钟可穿戴数据训练通用健康传感器基础模型
Google Research 发布 SensorFM，一个基于超过一万亿分钟、来自五百万名同意参与者的多模态可穿戴数据预训练的大型传感器基础模型。SensorFM 通过自监督重建学习，可跨心血管、代谢、睡眠和心理健康等任务迁移，在 35 项健康任务中 34 项优于特征工程监督基线。模型还结合了智能体课堂自动构建预测头，并能支撑个人健康智能体的端到端应用。
推荐理由：原文给出了一万亿分钟级可穿戴数据训练的通用传感器基础模型，读者可据此判断它能否替代单任务健康模型。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash
Google DeepMind 发布 Nano Banana 2 Lite 图像模型和 Gemini Omni Flash 视频模型，均已在 Google AI Studio、Gemini API 和 Gemini Enterprise Agent Platform 开放。
推荐理由：原文给出了两款模型的定位、价格和开放入口，读者可据此判断如何组合它们搭建多媒体工作流。
Mistral AI精选AI 评分6262 Mistral 发布 OCR 4 文档解析模型
Mistral 发布 OCR 4，在提取文本之外新增边界框、块分类和逐页逐词置信度分数，支持 170 种语言，可在单容器内自托管部署。API 定价为每 1000 页 4 美元，Batch API 折扣后 2 美元，Document AI 为 5 美元。独立标注者在人类偏好评测中更倾向于 OCR 4，平均胜率 72%，OlmOCRBench 得分 85.20。
推荐理由：原文给出了新模型在结构化输出、多语言覆盖和自托管方面的能力变化，读者可据此判断它如何接入现有文档处理流程。
Google Research精选AI 评分6262 Google Research 发布AI辅助皮肤问题理解研究
Google Research 发布两项关于AI辅助用户理解皮肤问题的研究。一项发表于 JAMA Dermatology 的量化研究显示，使用AI工具时参与者命名皮肤状况的准确率约为对照组的三倍（23% vs 8%），但确定下一步医疗行动的能力提升不显著。另一项与斯坦福医疗AI团队合作的真实世界研究显示，使用应用后参与者命名状况的能力提升260%，临床医生认为预测与自身评估一致的比例为86%。
推荐理由：原文给出两项研究的具体数据，读者可据此判断AI辅助皮肤问题识别对用户理解的实际增益与局限。
Google DeepMind精选AI 评分7979 Google DeepMind 发布开源扩散模型 DiffusionGemma，推理速度最高提升 4 倍
Google DeepMind 发布实验性开源模型 DiffusionGemma，采用文本扩散技术并行生成整块文本，在专用 GPU 上推理速度最高提升 4 倍，单张 NVIDIA H100 上每秒可生成 1000+ token。该 26B MoE 模型推理时仅激活 3.8B 参数，量化后适配 18GB 显存，面向内联编辑、代码填充等速度敏感的本地交互场景，但整体输出质量低于标准 Gemma 4。
推荐理由：原文给出了速度提升、硬件门槛和适用场景，读者可据此判断它适合哪些本地交互工作流。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型
Google DeepMind 发布 Gemini 3.5 Live Translate，这是最新的音频模型，支持 70 多种语言的近实时语音到语音翻译，能保留说话者的语调、节奏和音高，并连续生成语音而非逐轮等待。
推荐理由：原文给出了新模型的连续语音翻译能力、覆盖语言数和各产品入口，读者可据此判断它如何改变跨语言实时沟通。