跳到正文

#多模态

今日 1 条
今天9月29日周二
9月26日周六
9月25日周五
  1. Google DeepMind62

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,为对话模型加入实时视频形象

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,为原生实时对话模型加入近实时视频生成能力,可边听边看边用动态视觉形象说话。该功能支持精确唇形同步、自然表情和流畅轮换,并可在后台异步调用工具的同时保持对话不中断。即日起在 Gemini Enterprise 中可用,支持跨 97 种语言无缝切换,所有输出均带 SynthID 水印。

    推荐理由:原文给出了实时视频形象、异步工具调用和 97 语言同步等能力细节,读者可据此判断企业客服等场景的落地方式。

9月24日周四
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型,加速视觉语言模型推理

    Liquid AI 发布 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在几乎不增加内存的前提下提升推理速度,解码加速最高达 3.13x(设备端)和 2.66x(H100),端到端提升最高 2.62x 和 2.27x。

    推荐理由:原文给出了解码加速倍数、内存开销和三种推理框架的接入方式,读者可据此评估端侧视觉模型的推理收益。

  2. Ars Technica · AI65

    Meta 将 AI 助手 Muse 带上眼镜,推出无摄像头 Ray-Ban 与轻量 VR 眼镜

    Meta 宣布将 AI 助手 Muse 引入其眼镜产品,并推出无摄像头的 Ray-Ban 音频眼镜及多款新镜框,同时发布比 Quest 3 轻五倍、售价 1300 美元的 VR 眼镜。Muse 助手将支持超逼真数字替身用于视频通话,但公司需说服用户连接个人数据,且已修复可被黑客控制 Muse 代理的漏洞,亚马逊也阻止了其代理访问购物平台。

  3. Latent Space78

    Meta Connect 2026 发布 Muse 智能体、VR 眼镜与 Charm,前沿模型仅预告未发布

    Meta 在 Connect 2026 上以个人智能体 Muse 为核心,推出语音与实时视频、Mac 电脑使用、Muse Mail 及 1500+ 连接器,并发布 Ray-Ban Meta Gen 3、售价 1299 美元的 Meta VR Glasses 和 12 月发货的 Muse Charm。

    推荐理由:Meta Connect 2026 的完整梳理,涵盖硬件、智能体、语音与收购,可作了解 Meta 全栈布局的入口。

9月23日周三
  1. Google DeepMind75

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音生成模型

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持用自然语言提示从零创建自定义角色声音、逐行导演表演,并覆盖 100 多种语言。

    推荐理由:原文给出了两款新语音模型的能力边界、开放入口和评测排名,读者可据此判断其适用场景。

9月16日周三
  1. NVIDIA Blog62

    曼彻斯特大学用 NVIDIA Earth-2 预测英国空气污染

    曼彻斯特大学团队利用 NVIDIA Earth-2 的生成式模型 CorrDiff 和 StormCast,在 Isambard-AI 超级计算机上训练出覆盖全英国的空气污染预测模型,分辨率达 2-3 平方公里,训练耗时仅两天。该模型还能在 DGX Spark 桌面系统上运行,团队计划开源训练数据和工作流,并探索与边缘 AI 设备结合实现实时决策。

    推荐理由:原文展示了生成式模型在空气污染预测上的首次落地,读者可借此了解生成式框架从天气迁移到污染领域的可行路径。

9月3日周四
  1. Hugging Face Blog62

    Hugging Face 发布多模态编码器 NeoMME,260M 与 800M 两档开源

    Hugging Face 发布 NeoMME,一个 260M 和 800M 的多语言多模态编码器家族,用单一双向 Transformer 同时处理文本 token 和原始图像块,从零训练,不使用预训练视觉塔或因果语言模型。

    推荐理由:原文给出了模型架构、检索性能和压缩方案,读者可据此评估其在视觉文档检索中的适用性。

9月2日周三
  1. Google DeepMind80

    Google DeepMind 推出 Gemini 智能体视频理解功能

    Google DeepMind 推出智能体视频理解功能,覆盖 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite,可将 token 消耗降低最多 88%、成本降低最多 66%,准确率提升最多 7%。

    推荐理由:官方给出了 token 与成本降幅和准确率提升的具体数字,读者可据此判断该功能对长视频分析的实际价值。

9月1日周二
  1. Microsoft Research62

    微软发布 GigaPath-Flash 与 GigaTIME-Flash 高效病理基础模型

    微软研究院发布 GigaPath-Flash 与 GigaTIME-Flash,通过知识蒸馏将十亿参数编码器压缩为 22M 参数的 ViT-S 骨干,在保持约 97% 预测性能的同时将全切片分析计算量降低约 50 倍,空间蛋白组学预测提速约 6 倍、显存减少约 8 倍。两模型均以 Apache 2.0 协议开放权重,代码与权重已上架 Hugging Face,面向科研用途而非临床诊疗。

    推荐理由:原文给出了蒸馏压缩后的效率提升和开放权重入口,读者可据此评估病理基础模型在更大队列研究中的实用成本。

8月28日周五
8月27日周四
8月26日周三
8月22日周六
8月21日周五
  1. Google Research42

    移动性如何让语言模型更深入地理解地点

    Google Research 提出 Mobility-Embedded POIs(ME-POIs)框架,将聚合的匿名移动模式(如到达时间、停留时长)与文本描述结合,为地点构建动态嵌入。该框架在公开基准上使访问意图预测相对提升 81.9%,价格等级分类提升 75.1%,繁忙度估计提升 24.7%。ME-POIs 通过空间多尺度传播解决数据稀疏问题,并将移动性从预测任务转为定义地点本身的输入特征。

8月17日周一
  1. Google Research62

    Google Research 发布 PhotoScan:用智能手机照片估算体脂率与胰岛素抵抗风险

    Google Research 推出 PhotoScan,一个基于深度学习的研究框架,可从标准 2D 智能手机照片估算三维身体成分指标,包括体脂率(BF%)、A/G 比值和 V/S 比值。

    推荐理由:原文给出了PhotoScan在体脂率、A/G和V/S比值上的误差数据,以及相比智能手表BIA和DXA的预测能力对比,读者可据此判断智能手机影像估算代谢风险的可行性。

8月13日周四
8月12日周三
  1. Google DeepMind80

    Google DeepMind 发布手语转文本模型 SL2T,率先落地 Pixel 11

    Google DeepMind 发布大规模多语种手语转文本模型 SL2T,首次将手语 AI 带入消费产品,支持在 Pixel 11 的 Gboard 和 Live Transcribe 中实现美国手语(ASL)到英语的听写。模型基于超过 10 万小时、50 多种手语数据训练,在 FLEURS-ASL 基准上取得 70 BLEURT 的零样本成绩,并采用姿态关键点而非原始视频以保护隐私。

    推荐理由:原文给出了 SL2T 的训练规模、基准成绩和落地入口,读者可据此判断手语 AI 从实验室走向消费产品的实际进展。

  2. Microsoft Research62

    微软研究院发布 CARE-X 放射学视觉语言模型

    微软研究院发布 CARE-X,一个面向胸部 X 光临床解读的统一视觉语言模型,结合生成式报告与结构化预测,并采用 DAPO 强化学习优化临床正确性。在 Chest ImaGenome 异常分类上,CARE-X 辅助头在阈值 0.5 时达到 0.943 灵敏度,在 ReXVQA 基准上以 94% 准确率排名第一。

    推荐理由:原文展示了辅助监督与奖励对齐如何提升放射学视觉语言模型的临床实用性,并给出工具增强测量带来的显著性能提升。

7月30日周四
  1. Google DeepMind55

    Google DeepMind 发布 Lyria 3.5 音乐生成模型

    Google DeepMind 发布新一代音乐生成模型 Lyria 3.5,今日在 Google Flow Music 中上线。新版本在音乐性、歌词、人声和创作控制四方面提升:支持更自然丰富的旋律结构、更高品质的歌词生成、更具表现力和情感的人声,并允许用户更轻松地控制输出节奏和时长。

7月13日周一
1月10日周六
  1. Berkeley AI Research40

    信息驱动式成像系统设计:直接评估与优化成像信息含量

    伯克利AI研究团队提出一种直接基于信息含量评估与优化成像系统的框架,无需训练重建或分类网络。该方法利用成像系统已知的噪声物理特性,仅从含噪测量中估计互信息,并在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证了其预测性能。优化该信息指标可达到与端到端方法相当的设计效果,同时减少内存与计算需求,且无需任务特定的解码器设计。