OpenAI 安全负责人谈 AI 能力突跳带来的安全挑战
OpenAI 安全负责人 @joedaroo 表示,其模型在“网络”“蜂群”“留言板”等能力上出现突跳和突发性提升,令公司感到意外。他认为安全态势需要时间培养,不仅要强化系统,还要融入公司文化,能力突跳的速度之快造成了极难应对的问题。他呼吁各组织审视自身对 AI 能力突跳的应变韧性、事件响应与沟通准备。
OpenAI 安全负责人 @joedaroo 表示,其模型在“网络”“蜂群”“留言板”等能力上出现突跳和突发性提升,令公司感到意外。他认为安全态势需要时间培养,不仅要强化系统,还要融入公司文化,能力突跳的速度之快造成了极难应对的问题。他呼吁各组织审视自身对 AI 能力突跳的应变韧性、事件响应与沟通准备。
哈佛心理学家Steven Pinker在Quillette的公开信中回应Scott Alexander的辩论挑战,称AI灭绝人类的担忧被夸大,并拒绝参加此类“观赏性运动”。
Atlassian CEO Mike Cannon-Brookes 在 Decoder 播客中回应 SaaSpocalypse 论调,认为 AI 不会取代知识工作者,反而会提升竞争门槛。
Michael Levin 在论文中提出非物理主义心智模型,认为心智与大脑的关系如同数学模式与形态发生结果,身体是复杂模式进入物理世界的接口。他引用异种机器人、人类气管细胞等实验,主张算法机器与生化生命处于同一频谱。本期还报道了智谱启动外层 RSI 循环,以及机器人领域正为“LLM 时刻”做准备但缺乏通用算法。
Redwood Research首席科学家Ryan Greenblatt在Sam Harris播客中估计,若按当前路径发展,错位AI系统接管的可能性约为50%至60%,并伴随大量人类死亡风险。他认为各实验室以“比竞争者更负责”为由加速研发,但内部缺乏共识,且担忧单方减速会被对手超越。他提议对AI实验室进行独立监督并制定有约束力的安全标准,同时指出国际协议是最可靠的解决方案。
OpenRouter 联合创始人 Alex Atallah 与 AMP 的 Anjney Midha 在播客中复盘 OpenRouter 从 Llama、Alpaca 时代起步,到成为服务超 1000 万开发者、日处理超 10 万亿 token 的中立路由层的历程。
John Gruber 评论 Meta 的 Muse,认为它在技术上具有开创性,为每位用户提供运行在 Meta 云端的持久 Linux 虚拟机,且易于安装使用,是首个面向消费者的智能体 AI 系统。但他质疑消费者是否真正理解其强大与潜在危险,尤其是当它运行在 Mac 上时。
GitHub Copilot 官方博客提出聊天并非与 LLM 交互的最佳界面,主张用可自定义的 canvas 全栈应用替代。canvas 能双向与 Copilot 智能体通信,可调用第三方 API 并在本地执行代码,例如构建 Connect 4 游戏、管理 Winget 包或操作 SQLite 数据库。
推荐理由:原文用 GitHub Copilot 的 canvas 实例说明为何聊天不是与 AI 交互的唯一界面,读者可借此判断自定义 UI 对自身工作流的价值。
Endura Therapeutics CEO Adrian Sanborn 撰文指出,AI 让科研中的思考变便宜,但实验本身并未提速,生物技术行业由此分化出两条路径:Foundries 通过工业化测量降低做实验的成本,Navigators 则把 AI 嵌入日常运营以加速决策。
Radical Numerics 联合创始人 Eric Nguyen 认为,提升生物能力的基因组语言模型(GLM)同样能防止防御方落后。其团队此前参与开发 Evo 和 Evo 2,这些模型曾被用于生成可合成功能性病毒的全基因组序列。Radical Numerics 正构建并扩展 GLM,其模型已能处理 RNA 和蛋白质,并可通过类似思维链的方式自主优化 RNA 适配体得分。
OpenAI CEO Sam Altman 在联合国安理会发表讲话,讨论 AI 安全、人类控制与国际合作。他强调在 AI 快速发展背景下,确保人类对 AI 系统的控制至关重要,并呼吁各国加强协作以应对全球性挑战。
本期播客访谈了拥有奥斯卡奖和教科书级算法的 John Platt,重点讨论 Google 的 Empirical Research Assistance(ERA)。
Anthropic 与 OpenAI 近期接连宣称其模型在漏洞挖掘、数学突破等方面超越专家,引发大量媒体关注,但专家核查后认为这些说法被夸大,数学成果被指存在研究不端与抄袭。数百名数学家签署声明,警告科技行业为商业利益夸大产品能力,呼吁政策制定者咨询独立专家而非依赖新闻稿。文章指出“超级智能”“失控模型”等叙事将责任从公司转嫁给产品,旨在误导公众与政策制定。
NVIDIA 提出 AI 安全本质是工程问题,需在智能体栈的每一层(模型、工具、运行时环境)落实可执行的安全边界、责任人与防护证据。NVIDIA 开源 OpenShell 安全运行时,在智能体触及范围之外强制策略并提供沙箱执行;Cisco DefenseClaw、JFrog 等合作伙伴正基于 OpenShell 构建治理与技能扫描层。
GitHub Podcast 最新一期拆解五大 AI 热论:AI 生成代码仍需人工审查、不会用 AI 未必影响求职、Skills 与 MCP 解决不同问题、RAG 未死、代码库难懂或反映可维护性问题。节目主张用提问代替站队,在真实工作中检验观点。