跳到正文
原文
Hugging Face Blog·· 2026-07-01精选AI 评分62

IBM 发布 ScarfBench,用于评测 AI 智能体的企业 Java 框架迁移能力

ScarfBench: Benchmarking AI Agents for Enterprise Java Framework Migration

AI 导读

IBM 研究院发布开源基准 ScarfBench,用于评测 AI 智能体在企业 Java 跨框架迁移任务中的表现,覆盖 Spring、Jakarta EE 和 Quarkus 三大生态。基准包含 34 个应用、102 个框架实现和 204 个迁移任务,要求迁移后的应用能成功构建、部署并通过行为验证。评测显示当前最强智能体的行为成功率不足 10%,且智能体自报的构建成功与独立验证结果存在明显偏差。

推荐理由

原文给出了基准的规模、评测方式和当前智能体表现,读者可据此判断企业级框架迁移任务的真实难度。

来源:Hugging Face Blog · huggingface.co