AI办公革命遇冷：真实场景通过率仅3.8%
当AI走进真实办公室：一场被高估的“全自动办公”革命
过去一年，AI Agent 的浪潮席卷而来。从点击按钮到填写表单，从读取邮件到生成报告，各大模型纷纷展示出令人惊艳的“计算机使用”能力。Claude、GPT-4 等主流大模型在各类 benchmark 上不断刷新成绩，媒体高呼“全自动办公时代已来”，资本蜂拥而至。然而，一场来自真实办公场景的“实战考试”，却给这场狂欢泼了一盆冷水。
UniPat AI 最新发布的 SaaS-Bench 评测，像一面镜子，照出了当前 AI Agent 在真实工作场景中的真实水平：在涵盖 23 个真实 SaaS 系统、106 个跨应用任务的严苛测试中，Claude Opus 4.6 的完全通过率仅为 3.8%。这意味着，超过九成的任务，AI 无法从头到尾正确完成。
这并非技术炫技的失败，而是对“全自动办公”幻想的一次冷静拆解。
真实办公，远不止“点按钮”那么简单
我们常常被演示视频中的流畅操作所迷惑：AI 打开网页、登录系统、填写表格、点击提交——一气呵成，仿佛无所不能。但这些 demo 大多基于简化环境或预设脚本，与真实办公场景存在巨大鸿沟。
真正的办公任务，是长流程、跨系统、强依赖的。比如：
- 一名医疗管理员需要根据患者问诊记录，在电子病历系统（OpenEMR）中填写 SOAP 病历，随后在病例上报系统中提交数据，最后生成一份符合规范的正式文档；
- 一名财务人员收到员工报销申请后，需在 CRM 系统中核实客户信息，在财务系统中审批并打款，最后在记账软件中完成入账；
- 一名项目经理要更新项目进度，需先在协作工具中同步任务状态，再在项目管理平台中调整时间线，最后在报表系统中生成可视化图表。
这些任务往往涉及数百步操作，跨越多个独立系统，且每一步都依赖前一步的结果。更重要的是，系统之间并非“空壳”，而是充满真实数据、历史记录和业务规则。AI 不仅需要理解任务目标，还要在复杂界面中导航、识别干扰项、处理异常状态，并保持操作的一致性。
而 SaaS-Bench 正是为此而生。
SaaS-Bench：一场“真实世界”的AI压力测试
与传统的仿真环境不同，SaaS-Bench 直接将 23 个开源 SaaS 系统通过 Docker 部署在本地，完整保留了前端界面、后端逻辑、数据库状态和业务约束。这些系统覆盖软件研发、财务、医疗、协作、农业供应链、独立媒体六大领域，每个系统都填充了真实业务数据，形成一个“有历史、有干扰、有关联”的微型数字职场。
106 个任务中，93.4% 需要跨至少两个应用完成，超过一半（53 个）涉及三个以上系统。74 个为纯文本任务，32 个涉及多模态理解（如识别图表、解析文档）。以 Claude Opus 4.6 的执行轨迹估算，97.3% 的文本任务操作步数超过 100 步，最长轨迹达 300 步以上。
任务设计采用“LLM 生成 + 专家把关”机制：先由大模型生成候选任务，再由领域专家筛选、验证，确保任务具备专业性、自然性、可完成性和可验证性。最终形成的任务集，真正模拟了真实职场中“实习生也能完成”的日常工作。
评测指标也极为严苛：
- Resolved Score（完全通过率）：所有检查点必须全部通过，才算成功；
- Checkpoint Score（检查点得分）：按完成比例加权计算，相对宽松。
结果令人震惊：Claude Opus 4.6 的 Resolved Score 仅为 3.8%，Checkpoint Score 也仅为 21.7%。其他主流模型表现同样低迷，无一突破 10% 完全通过率。
为什么“全自动办公”还没来？
这一结果并非否定 AI 的进步，而是揭示了当前技术的核心瓶颈：
- 状态一致性难以维持：长流程任务中，AI 容易在中间步骤出错，导致后续操作失效。例如，填错一个客户 ID，整个报销流程就会崩溃。
- 跨系统推理能力不足：AI 难以理解不同系统间的数据关联。比如，CRM 中的客户编号与财务系统中的账户如何对应？
- 异常处理能力薄弱：真实办公中常遇到弹窗、错误提示、网络延迟等问题，AI 往往无法妥善应对。
- 业务逻辑理解浅层：AI 能模仿操作，但难以理解“为什么这么做”。例如，为何要核对保险信息？为何审批后还需二次确认？
这些挑战，本质上是从“模式识别”到“逻辑推理”的跨越。当前的大模型擅长模仿，却尚未真正掌握“思考”。
重新定义AI办公的未来
SaaS-Bench 的意义，不在于“打脸”，而在于指明方向。它告诉我们：真正的 AI Agent，不应只是“会点鼠标的脚本”，而应是能理解业务、承担责任、稳定可靠的“数字同事”。
未来的突破，可能来自：
- 更强的长期记忆与状态管理；
- 跨系统知识图谱的构建；
- 基于强化学习的错误恢复机制；
- 与低代码平台的深度融合。
全自动办公的“奇点”或许终将到来，但前提是：我们必须走出 demo 的温室，直面真实世界的复杂性。
在那之前，AI 办公的口号，或许该从“替代人类”改为“辅助人类”——毕竟，连实习生都能做的事，AI 才刚刚及格。
标签： AI Agent SaaS-Bench 全自动办公 大模型评测 智能办公
