找回密码
立即注册
搜索
发回帖 发新帖

6882

积分

0

好友

874

主题
发表于 5 小时前 | 查看: 2| 回复: 0

Agent正在成为顶级AI实验室和企业自动化系统中的关键基础设施。OpenAI一份面向研究人员的内部报告,提出了一个直观问题:如果暂时收走最强的编程Agent,团队愿意付出什么代价将它换回来?

报告对101位研究人员进行调查后显示,受访者宁愿牺牲约30%的团队算力或40%的人力,也不愿失去先进编程Agent。这说明,Agent已经不只是辅助工具,而是逐渐成为研发和业务流程中的核心生产力。

但让Agent真正进入企业流程、控制机械臂或操作复杂设备,仅靠一个强大的大语言模型还不够。模型需要快速决策、持续记忆、执行反馈和现场适应能力。

Agnes AI开源的智能体运行与扩展框架 Agnes Harness,试图通过双系统架构解决这一问题:

  • 模型层使用 TTT(Test-Time Training,测试时训练),让决策模型在每次判断前适应当前任务。
  • 系统层使用 RSI(Recursive Self-Improvement,递归自我改进),自动复盘失败、验证新策略,并将有效流程沉淀为 Skills(技能)和版本化 Playbook(剧本)。

简单来说,TTT让Agent当场学会,RSI让Agent下次记得。

大脑负责思考,小脑负责执行

先看一个简单的机器人导航任务:仿真环境中的机器狗需要在室内找到一扇门并穿过去。

如果整个任务都交给大语言模型,机器狗每走一步都需要调用视觉接口:拍摄画面、上传请求、等待模型分析,再根据返回结果执行动作。模型可能给出“门在左前方,向左转15度”这样的指令,但转完之后还要重复拍摄、请求和等待。

这种方式的问题不在于模型不会思考,而在于让最昂贵、最慢的模型承担了过多低层操作。人类走路时,大脑不会逐步控制抬脚、调整重心等动作,这些工作由小脑和神经系统快速完成。

为什么让AI最慢的“大脑”包办每一步动作?

Agnes Harness引入决策模型后,机器狗可以快速判断门是否在视野中、距离是否足够,并在毫秒级连续完成动作。同样的任务,整体耗时缩短了32.9%。

Agnes Harness机器人导航仿真任务对比:传统方案与引入决策模型后的耗时和调用次数

这背后对应的是 Agnes Harness 的双系统决策设计。

许多Agent系统把大语言模型放在所有流程的中心,每一次工具调用都需要先询问模型。这种方式通常更稳妥,但就像每件事情都要由CEO亲自审批,即使CEO能力很强,流程也很难足够快。

换成轻量模型可以降低延迟和成本,但遇到复杂任务时又容易出现判断错误。速度和准确性似乎只能二选一。

Agnes Harness按照任务难度进行分工:

  • 大脑,即大语言模型:负责理解用户意图、拆解复杂任务、制定计划,并处理突发异常。
  • 小脑,即决策模型:负责高频、明确的快速判断,包括下一步调用哪个工具、请求如何路由以及流程如何继续。

这颗“小脑”就是 Agnes 以插件形式接入框架的决策模型 Agnes Sys1 1.0。

该模型参数规模为9B,可以在单机上部署,主要处理工具选择、流程判断、请求路由和有序评分等任务。在常规场景中,它能够完成亚秒级决策。

这种分工与卡尼曼提出的“系统1、系统2”有相似之处:一个负责快速直觉反应,一个负责审慎推理。

系统1与系统2:快速直觉和审慎推理的分工示意

常规判断交给 Sys1 后,大语言模型的调用次数会减少,等待时间和推理成本也随之下降。对于希望系统具备更多 Agent 能力,同时又需要控制运行成本的场景,这种分层设计尤其重要。

更重要的是,决策模型并不是固定不可替换的组件。默认配置是 Sys1,但开发者可以根据业务场景替换其他决策模型。

客服、仓储、代码审查和设备控制所需要的“快速直觉”并不相同。框架将自定义决策模型的空间留给了开发者。

不过,速度只是问题的一半。真正可用的智能体,还需要在执行中积累经验。

让Agent这次学会,下次用得上

一个系统即使能够快速执行错误指令,也不一定有价值。真正的智能体需要从实践中吸取经验,并持续改进。

Agnes Harness构建了一条从“模型适应”到“系统优化”的双层自进化路径:

  • 模型层使用 TTT 进行现场适应。
  • 系统层使用 RSI 进行长期积累。

第一层:TTT让决策模型现场学习

通常情况下,训练和推理是两个相互分离的阶段。但在真实业务现场,数据格式、业务术语和操作流程往往千差万别。仅依赖预训练知识,模型可能出现明显的适应问题。

为此,负责高频判断的 Sys1 搭载了 TTT,即 Test-Time Training,测试时训练机制。

它的基本流程是:

  1. Agent接收当前任务材料。
  2. Sys1从当前上下文中提取可用信息。
  3. 系统构建一个轻量且可验证的辅助任务。
  4. 模型在单次请求内完成少量参数更新。
  5. 更新后的模型立即参与当前决策。

为了兼顾速度和稳定性,参数更新被限制在模型末端的 RMSNorm 缩放参数上。这意味着模型只对当前任务进行局部适应,而不是重新训练整个模型。

可以把它理解为一名即将上场的运动员。他不会只依赖训练阶段形成的固定经验,而是在正式行动前,根据现场的风速、湿度和环境变化快速调整状态。

通过 TTT,决策模型能够在很短时间内适应当前任务的格式与语境。

这种更新是局部且即时的,不会改变下一次请求的基线状态。当前任务完成后,模型不会因为一次临时适应而持续偏移,下一次请求仍然从原有基线出发。

这解决的是“当前任务能不能快速适应”的问题。

第二层:RSI让系统越做越熟练

TTT负责让模型在当前任务中变得敏锐,RSI则负责让整个系统在多次任务后积累经验。

依托 Harness 的记忆机制,包括事件账本和状态记录,RSI会在后台持续复盘Agent的执行过程。它关注的不只是任务是否完成,还会分析:

  • 哪一步发生了错误;
  • 哪个环节出现了重复重试;
  • 哪些工具调用顺序影响了效率;
  • 当前设备状态是否导致流程失败;
  • 哪些策略可以在相似任务中复用。

识别到问题后,系统会分析上下文和设备状态,推演新的执行策略。例如调整 API调用顺序,增加校验条件,或者改变某一步动作的触发时机。

之后,系统会对新策略进行效果验证。Agent可以在当前会话或后续相似任务中执行改进后的方案,观察它是否真正提高了成功率和执行效率。

如果策略被验证有效,RSI会将这套流程沉淀为 Skills(技能)和版本化 Playbook(剧本)。这类 Skills(技能)不是一次性的提示词,而是经过执行、复盘和验证后形成的可复用能力。

这意味着,Agent可以把偶然成功的操作转化为稳定流程,避免每次遇到相似任务都从零开始。

Agnes Harness整体架构:Agent运行时、记忆层、RSI自进化与设备接入

实战:Agent如何越做越熟

单独解释“自我改进”仍然比较抽象,实际案例更能说明问题。

设备入库验收:从30分钟超时到8分钟完成

设备入库验收看起来并不复杂,但流程中有许多容易出错的细节,例如:

  • 什么时候可以读取秤台数据;
  • 秤台读数何时算稳定;
  • 不同设备的操作顺序如何安排;
  • 哪些条件满足后才能进入下一步。

首次执行时,Agent不熟悉秤台稳定判断,并且出现操作顺序错误。任务运行30分钟后仍未完成,最终超时。

RSI对这次执行进行复盘,记录正确的秤读数提取时机,归纳出可复用的操作流程,并形成相应的操作手册。

下一次任务执行时,Agent按照验证后的流程操作,在8分钟内完成了设备入库验收。

复杂设备入库验收案例:从首次超时到通过独立复验

行李房自动化验收:从读数失败到连续复验通过

在行李房场景中,Agent需要完成多项操作:

  1. 扫码识别一件易碎行李的归属;
  2. 完成行李分拣;
  3. 对另一件行李进行实测称重;
  4. 根据重量判断是否需要暂留。

首次执行时,扫码和分拣顺利完成,但由于设备操作冲突、称重时机不当,Agent始终没有拿到有效读数。

RSI随后进行多轮分析和优化,逐步调整:

  • 设备调用顺序;
  • 称重前置条件;
  • 读数校验方式;
  • 设备状态之间的衔接关系。

优化后,Agent成功测得行李重量为12.60公斤,确认超过标重4.60公斤,并触发暂留条件。

最终,9项评测全部通过,后续三次独立复验也全部通过。

行李房自动化验收案例:称重、分拣与暂留判断通过独立复验

TTT让小脑在每一次判断中更贴合现场,RSI让系统在每一次任务结束后更加熟练。两层机制叠加后,Agent不必每次都从零开始。

Agnes Harness的完整架构

把前面的模块组合起来,Agnes Harness的整体架构可以理解为四个部分,以及一套贯穿其中的自进化机制。

大脑:大语言模型

大语言模型负责深度思考,包括复杂推理、任务拆解、规划和异常处理。

小脑:决策模型

决策模型负责快速反应,处理高频、实时的判断与执行,也可以根据业务场景替换为其他模型。

身体:MHS

MHS,即 Model Hardware Standard,模型硬件标准,负责连接机器人、机械臂、传感器等物理设备,让Agent能够在真实世界中行动。

Agnes Sys1 1.0双系统编排:Agent Loop、决策路由与受控执行

记忆:Harness

Harness通过事件账本记录任务进展,通过 Skills 和 Playbook保存已经验证的操作经验。即使长流程执行到一半,系统也能根据状态记录继续推进。

自进化:TTT与RSI

TTT在模型层帮助Agent适应当前任务,RSI在系统层帮助Agent积累长期经验。前者解决“现在怎么判断”,后者解决“以后怎么做得更好”。

在数字世界中,Agent可以调用软件工具和企业系统。进入物理世界后,它还需要可靠的设备接入能力。

MHS:让Agent进入物理世界

当Agent需要拧动机械臂、读取传感器或协调多台设备时,接口差异会迅速放大系统复杂度。不同厂商的设备拥有不同的协议和控制方式,多设备协同也需要额外的适配工作。

MHS试图通过统一标准接入机器人、机械臂和传感器等可编程设备。

接入之后:

  • 大语言模型负责理解人类意图;
  • 决策模型负责快速判断下一步动作;
  • Harness负责保存状态、轨迹和经验;
  • MHS负责把动作落到具体设备上,并协调设备之间的执行。

Agnes Harness连接FDE企业系统与MHS物理设备的执行基础

在相关演示中,Agent可以让机器狗寻找指定目标并完成交互。从理解自然语言,到读取设备状态、调用摄像头、规划动作,再到真实设备执行,整个过程不需要人工逐步干预。

因此,Agnes Harness可以被概括为:

  • 大脑:负责深度思考、复杂推理、任务拆解与规划;
  • 小脑:负责快速判断、工具选择和实时执行;
  • 身体:通过 MHS 连接机器人、机械臂和传感器;
  • 记忆:通过 Harness 保存任务状态和执行经验;
  • 自进化机制:通过 TTT 与 RSI 让系统持续成长。

九项基准评测

围绕真实任务的端到端完成效果,Agnes Harness团队开展了覆盖九项基准的阶段性自评,并与部分公开基线进行对照。

评测结果显示,Agnes Harness在以下六项评测中取得了对照组最高成绩:

  • MHS-Benchmark;
  • WorkBuddy Code;
  • AGH-Benchmark;
  • BigCodeBench-Hard V1;
  • τ-bench text-v1;
  • DeepPlanning。

在考察有状态多应用API操作能力的 AppWorld-dev 中,Agnes Harness与 Codex 表现持平。

Agnes Harness九项基准评测结果对比

其中,两项数据尤其能体现整体架构的特点。

在复杂任务规划评测 DeepPlanning 中,Agnes Harness 得分为 87.07。这说明大语言模型与 Harness 记忆机制结合后,在长程、多分支任务中具备较强的状态连续性和推理能力。

在复杂代码任务 BigCodeBench-Hard V1 中,Agnes Harness 通过率为 40.69%。在多步代码生成和工具调用环境中,双系统决策能够减少不必要的模型调用,并提升执行过程的稳定性。

需要注意的是,相关结果包含自评数据和公开基线数据,各项目的测试方法、模型版本和任务设置可能存在差异,具体结论仍应结合原始评测页面理解。

MHS-Benchmark:软硬件协同能力测试

MHS-Benchmark专门用于测试Agent同时处理软件和物理设备任务的能力,共包含100项任务:

  • 40条桌面软件任务:覆盖三维建模、视频剪辑、表格计算、文档处理、网页交互、图像与音频编辑以及游戏操作;
  • 60条物理作业任务:覆盖机床控制、精密装配、场内物流调度、自动化巡检,以及水、电、冷链等物理环境控制。

在这项测试中,Agnes Harness整体成功率为 41%,对照结果如下:

测试对象 软件任务 物理任务 整体
Agnes Harness 22.5%(9/40) 53.3%(32/60) 41%(41/100)
DeepSeek Harness 30%(12/40) 46.7%(28/60) 40%(40/100)
Codex 25%(10/40) 43.3%(26/60) 36%(36/100)

MHS-Benchmark软件任务、物理任务与整体成功率对比

这类评测关注的不只是模型能否生成答案,还关注Agent能否调用工具、理解环境、执行动作并完成真实任务。

模型能力再强,最终仍然需要有人把它部署到具体流程中。

FDE与企业级交付

在企业AI转型中,负责把AI部署进真实业务流程的人,通常被称为 FDE,即 Forward Deployed Engineer,前线部署工程师。

FDE需要深入业务一线,将模型接入企业已有的流程、数据和系统。不同企业的ERP、MES、数据库和业务软件各不相同,Agent很难依靠一套固定配置覆盖全部场景。

Agnes Harness采用插件化架构,将模型适配器、工具、角色以及 RSI 沉淀下来的 Skills 封装为可版本管理的插件。

通过 MCP 机制,系统可以接入企业已有的ERP或MES系统。每一次交付不仅是一次项目实施,也会为后续相似场景积累可复用的组件和流程。

开源架构还回应了企业对“主权AI”的关注:

  • 代码可以审计;
  • 决策模型可以替换;
  • 企业沉淀的 Playbook 归企业自身使用;
  • MHS开放标准可以减少硬件生态封闭带来的限制。

对于受困于高额Token成本、重复修改提示词和Agent反复报错的团队,这种“执行、复盘、验证、沉淀”的闭环提供了另一种系统设计思路。

相关代码和技术资料:

AI的下一步,不只是理解世界,也包括适应环境、执行任务,并在一次次实践中改进自身。

来源

编辑:桃子、大卫




上一篇:OpenAI 训练网络架构:MRC、SRv6 与故障定位实践
下一篇:GPT-6.2 Astra用94分钟完成间隙定理形式化证明
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-21 15:31 , Processed in 0.066386 second(s), 41 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表