大语言模型（LLM）系统的性能不仅取决于模型权重本身，更受到其“外围包装代码”的深刻影响。这套代码决定了模型看到什么信息、如何检索、以及如何展示结果，通常被称为“Harness”。然而，这些Harness的设计至今仍高度依赖于人工经验。
2026年3月30日，一项发表于arXiv的研究提出了Meta-Harness，一个能对模型Harness进行端到端自动优化的外层搜索系统。研究团队在文本分类、数学推理和Agent编程三项任务上验证了该方法，发现其自动搜索到的策略表现惊人。
4次迭代追平对手60次的最终成绩？
Meta-Harness团队进行了一项对比实验。现有的自动文本优化器OpenEvolve需要60次评估才能达到的最终准确率，Meta-Harness仅用4次就追平了，并且使用的上下文token还减少了4倍。它不仅超越了此前最优的手工设计Harness（ACE），也优于其他自动优化器（如TTT-Discover），并且优势随着评估轮次增加持续扩大。
图1：（左）在文本分类上，Meta-Harness 超越了此前最佳手工设计的 harness（ACE）和现有的文本优化器（TTT-Discover、OpenEvolve），仅用 4 次评估就达到了次优方法的最终准确率。（右）在 TerminalBench-2 上，Meta-Harness 超越了所有报告的 Claude Haiku 4.5 harness。
如此显著的差距起初令人惊讶。但随着近期Claude Code等Agent框架源代码的泄露，社区开始意识到，一个高度定制化的外围调度层，可能只需要额外几十行代码就能实现巨大增益。数据也支持这一点：Meta-Harness中能访问完整执行轨迹的“提议者”（Proposer），其整体表现大幅提升，其中位数成绩甚至超过了其他信息受限条件下所能达到的最佳成绩。
为什么自动化搜索能发现人类工程师想不到的策略？这与人类学习语言的过程有何相似之处？本文将从社会语言学的“语域”理论切入，将Meta-Harness的技术发现与语言使用的情境适应性机制进行对照，揭示两者在结构上的深层同构。在展开理论之前，我们先看看一个Agent是如何“学会说话”的。
一个Agent的成长史：从混乱到精通
Meta-Harness是一个外循环搜索系统。它的核心是一个编码智能体（Proposer），通过读写文件系统进行工作。每次迭代，Proposer读取所有先前候选方案的原始源代码、评分和完整的执行轨迹，然后生成新的调度代码候选。候选被评估后，所有日志存入新目录，循环重复。一次典型的运行会评估约60个候选方案，跨20次迭代。
原论文逐轮记录了Proposer在TerminalBench-2基准上的搜索行为，整个过程宛如一份田野调查笔记：
- 第1-2轮（混乱期）：Proposer最初提出的Harness把检索策略、提示格式、验证步骤全部打包在一个巨大的提示词里。这就像一个初学方言的人把各种语体混在一起说，结果怪异且不一致。分数徘徊在35%。
- 第3轮（识别混淆变量）：Proposer从前两轮的失败轨迹中发现问题——“我同时改了多个东西，不知道谁的功劳”。于是它将不同模块拆分开，逐个测试。分数跳到39%。
- 第4-6轮（学习风险规则）：Proposer尝试更复杂的结构（多轮验证、级联检索），有成功也有失败。它从中学到：改变Harness的整体控制流是高风险操作，比微调提示词危险得多。这就像说话者发现改变句子主干比换个形容词更容易造成误解。
- 第7轮（策略转向）：Proposer做了一件出人意料的事：不再纠结于提示词措辞，转而提出让LLM在正式分类前，先阅读数据集的标签列表和示例，构建“任务心智模型”。分数跳到46%。这就像发言前先了解听众，比精心措辞更重要。
- 第8-9轮（微调打磨）：微调BM25参数、调整验证阈值。分数稳步上升到48%、49%。
- 第10轮（从失败中回忆）：Proposer引用了第5轮一条失败轨迹中的具体错误——“把 ‘nervousness’ 和 ‘fear’ 混淆了”——并据此设计了一个针对性的对比验证步骤。这意味着它能从过去的错误中反思。分数达到50.3%。
这十轮迭代展现的是一种“语言社会化”过程。儿童不需要语法书也能学会在特定场合保持安静；Proposer不需要人类标注，也能学会在分类任务前先做环境探测。文件系统中的代码和轨迹就是它所处的“语言社区”，评估分数就是社区的反馈。
搜索过程中，Proposer每次迭代中位数读取82个文件。其中，源代码占41%，执行轨迹占40%，而分数/摘要文件仅占6%。这意味着它将大部分“学习时间”花在了原始的“对话记录”（代码和轨迹）上，而非简单的“成绩单”（分数摘要）。
表1：来自 TerminalBench-2 搜索运行的 Proposer 文件访问统计（10 次迭代，Claude Opus 4.6）。Proposer 从文件系统广泛读取，对先前的源代码和执行轨迹给予大致相等的关注。
用社会语言学的视角看，这套搜索引擎宛如一台“田野调查引擎”的拟像——它进入任务空间、收集行为轨迹、识别策略变体、分析最优模式。语言学家Joshua Fishman曾经典地表述语域研究：“谁在何时对谁说什么语言”。六十年后，Meta-Harness用代码回答了同一个问题。
当然，这种方式的计算成本很高。该系统在一次完整的文本分类搜索中消耗了约35亿token，而对比方法TTT-Discover仅需约50万token。这是追求极致性能时必须权衡的硬件与成本代价。
表2：文本优化方法及其设置的比较。每行代表一种跨任务折叠的方法。Mtok/iter是我们根据每篇论文中考虑的最大设置，从一个文本工件的单次评估中生成完整上下文的最佳估计。本文考虑的设置使得每个工件评估产生的上下文数量级更大。
语域映射：代码策略即语言变体
换一层外围代码，同一个AI模型的表现可以相差数倍。面对法官和面对家人，同一个律师的说话方式完全不同。这两件事共享同一个底层结构：一种受制于情景的能力调度模式。
在社会语言学中，语域（Register） 指的是根据使用情境而变化的语言变体。这不是方言（因人而异），而是因用途而异。Harness指的是包裹在模型外层的调度代码，它决定模型看到什么信息、以什么顺序看到。两者都服务于同一目的：为特定情境选择特定策略。因此，可以建立对应关系：Harness ≈ 语域。
在当下激烈的模型性能竞赛中，优化外层调度代码带来的显著提升，是一个值得认真探索的方向。例如，在SWE-bench Mobile基准上，Meta-Harness发现的调度策略将Claude Haiku 4.5的解决率从基线的约6%提升至37.6%，改善幅度显著。
表3：在 TerminalBench-2 上的通过率。结果或其他数据来自官方排行榜。Meta-Harness 在所有 Opus-4.6 agents 中排名第二，在所有 Haiku-4.5 agents 中排名第一。
这种对应在具体策略中更清晰：
- 快速确认语域：就像随口回答“电影还行”，Draft Verification变体调用两次LLM快速验证，准确率40.1%，平均只用5400 token，快且够用。
- 正式论述语域：就像准备详实的评审报告，Label-Primed Query变体先展示所有标签定义再判断，准确率48.6%，但平均消耗45500 token，追求可靠性。
社会语言学发现，语域是一个连续谱系，而非离散类别。Meta-Harness在文本分类任务上发现的8个帕累托最优代码变体，恰好排成这样一个谱系：从轻量快速的“Draft Verification”到厚重严谨的“Label-Primed Query”，中间6个变体平滑过渡，构成一条在“准确率-成本”空间中的帕累托前沿。
表4：从主文本分类搜索中发现的帕累托最优变体，在平均准确率与上下文成本之间做权衡。正文中所选系统为 Meta-Harness (Label-Primed Query)。Ctx 表示输入上下文中额外字符数的平均值（千）。
每个变体都在特定成本下达到最优准确率，没有谁在所有方面完全优于另一个。这正是语域连续体的体现：达达主义演讲不适合学术会议，但在酒馆中却可能大放异彩。
“历史”为什么不可压缩：原始数据优于摘要
研究团队进行了一项关键的消融实验。他们为Proposer提供三种不同级别的“学习材料”：
- 仅分数（Scores Only）：只知道历史候选的得分。
- 分数+摘要（Scores + Summary）：知道得分和候选方案的文本摘要。
- 完整轨迹（Full Traces）：包含源代码、每次LLM调用的输入输出、完整执行日志和得分。
表5：在线文本分类中 Proposer 可用信息的消融。> ZS：准确率超过零样本基线的运行次数。完整的 Meta-Harness 接口显著优于仅分数和分数+摘要的消融条件。访问原始执行轨迹是启用 harness 搜索的关键要素。
结果令人震惊：Full Traces条件下的中位分数，甚至超过了Scores-only条件下的最佳分数（高出11.3%），也超过了Scores+Summary的最佳分数（高出8.7%）。不仅如此，Full Traces在10次独立运行中有9次超过了基线，而Scores-only只有3次。
这或许也能解释为何像“Repomix”（将整个代码仓库打包压缩成单个文件）这类项目在社区中褒贬不一。过度压缩和摘要可能会丢弃追溯因果链所需的关键线索，导致性能下降。
从语料库语言学视角看，这四十年来一直在证明同一件事：语言的描述不能替代语言本身。任何摘要都是选择，而选择者无法预知哪些细节最终是关键。让主体暴露于原始数据，而非人工筛选的知识点，是习得的必要条件。
这三种实验条件可以类比语言学习：
- Scores Only：你只知道“这人说话听不懂”，但没分析过他具体怎么说的。
- Scores + Summary：你读了一篇关于某种方言的百科词条。
- Full Traces：你真正在那个语言社区生活了一个月，每天听当地人交谈。
哪一种能真正学会？答案不言而喻。
哲学家Gilbert Ryle区分了“知其然”（Knowing that）和“知其所以然”（Knowing how）。社会语言学家会再加一项“知其时”（Knowing when）——知道在什么情境下用什么策略。摘要只能提供“知其然”，而“知其所以然”和“知其时”这种程序性知识，只能从完整的经验（执行轨迹）中获得。Proposer不是在存储规则，而是在迭代中面对具体数据做出具体决策，知识就在过程中。
就像想学会一种语言的幽默感，不能只读特征列表，必须听上百段真实对话，感受每个停顿和语调变化。压缩会摧毁信息，滑动窗口（丢弃旧历史）则可能导致关键的错误教训被遗忘，就像电影《记忆碎片》中主角的困境。
多路由系统与多言现象
前面的讨论限于“一个任务一种策略”。但Meta-Harness在数学推理任务上发现了更复杂的现象：多种策略共存，并能根据问题自动切换。这在社会语言学中被称为双言或多言现象（Diglossia/ Polyglossia）。
双言现象指一个言语社区中存在两种或多种功能分工明确的语言变体，如正式场合用的标准语和日常用的方言。掌握双言的人知道在何时使用何种变体。
Meta-Harness发现了一个4路由词汇路由器（4-route lexical router）。它能根据数学问题的表面词汇特征，自动将其路由到四个子领域（组合数学、几何、数论、代数/其他）之一的特定检索策略。
图3：所发现的数学检索 harness。词汇路由器将每个查询分配给四个学科特定检索策略之一。所选策略检索示例，这些示例被插入到最终提示中。
关键是，这个路由器是系统从轨迹中自行发现的，而非人类工程师手工设计。它绕过了繁琐且不完备的“人工决策树”，就像儿童自然习得在不同场合切换语言一样。这个4路由系统在5个从未见过的模型上平均提升4.7个百分点，说明它捕获的是数学推理本身的结构特征，而非针对特定模型的偏见。
表6：在 200 道 IMO 级别数学题上的检索增强数学问题求解。展示每个问题三次采样的 pass@1 平均值，括号内为相对无检索基线的绝对提升。所发现的 Meta-Harness 检索策略在全部五个留外模型上均提升了推理能力，平均增益 4.7 个百分点。
交际能力与OOD泛化
那么，在一个任务上学到的策略（语域），能迁移到完全陌生的任务上吗？这涉及到社会语言学的核心区分：语言能力（懂语法） vs 交际能力（知道在何时、对谁、如何说话）。
证据表明，Meta-Harness发现的Harness具备一定的“交际能力”。在文本分类任务上发现的策略，被直接用于9个从未见过的数据集（分布外，OOD），平均准确率达到73.1%，超越了此前最佳方法ACE的70.2%。
表7：分布外（OOD）文本分类数据集评估。报告各数据集的测试准确率及全部九个数据集的平均额外上下文 token 数。Meta-Harness 在这 9 个此前未见的任务上比次优方法高出 2.9 个百分点。
策略中不变的骨架（如“检索→理解→判断”的行为序列、验证的规范）对应交际能力的核心维度，而可变的数据内容、文本风格则对应情境参数。这使得策略能够跨任务泛化。
此外，在TerminalBench-2（一个Agent编程基准）上发现的Harness，第一步是执行“环境引导”：收集工作目录、文件列表、可用编程语言、包管理器、内存等信息，然后再开始编码循环。这在语用学上对应预设检查——在发出指令前，先确认所有前提条件是否成立。
图4：所发现的 TerminalBench-2 harness。该 harness 继承了 Terminus-KIRA 的原生工具调用、输出上限和多方完成检查清单（绿色）。环境引导（红色）是 Meta-Harness 发现的组件：它在 agent 循环开始前收集沙箱环境快照，消除了早期的探索性轮次。
需要指出的是，论文中TerminalBench-2的评估使用了与搜索相同的89个任务集，未设置独立测试集，存在过拟合风险。相比之下，数学推理任务采用了严格的留出模型和题目进行评估。因此，虽然“环境预设检查”作为语用隐喻是精确的，但其带来的具体性能提升程度需谨慎看待。
结语：迈向Harness语言学？
Meta-Harness的发现不支持用整体性的“文化”框架来理解，而更支持动态、情境化的“语域”框架。它没有找到一个万能最优解，而是发现了一组帕累托最优变体；它甚至发现了系统内部自动化的“多言”切换机制。
这项研究也开启了更多联想：
- 关于语域：搜索空间是否覆盖了所有可能语域？是否存在更深层的“语域语法”？
- 关于轨迹：什么样的轨迹信息最关键？是否存在“最小充分语料”？
- 关于泛化：文本分类的语域能否迁移到情感分析？数学推理的路由策略能否启发代码生成？
如果Harness是一种语域，那么是否存在一门“Harness语言学”？研究其“音系学”（token模式）、“形态学”（模块组合）、“句法学”（结构约束）、“语义学”（功能意义）和“语用学”（使用情境）。Meta-Harness已经提供了大量新“语料”和自动发现的“变体”。或许，下一代智能系统的突破点，不仅在于模型本身，更在于我们理解并优化模型如何“说话”的方式。
这项来自人工智能前沿的探索，生动地展示了即使是成熟的Agent系统，其外围代码层仍有巨大的自动化优化空间，其过程与人类的社会性学习有着美妙的共鸣。对于对此类深度学习系统优化和跨学科研究感兴趣的开发者，欢迎在云栈社区进行更深入的交流与探讨。
发表于 17 小时前
|
查看: 13|
回复: 0
