1 min read

LLM:Harness Engineering:AI Agent 的外循环工程体系

LLM 系列导航

1 LLM:Function Call(1)从传统工具调用到函数驱动 2020-09-08
2 LLM:关注因果推断研究进展 2023-06-22
3 LLM:人机协作 2024-05-19
4 LLM:分层管理风险定性 2024-08-08
5 LLM:FN分层分析与提升空间测算(1) 2024-09-12
6 LLM:FN分层分析与提升空间测算(2) 2024-09-12
7 LLM:FN分层分析与提升空间测算(3) 2024-09-12
8 LLM:FN分层分析与提升空间测算(4) 2024-09-12
9 LLM:FN分层分析与提升空间测算(5) 2024-09-12
10 LLM:推理不可复现的探索 2025-06-11
11 LLM:SFT 与 RL 的关系 2025-07-29
12 LLM:SFT 与 RL 的关系(理论修正与实践补充) 2025-07-30
13 LLM:SFT 与 RL 的关系(理论修正与实践补充II) 2025-07-31
14 LLM:表格数据特征工程(1)核心方法与框架 2025-08-03
15 LLM:表格数据特征工程(2)低数据场景的决策树生成 2025-08-03
16 LLM:表格数据特征工程(3)落地冷启动 2025-08-03
17 LLM:表格数据特征工程(4)线性可分性与模型选型 2025-08-03
18 LLM:撰写大模型落地提示词的关键 2025-08-27
19 LLM:从 Prompt 设计到工作流落地 2025-08-28
20 LLM:RL's Razor 抗遗忘 2025-09-04
21 LLM:RL's Razor 抗遗忘(4)on-policy认知误区 2025-09-04
22 LLM:RL's Razor 抗遗忘(5)RL在线生成样本 2025-09-04
23 LLMRL's Razor 抗遗忘(2) 2025-09-04
24 LLMRL's Razor 抗遗忘(3)SFT 与 RL 的认知偏差及应用 2025-09-04
25 LLM:MuseGraph融合GNN与LLM的通用图挖掘新框架 2025-09-05
26 LLM:幻觉成因与解决 2025-09-08
27 LLM:Agent 逻辑与应用场景 2025-09-23
28 LLM:拆解大模型缩放定律失效的三重分解 2025-10-05
29 LLM:近似on-policy数据抗遗忘 2025-10-21
30 LLM:近似on-policy数据抗遗忘(2)Iterative-SFT 2025-10-21
31 LLM:幻觉治理 2025-10-28
32 LLM:先验偏见(1)变量名带偏判断 2025-11-13
33 LLM:先验偏见(2)分层分析应对 2025-11-13
34 LLM:先验偏见(3)实验效度的场景化适配 2025-11-13
35 LLM:分层落地 2025-11-13
36 LLM:零样本在金融场景落地 2025-11-13
37 LLM:跨难度泛化的局限与量化 2025-11-26
38 LLM:重复提示词解锁非推理性能上限 2025-12-17
39 LLM:用失败样本提升指令遵循能力 2025-12-29
40 LLM:概率引导的高价值信号筛选 2026-01-14
41 LLM:低成本安全检测的级联方案 2026-01-16
42 LLM:定性编码的假阳性解决方案 2026-01-16
43 LLM:先验偏见(4)挑战与落地解决方案 2026-01-22
44 LLM:先验偏见(5)工程化方案 2026-01-22
45 LLM:先验偏见(6)递进式优化与工程化落地 2026-01-22
46 LLM:SimRL(1)分层评估 2026-02-03
47 LLM:SimRL(2)理论逻辑与工程落地 2026-02-03
48 LLM:SimRL(3)质量评估与落地优化 2026-02-03
49 LLM:MCP vs Skills 核心差异 2026-03-22
50 LLM:OpenClaw 消息渠道配置实践 2026-03-22
51 LLM:OpenClaw 检索架构的工程实现与设计逻辑 2026-03-24
52 LLM:OpenClaw 的Memory原生架构与Agent发展方向 2026-03-24
53 LLM:Coze云端开发环境初始化与504超时问题排查 2026-03-28
54 LLM:OpenClaw 微信 ClawBot 插件配置指南 2026-03-28
55 LLM:OpenClaw 记忆系统:三级架构的正确理解 2026-03-28
56 LLM:Agent Skill与状态管控的工程化定论 2026-04-03
57 LLM:代码智能体入门核心概念界定与三大关键组件详解 2026-04-05
58 LLM:OpenClaw 一个月观察 2026-04-07
59 LLM:多模态模型规模误区与分工协作架构解析 2026-04-07
60 LLM:长会话体验差异的拆解——Claude Code与OpenClaw上下文管理策略对比 2026-04-08

AI Agent 的发展经历了从"能跑"到"能治、可控、可规模化"的演进。在这一过程中,Harness Engineering 作为管理 Agent 外循环的工程体系,成为解决 Agent 不可控、不可靠问题的关键。

一、行业演进的五个阶段

AI Agent 的发展可以划分为五个阶段:

生成阶段(2022-2023):ChatGPT 出现,核心是 Prompt Engineering,模型能说不能做。

连接阶段(2023-2024):插件、Function Calling 出现,模型能调用工具,但连接混乱、难扩展。

推理阶段(2024):o1 等推理模型登场,MCP 协议统一工具连接,Context Engineering 兴起。

行动阶段(2025):Agent 爆发,但长任务易崩溃、失忆、乱输出、累积垃圾代码。

治理阶段(2026):Harness Engineering 正式成型,解决 Agent 不可控、不可靠问题。

二、Harness 的核心定义

Harness 是 Agent 的外循环控制系统,负责以下核心功能:

  • 状态管理:跨会话不失忆
  • 任务分解:将复杂任务拆解为可执行的子任务
  • 工具编排:协调多种工具的调用顺序
  • 结果验证:确保 Agent 输出符合预期
  • 反馈闭环:建立有效的修正机制
  • 熵增抑制:清理冗余代码、过期文档
  • 人机交接:定义何时自主、何时交由人类处理

评估 Agent 能力,等于模型能力加上 Harness 能力。模型能力决定了 Agent 能做什么,而 Harness 能力决定了 Agent 能可靠地完成什么。

三、Harness 要解决的五大根本问题

状态持久:跨会话不失忆,用外部工件(文件、清单)存进度。Agent 在长任务执行过程中,需要能够持久化当前状态,避免因上下文耗尽而丢失进度。

目标一致:防止任务漂移,明确"什么叫完成"。Agent 需要清晰的完成标准,避免在执行过程中偏离原始目标。

行动可验证:不让模型自己判卷,用外部校验机制。Agent 不应自行判断输出是否正确,而应依赖外部验证机制。

熵增抑制:清理 AI 冗余代码、过期文档,保证长期稳定。随着 Agent 不断执行任务,系统会积累大量冗余信息和过时内容,需要定期清理以维持系统稳定性。

人机边界:定义何时自主、何时交人,避免失控。需要明确划定 Agent 的自主权限范围,在关键节点引入人类判断。

四、Harness 六大核心构件

持久状态面:用 feature list、进度文件实现跨会话续航。通过外部存储系统维护 Agent 的执行状态,确保长周期任务的可连续性。

任务分解与规划:Planner、Generator、Evaluator 三角色拆分长任务。Planner 负责规划执行路径,Generator 负责生成具体行动,Evaluator 负责验证结果。

反馈闭环:前馈引导(Guides)加上后置感知(Sensors),双层校验。前馈引导在行动执行前提供方向指导,后置感知在行动执行后收集反馈信息。

可感知性:让 Agent 能"看见"日志、指标、架构、文档。Agent 需要能够访问系统状态信息,以便做出更准确的决策。

工具中介:基于 MCP 协议,用代码间接调用工具,不挤占上下文。通过 MCP 统一管理工具调用,避免工具调用占用过多上下文空间。

熵控系统:定期重构、文档对齐、架构强约束,防系统腐化。建立系统性的维护机制,防止系统随时间推移而逐渐退化。

五、范式迁移:从指令驱动到意图驱动

过去,人给精确指令,Agent 按指令执行。这种模式要求人类对任务细节有完整了解,且指令必须精确无误。

现在,人给目标,Agent 自主执行。人类只需描述期望结果,Agent 负责规划实现路径。

Harness 就是意图时代的"操作系统层",负责任务治理、安全、资源调度。它定义了 Agent 执行任务的框架,确保在追求目标的过程中保持可控性。

六、关键定位

Harness 不是长 Prompt,不是框架,是工程学科。Prompt 是输入形式,框架是代码结构,而 Harness 是一套完整的工程体系,包括状态管理、验证机制、反馈系统等多个维度。

Harness 是 AgentOS 的用户态实现,负责任务治理;AgentOS 负责底层调度。两者分工明确,共同支撑 Agent 的可靠运行。

一个反直觉的结论是:模型越强,越需要 Harness,而非越不需要。强大模型意味着更强的自主行动能力,如果缺乏有效的约束机制,失控风险也更高。

七、行业结论

Harness Engineering 将成为 AI 工程基石。随着 Agent 应用的普及,如何确保 Agent 可靠、可控地运行,将成为工程实践的核心问题。

竞争壁垒从模型迁移到 Harness 设计。当模型能力趋于同质化时,Harness 设计的优劣将成为产品差异化的关键。

工程师角色从写代码变为设计自治系统、构建反馈与约束。未来的 AI 工程师需要具备系统思维,能够设计复杂的反馈与约束机制。

未来是:Agent 自主干活,Harness 确保靠谱。Agent 负责执行具体任务,Harness 负责治理与保障,两者协同实现可靠的人工智能应用。

参考文献

[1] lencx. 深度解析:Harness Engineering[EB/OL]. (2026-04-03)[2026-04-12]. https://mp.weixin.qq.com/s/-mgf8K7XZrTKoD0pMOIn3w.

[2] Anthropic. Building Effective Agents[EB/OL]. (2024-12)[2026-04-12]. https://www.anthropic.com/engineering/building-effective-agents.

[3] Anthropic. Effective context engineering for AI agents[EB/OL]. (2025)[2026-04-12]. https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents.

[4] Hashimoto M. My AI Adoption Journey[EB/OL]. (2026-02-05)[2026-04-12]. https://mitchellh.com/writing/my-ai-adoption-journey.

[5] OpenAI. Harness Engineering: Leveraging Codex in an Agent-First World[EB/OL]. (2026-02-11)[2026-04-12]. https://openai.com/index/harness-engineering.

[6] Fowler M. Harness Engineering - first thoughts[EB/OL]. (2026-04)[2026-04-12]. https://martinfowler.com/articles/exploring-gen-ai/harness-engineering-memo.html.

[7] Anthropic. Demystifying evals for AI agents[EB/OL]. (2026)[2026-04-12]. https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents.

LLM 系列导航

1 LLM:Function Call(1)从传统工具调用到函数驱动 2020-09-08
2 LLM:关注因果推断研究进展 2023-06-22
3 LLM:人机协作 2024-05-19
4 LLM:分层管理风险定性 2024-08-08
5 LLM:FN分层分析与提升空间测算(1) 2024-09-12
6 LLM:FN分层分析与提升空间测算(2) 2024-09-12
7 LLM:FN分层分析与提升空间测算(3) 2024-09-12
8 LLM:FN分层分析与提升空间测算(4) 2024-09-12
9 LLM:FN分层分析与提升空间测算(5) 2024-09-12
10 LLM:推理不可复现的探索 2025-06-11
11 LLM:SFT 与 RL 的关系 2025-07-29
12 LLM:SFT 与 RL 的关系(理论修正与实践补充) 2025-07-30
13 LLM:SFT 与 RL 的关系(理论修正与实践补充II) 2025-07-31
14 LLM:表格数据特征工程(1)核心方法与框架 2025-08-03
15 LLM:表格数据特征工程(2)低数据场景的决策树生成 2025-08-03
16 LLM:表格数据特征工程(3)落地冷启动 2025-08-03
17 LLM:表格数据特征工程(4)线性可分性与模型选型 2025-08-03
18 LLM:撰写大模型落地提示词的关键 2025-08-27
19 LLM:从 Prompt 设计到工作流落地 2025-08-28
20 LLM:RL's Razor 抗遗忘 2025-09-04
21 LLM:RL's Razor 抗遗忘(4)on-policy认知误区 2025-09-04
22 LLM:RL's Razor 抗遗忘(5)RL在线生成样本 2025-09-04
23 LLMRL's Razor 抗遗忘(2) 2025-09-04
24 LLMRL's Razor 抗遗忘(3)SFT 与 RL 的认知偏差及应用 2025-09-04
25 LLM:MuseGraph融合GNN与LLM的通用图挖掘新框架 2025-09-05
26 LLM:幻觉成因与解决 2025-09-08
27 LLM:Agent 逻辑与应用场景 2025-09-23
28 LLM:拆解大模型缩放定律失效的三重分解 2025-10-05
29 LLM:近似on-policy数据抗遗忘 2025-10-21
30 LLM:近似on-policy数据抗遗忘(2)Iterative-SFT 2025-10-21
31 LLM:幻觉治理 2025-10-28
32 LLM:先验偏见(1)变量名带偏判断 2025-11-13
33 LLM:先验偏见(2)分层分析应对 2025-11-13
34 LLM:先验偏见(3)实验效度的场景化适配 2025-11-13
35 LLM:分层落地 2025-11-13
36 LLM:零样本在金融场景落地 2025-11-13
37 LLM:跨难度泛化的局限与量化 2025-11-26
38 LLM:重复提示词解锁非推理性能上限 2025-12-17
39 LLM:用失败样本提升指令遵循能力 2025-12-29
40 LLM:概率引导的高价值信号筛选 2026-01-14
41 LLM:低成本安全检测的级联方案 2026-01-16
42 LLM:定性编码的假阳性解决方案 2026-01-16
43 LLM:先验偏见(4)挑战与落地解决方案 2026-01-22
44 LLM:先验偏见(5)工程化方案 2026-01-22
45 LLM:先验偏见(6)递进式优化与工程化落地 2026-01-22
46 LLM:SimRL(1)分层评估 2026-02-03
47 LLM:SimRL(2)理论逻辑与工程落地 2026-02-03
48 LLM:SimRL(3)质量评估与落地优化 2026-02-03
49 LLM:MCP vs Skills 核心差异 2026-03-22
50 LLM:OpenClaw 消息渠道配置实践 2026-03-22
51 LLM:OpenClaw 检索架构的工程实现与设计逻辑 2026-03-24
52 LLM:OpenClaw 的Memory原生架构与Agent发展方向 2026-03-24
53 LLM:Coze云端开发环境初始化与504超时问题排查 2026-03-28
54 LLM:OpenClaw 微信 ClawBot 插件配置指南 2026-03-28
55 LLM:OpenClaw 记忆系统:三级架构的正确理解 2026-03-28
56 LLM:Agent Skill与状态管控的工程化定论 2026-04-03
57 LLM:代码智能体入门核心概念界定与三大关键组件详解 2026-04-05
58 LLM:OpenClaw 一个月观察 2026-04-07
59 LLM:多模态模型规模误区与分工协作架构解析 2026-04-07
60 LLM:长会话体验差异的拆解——Claude Code与OpenClaw上下文管理策略对比 2026-04-08