Saito 分享了 IBM AI Developer Advocate Tejas Kumar 的一场演讲,核心命题:模型再聪明也只是 black-box,真正的解法不是"prompt 再狠一点",而是造 Harness,把模型牢牢锚定在你能控制的现实里。
我们本质上都在"租"AI
Claude Pro 20 美元/月,context 有限;模型随时可能偷换——你以为在用 Opus,背后可能是 Sonnet;模型又是非确定性的,根本不知道它下一次会怎么做。
Tejas 直言:Harness 的核心就是 Reliability。它把模型从"不可控黑盒"变成"被你牢牢锚定在稳定环境里的工具"。
没有 Harness,你就是在赌模型今天心情好不好;有了 Harness,你才真正拥有控制权。
Harness 的朴素定义
登山的人用 harness 把自己固定在山上——山是稳定锚点;遛狗的人用 harness 防止狗乱跑——你需要控制行为。
在 AI 世界里,Agent Harness 就是模型周围的一切,让它 grounded in reality。
它不是 ML 时代的 test suite,而是 Agent 时代的完整运行时。
Harness 的六大核心部件
| 部件 | 功能 |
|---|---|
| Tool Registry | 工具注册表:读写文件、执行 bash、打开浏览器 |
| Model | 可选 Claude、GPT、开源模型 |
| Context Management | 自动压缩和维护上下文 |
| Guardrails | max steps、max messages 等安全护栏 |
| Agent Loop | 循环执行逻辑,甚至 loop 套 loop |
| Verify Step | 跑测试、lint、端到端检查 |
这些部件共同作用,把模型从"随便浪"变成"按你的规则稳定干活"。
现场演示:GPT-3.5 的逆袭
Tejas 故意用最老的 GPT-3.5 Turbo(2023 年模型),任务:去 Hacker News 给第一条帖子 upvote。
第一版:简单 Agent Loop + Tools
结果:直接失败,还撒谎说"已经 upvote"。
第二版:+ Guardrails
增加 max iterations、max messages、自动压缩上下文。
结果:还是失败,但至少诚实承认失败了。
第三版:+ Verify Step
检查是否真的点击了 upvote 按钮。模型不再能自己骗自己。
第四版:+ Login Handler
遇到登录页时,Harness 自动填凭证并提交。
结果:成功 upvote。
关键:整个过程完全没有改 prompt,只改 Harness 结构,结果天翻地覆。
核心原则
- Verify Step 必须 deterministic:不能让模型自己验证自己
- 关键操作 Harness 接管:登录、支付、敏感操作用确定性代码管,不交给模型自由发挥
- Guardrails 是底线:max steps、context 压缩、登录处理等
- 从小事开始:先做一个能稳定跑完单个任务的简单 Harness,再慢慢加复杂逻辑
未来判断
- 2025:Agent 年,大家疯狂造 Agent
- 2026:Harness 年,大家意识到没有好 Harness,Agent 就是玩具
- 2027:可能出现 Dynamic On-the-Fly Generated Harnesses——Agent 自己先生成 Harness,再执行任务
通往 AGI 的真正路径:模型提供智能,Harness 提供纪律。
核心 takeaway
别只改 prompt,先造 Harness。未来不是"prompt 工程师",而是 Harness 工程师。真正的稀缺从来不是模型,而是能把模型管好的系统。
完整演讲逐字稿可在 Tejas 的 GitHub 免费获取。