Saneel 提出了一个简洁有力的判断:Agent traces are the new gold mine。
每次 Agent 运行都会留下一张地图:用户问了什么、Agent 调用了哪些工具、在哪里失败、碰了哪些文件、烧了多少上下文、是恢复了还是在原地打转。大部分这些数据几天后就消失了。Tracebase 把它留在本地,变得可用。
为什么 trace 数据重要
virtually ALL SOTA methods in applied AI 都是基于 Agent reasoning 数据构建的。例子包括:
- Thrive 和 OpenAI 在更好的税务 Agent 上的工作
- Applied Compute 在 Contextbase 上的工作
这不是 OpenTelemetry for agents。OTel 告诉你系统里发生了什么。Tracebase 是用于理解你的 Agent 做了什么工作:重复命令、浪费的上下文、失败的工具调用、恢复循环、危险的导出、token/成本模式、session 质量。
Tracebase 能回答的问题
- 我的 Agent 在哪里失败?
- 哪些任务浪费最多上下文?
- 哪些命令被重复执行?
- 哪些 session 在失败后恢复了?
- 哪些应该变成 evals?
- 我在哪里泄漏 token/金钱?
功能
Tracebase 接入 Claude 和 Codex 的 trace,导入本地 session,提供 dashboard 用于搜索、过滤、摘要、scorecards、trace trees、annotations、exports 和 safe packets。
- 不需要云摄入
- 不需要供应商账户
- 没有可观测性账单
更大的想法
如果你认真使用 Agent,你的 trace 历史会变成改善你工作方式的私有训练集。你可以:
- 发现反复出现的失败模式
- 构建回归测试
- 写更好的 prompt
- 决定哪些工作流值得自动化
可观测性平台如 Langfuse 和 Judgement Labs 很有用,但很多家庭开发者首先只需要本地版本:默认隐私、易于检查、运行便宜、与真实日常 Agent 使用配合、足够回答"为什么这个 Agent 失败了?"
Tracebase 就是 Saneel 为自己建的——介于原始终端历史和完整企业可观测性栈之间的那个东西。小而本地、可 hack、专注于通过 Agent 已经产生的数据让它们变得更好。