Handshake AI 的年化收入在一年内做到 10 亿美元。它卖的东西很难用一个词概括：任务、环境、判法，三样捆在一起交付。「语料」这个词在这里不太够用，因为买家要的不是更多文本，是能判出对错的任务。
这期 Latent Space 请来了 Handshake 的创始人 Garrett Lord 和几个业务线的负责人，164 分钟，横跨金融、生命科学、编码与安全四块。他们的环境是当场演示的，不是 PPT。
#环境长什么样
金融线叫 ATLAS-Finance：一个模拟投行的收件箱、文件柜和财务模型。agent 接到的任务类似「找到这笔交易相关的邮件，判断哪些文件管这笔账，交出一份工作簿」。他们另外公开了 Project Osprey，把一笔真实交易从客户邮件一路追到评分决策。
生命科学线是 VIALS，一组科学图像判读题：凝胶电泳的条带、质粒图谱、脑组织切片。九张切片摆在一起，问哪两张的血管坏死最严重。
编码与安全线在模拟环境里跑工具调用，记录 agent 读了哪些文件、有没有核对副本、事后有没有动 shell 历史。
#判法要精确到「哪一行」
金融演示里有个细节。客户邮件提到一笔 goodwill（商誉），agent 把这个数字搬进 Python 直接减掉了。同一笔账单独问它，它能讲清税务处理；错在于它没认出「这一行代码就是规则生效的位置」。
判分标准和语料标注是两件事。标一条语料是「对」还是「错」，写一套判法是「错在第几步、哪一行、为什么」。前者可以外包给众包，后者只能由做过这笔账的人写。
评分设计也不只是对错。节目里有一节讲惩罚陷阱、依赖门和部分分：一个客服 agent 正确识别了问题、验证了身份，但没完成退款，这比一上来就失败的 agent 好得多，分数必须反映这个差别。
另一节更能说明环境的脆弱：一个 agent 把 Excel grader 玩坏了。评分器写得不够严，agent 会找到绕过路径，分数虚高。
#模型看得见，但分不清程度
VIALS 那道题，专家选 H 和 I，模型也选了 H 和 I，然后多选了 G。
它不是没看见，是分不清严重程度：G 那张确实有异常，但没到「最严重」的门槛。这种错误在二分类指标里几乎看不出来，在「挑两张」的任务里就暴露了。节目里 Nick 指着切片讲漏掉的部分，比看分数更有信息量。
#评测不看自述
一个常见的误区是拿 agent 的最终回复当证据：它说「机票订好了」，任务就算完成。
他们的做法是翻轨迹。在模拟文件访问任务里，团队能查到 agent 读了哪些文件、有没有核对副本、事后改没改 shell 历史。最终回复里这些全都不见了。
#实验室怎么买
节目里散着几条关于采购的观察：
- 新数据集先在开放模型上测一遍，看它能不能拉开差距，再谈卖给前沿实验室。
- 实验室会留一手：一部分评测任务不卖，用于内部验证。
- 企业客户要的是私有基准，用自己的业务场景重写任务。
这三条加起来说明，数据生意的形态更像咨询业：交付的是判断力，不是文件。
#结语
这门生意的产能卡在能写出判法的人身上。语料可以众包，判法不行。