Agent 的运行形态是一个 loop:LLM 决定做什么、工具执行、模型评估结果、继续循环直到任务完成。早年 agent 和 LLM 很难接进正经软件——后者要结构化数据和可预期接口,后来两个原语解决了大半问题:tool calling 让模型发结构化请求收结构化结果,structured output 让模型返回结构化结果。
但 loop 的硬伤还在:每个决策都是一次完整模型调用 ,慢且贵。
#Jev 是什么
LangChain 工程师 Sydney Runkle 这篇文讲的是怎么把 TypeSafe AI 的 Jev 接进这个 loop。先对齐概念:Jev 不是传统 LLM,不生成文本——它是 TypeSafe 所说的 System One model :评估一段状态,返回类型化的答案和概率,用 RLCD(面向校准决策的强化学习)训练。公司口径是比同级 LLM 快 200 倍、便宜 400 倍。
调用方式是给它一个 state (上下文)加若干 questions ,支持三种题型:
- Choice :从一组选项里挑,返回每个选项的概率和整体置信分
- Score :按有序等级打分(低/中/高),返回连续分数、底层分布和置信值
- Noul :是非题,返回"该陈述为真"的概率
关键特性:同一 state 可以在一次请求里问多个问题,全部并行评估 ——加问题几乎不改变响应时间,成本只多那一点问题 token 的钱。文档里的工单例子:对一条消息判"是否紧急",返回 99.9% 概率,应用直接拿去排优先级。
#在 LangChain 里怎么用
LangChain 的 provider 无关模型适合接这种新模型。集成通过 langchain-typesafe 包暴露 TypeSafeClassifier:把 state 和 questions 传给 .invoke(),拿到的是分类结果而不是聊天回复。state 可以是文本、结构化数据、或 LangChain 消息——意味着可以直接从 node 或 middleware hook 里拿 agent 已有的上下文调它,也可以包进自定义 middleware 或工具。
#不是替代,是分工
作者的定位很明确:Jev 不是 LLM 的平替,它不生成文本,但能接管我们今天其实一直在让 LLM 兼职做的分类任务——而且不用付那份延迟和成本。LLM 管开放式推理和生成,Jev 管 loop 沿途的快速结构化决策 ,两个已经落地的场景:
模型路由(model routing) 。简单查询不需要和困难调试任务用同一个模型。routing middleware 让 Jev 先评估请求、按你定义的标准选模型——简单活给便宜模型,复杂活给强模型。概率和置信分留在 agent state 里,后面的环节还能用。
Auto Mode:危险动作拦截 。agent 天然不可信——坏指令(笔误或蓄意攻击)可能说服它做不想让它做的事。claude、codex、cursor 这些 coding harness 都内置了某种"执行前分类危险动作"的机制,慢慢建立了信任——但这个分类器一直锁在闭源 harness 的私有实现里 。现在有了便宜高性能的分类器模型,同一模式可以挂到任何 agent 上:AutoModeMiddleware 用 Jev 检查工具调用里的高风险决策,在工具执行前拦下。
#背景补充
这篇文发在 Jev 发布三天内——TypeSafe 开放早期访问后反响很大,已经有人在用:Browserbase 的 Kyle Jeong 用它驱动浏览器 agent,单次成本压到几分之一美分;Jarrod Watts 做了实时交易 agent;Ryan Vogel 在做大规模邮件分诊。
把两篇连起来看更清楚:TypeSafe 造的是一个"只做决策不写字"的模型,LangChain 这篇给的是它在 agent 架构里的真实插槽——middleware 钩子点上,每个需要判断但不需要生成长文的环节,都是 Jev 的潜在工位。