编者摘要：Jev 是 TypeSafe AI 推出的 System One 模型，由 ChatGPT 联合发明人 Diogo Almeida 团队基于 RLCD 训练。它并非传统生成式 LLM，不输出文本，专门负责快速结构化判定——在分类任务上，推理速度最高可提升 200 倍、成本降低 400 倍。
Jev 接收状态上下文，支持三类判定：多选选择（Choice）、打分（Score）、布尔是非（Noul），单次请求即可并行执行多条判断，新增问题几乎不增加延迟。它被定位为 Agent 主 LLM 的互补组件：LLM 负责开放式推理与文本生成，Jev 承担低成本前置判断。
LangChain 提供 langchain-typesafe 集成包，以中间件形式接入 Agent。典型场景有两个：模型路由（按请求复杂度自动分配高低能力模型）与安全防护 AutoMode（在 bash 等高风险工具调用前校验、拦截危险操作）。目前已有浏览器 Agent、交易智能体、大规模邮件分拣等落地案例。它虽然不能替代 LLM 做生成任务，但有效解决了传统 Agent 循环每一步都调用 LLM 所带来的高延迟与高成本问题，把原本闭源内置的 Agent 安全护栏能力开放并通用化。
5 个关键 Q&A
Q1：Jev 是大语言模型吗？
A1：不是。它属于 System One 判定模型，不生成文本，只输出带概率的结构化判断结果。
Q2：Jev 在 Agent 循环里解决什么核心痛点？
A2：传统 Agent 每一步决策都调用 LLM，延迟高、费用贵。Jev 承接轻量分类判断，减少 LLM 调用次数，大幅降低时延与成本。
Q3：Jev 支持哪些判断类型，有什么独特优势？
A3：支持 Choice 多选、Score 打分、Noul 是非三类。核心优势是同一状态下一次请求并行跑多条问题，增加问题几乎不增加响应时间。
Q4：LangChain 如何使用 Jev 做 Agent 安全防护？
A4：通过 AutoModeMiddleware 中间件，在 bash 等高风险工具执行前，调用 Jev 做风险分类，提前拦截危险动作。
Q5：Jev 可以完全替换 Agent 里的 LLM 吗？
A5：不能。Jev 无文本生成能力，适合结构化判定；LLM 负责开放式推理、内容生成，二者是互补关系。
附录：基于 Jev 构建 Agent 执行框架
智能体（Agent）以循环方式运行：大模型（LLM）决定下一步操作 → 工具执行动作 → 模型评估执行结果，然后继续循环，直到任务完成。
过去，Agent 和大模型很难集成到软件应用里——软件依赖结构化数据与可预测接口。后来诞生了两项基础能力，大幅降低了集成难度：
- OpenAI 的函数调用与 API 更新，让模型能够发起结构化请求、接收结构化返回结果；
- 模型输出结构化结果的技术方案。
但即便有了以上能力，Agent 循环依然慢、成本高：每一次决策都要单独调用一次大模型。
这时 Jev 登场了。Jev 是一款全新模型，由 TypeSafe AI 推出。该公司宣称：在分类任务上，其推理速度最高可达同类大模型的 200 倍，成本最多降低 400 倍。
Diogo Almeida（ChatGPT 联合发明人）表示：在参与发明 ChatGPT 之后，他一直在思考一个问题——为什么超强对话模型并没有催生通用人工智能（AGI）？过去两年，他在隐秘状态下研发了一套全新模型训练方法 RLCD，以及一类前沿 AI 模型，如今正式发布为 Jev，速度提升 20~200 倍，成本降低 40~400 倍。
本文介绍 Jev 的工作原理、它在 Agent 循环中的定位，以及如何将它和 LangChain 一起使用。
关于 Jev
Jev 并不是传统大语言模型，它不生成文本。TypeSafe AI 将其称为 System One（系统一号）模型：
System One 模型是一类专门用于快速输出结构化决策、可直接被软件调用的 AI 模型。它接收状态（State），输出带概率的类型化答案。
它使用 RLCD 方法训练。你的代码可以直接使用它的输出，指导智能体下一步行为，不需要每做一次决策就调用完整对话大模型。
调用 Jev 时，你传入一个状态（上下文），以及针对这个状态提出的问题。下面是官方快速入门里工单示例的单问题版本：
{
"model": "jev-latest",
"state": "你好，我尝试绑定Stripe账户已经3天，一直失败，订单流失了，请尽快处理。",
"questions": {
"is_urgent": {
"type": "noul",
"instructions": "该消息是否传递紧急、对时间敏感的诉求"
}
}
}
文档示例返回的紧急性结果（省略其他字段）：
{
"is_urgent": {
"type": "noul",
"noul": 0.999
}
}
结果含义：这条消息为紧急消息的概率是 99.9%，应用程序可据此对工单做优先级排序。
Jev 支持三类任务类型：
- Choice（选项选择）：从候选集合中挑选，返回每个选项概率 + 整体置信分。
- Score（打分）：按等级对输入打分（低 / 中 / 高这类有序层级），返回连续分值、底层分布与置信度。
- Noul（是非判断）：回答布尔类问题，返回陈述成立的概率。
核心亮点：同一个状态下，一次请求可以并行提问多个问题。
💡 System One 会并行处理请求里的全部问题。增加问题数量几乎不增加响应耗时；只会收取新增问题对应的 token 费用，而且 token 很便宜。
你可以参考官方快速入门，查看针对客服工单一次性提交多问题的完整请求样例。
总结：和传统 LLM 不同，Jev 不受文本生成、串行决策的限制。
在 LangChain 中使用 Jev
LangChain 是模型无关的框架，非常适合接入 Jev，和其他上千种模型服务商共存。LangChain 通过 TypeSafeClassifier 封装 Jev。你把状态、问题传入 .invoke()，拿到分类结果，而不是对话文本。
安装 langchain-typesafe，配置环境变量 TYPESAFE_API_KEY，即可调用：
from langchain_typesafe import Noul, TypeSafeClassifier
classifier = TypeSafeClassifier()
response = classifier.invoke(
state=(
"部署连续两次失败，客户页面出现500错误。"
"现在需要有人立刻排查！"
),
questions={
"urgent": Noul(
instructions="这件事是否需要立刻处理？"
),
},
)
urgency = response.nouls["urgent"].noul
state 可以是纯文本、结构化数据，或是 LangChain Message 对象。这使得你能很方便地在 Agent 节点 / 中间件钩子中，复用 Agent 已有的上下文调用 Jev。
你可以将它嵌入自定义中间件或者工具。
适用场景
Jev 不能直接替代 LLM，它不会生成文本。但它可以承接原本需要 LLM 完成的各类分类任务，延迟和成本远低于 LLM。定位：作为 Agent 主模型的补充模型——用 LLM 做开放式推理、文本生成；用 Jev 做路径上快速结构化决策。
1. 模型路由 Model Routing
简单查询任务不需要和复杂调试任务使用同一个模型。Jev 评估用户请求，按你定义的规则自动选择模型：简单任务选用低成本快速模型，复杂高风险任务选用能力更强的大模型。
from langchain.agents import create_agent
from langchain_typesafe.experimental.middleware import(
ModelChoice,
ModelRouterMiddleware,
)
router = ModelRouterMiddleware(
choices={
"fast": ModelChoice(
model="openai:luna",
criteria="直接查询、信息提取、局部修改类任务"
),
"powerful": ModelChoice(
model="openai:sol",
criteria="架构类、高风险重大决策任务"
),
},
instructions="选择能完成任务的成本最低模型。",
)
agent = create_agent("openai:gpt-5.6-luna", middleware=[router])
路由会基于最新用户消息选择模型，并在整个任务执行期间使用；概率与置信度信息也会保存在 Agent 状态中。
2. AutoMode 自动安全防护
Agent 本身天然不可靠。Agent 可能收到恶意指令（自然输入或攻击者构造），诱导它执行非预期操作。
像 Claude、Codex、Cursor 这类代码执行沙箱（harness），都内置了危险动作分类器，在动作执行前做风险判断，逐步提升 Agent 可信度。在此之前，这类分类器都封闭在沙箱闭源组件内部。
现在有了低成本高性能的 Jev，我们可以把这套安全机制普及到所有 Agent。
from langchain.agents import create_agent
from langchain_typesafe.experimental.middleware import(
AutoModeMiddleware,
)
guardrail = AutoModeMiddleware(tools=["bash"])
agent = create_agent("openai:gpt-5.6-luna", middleware=[guardrail])
AutoMode 中间件利用 Jev 在工具调用执行前，对风险决策进行校验，拦截高危调用。
开始上手
我们对 Jev 带来的可能性感到非常兴奋。已经看到一些有趣项目：
- Browserbase 基于 Jev 构建浏览器智能体，单次调用成本不足 1 美分；
- 有人搭建了实盘交易智能体；
- 大规模邮件分拣系统。
每周都有新模型发布，但 Jev 引发了极大反响。期待大家基于 LangChain + Jev 开发更多应用。欢迎在 LangChain 论坛、X 平台讨论，或者到 GitHub 提交作品反馈。
要点提炼
1. Jev 本质定位
- 不是生成式 LLM，System One 判定模型：输入状态，输出带概率的结构化布尔 / 选择 / 打分结果，不输出文本
- 训练方法：RLCD，由 ChatGPT 联合发明人 Diogo Almeida 团队打造
- 优势：分类任务最高 200 倍加速，成本最高下降 400 倍；支持多问题并行评估，增加问题几乎不增加延迟
2. 在 Agent 架构里的角色（非常关键）
传统 Agent 循环瓶颈：每一步决策都调用 LLM，昂贵且慢。
新架构分工：
- ✅ LLM：复杂推理、文本生成、开放式思考（System Two 慢思考）
- ✅ Jev：轻量结构化判断（System One 快直觉）
用途：路由选择、风险护栏、工单分级、意图分类，嵌入中间件，在工具执行前做快速校验。
3. LangChain 集成方式
以中间件（middleware）形式嵌入 Agent 链路：
ModelRouterMiddleware：动态模型路由AutoModeMiddleware：工具调用风险防护（安全护栏 / guardrail）
4. 适用边界
- ❌ 不能写代码、写文案、开放式推理
- ✅ 适合：意图识别、优先级判定、风险分类、内容打分、多选分支判断
5. 创新点
以往 Agent 安全护栏都是厂商闭源内置；Jev 把高速分类能力开放出来，所有 Agent 都可以外挂低成本风险校验层，在调用 bash 等高危工具前拦截危险动作。
发表于 昨天 19:08
|
查看: 2|
回复: 0
