JEV - 关节不需要大脑

Jev 不写自由文本。封闭题进去,分布出来,放在规则写不尽、又不必先请聊天模型的关节上。系统分成规则、本能和智能三层。

JEV - 关节不需要大脑

联合作者:folkbench.com (Folkbench 是面向 AI API、模型服务及相关站点的可复核评测与选择平台,依据已发布的服务资料、价格、可用性、延迟与证据窗口,帮助用户比较并选择使用路径。)

这一组共十篇:

用一整座图书馆的算力,去判断一条狗听到铃声要不要流口水,这就是现在很多节点的形状。一个二分类:这句话该走中文发票,还是英文收据。挂上一个会长篇推理的模型之后,它先写几百个 token 的自我辩论,再吐出一行类别。时间耗在文本上,钱也耗在文本上。

生物早就给过答案。每抬一次腿都先让皮层做一遍微积分,草原上走不了三步。膝盖碰地,弯一下就行。

关节不需要大脑。关节只需要本能。

Jev 就是按这个位置切开的。它不生成自由文本。封闭问题进去,概率分布出来。

被文本拖住的判断

现在这批大模型慢、贵、在生产里像个行动迟缓的巨人,是因为它们被要求用自然语言同时完成思考和输出。你要的只是一个是非、一张分布、一个档位,它的路径却是:输入 token,隐层计算,再逐字解码,最后靠正则把答案从句子里抠出来。

每一个空格、每一个标点都在计费。自回归解码也不好并行。为了让它“只输出 JSON、不要解释”,提示词里还得再塞一截约束。像跑步的时候,每迈一步都先用羽毛笔写下“我正在迈左脚”。

生产系统里大多数微循环不需要这段文字。文字是给人看的。机器和机器之间,要的是概率。

不说话的反射

Jev 从设计上就没有那张嘴。一段 state 进去,它不去开启逐 token 的生成循环,而是在给定的封闭答案上分配概率。题型仍是三种,和后面几篇用的是同一套,不要听成别的东西:

  • 是非,Noul。回来的是“是”的概率,落在 0 到 1。不是空值,也不是拒绝信号。
  • 单选,Choice。选项事先给死,最多 255 项。列表里没有的,它不补。
  • 有序档位,Score。2 到 10 档,从低到高写成具体情形。

这像膝跳反射。锤子敲到韧带,信号不必先上传到皮层,小腿已经弹起来。不需要解释。需要的是收敛,以及能放进循环的速度。

公开材料给的端到端大约是 70 到 500 毫秒,输入 0.042 美元 / 百万 token,输出不计费。快的一头和慢的一头都在这个区间里,不要把它说成几毫秒的膝跳,也不要把它说成一次聊天。System One 的封闭判断上,智力和现有大模型差不多,速度差一到两个数量级。这句“差不多”只对封闭判断有效。

会聊天的模型坐在参谋部,负责把一场仗为什么要打说清楚。Jev 分布在指尖和膝盖上。流弹来的时候,头先偏过去。

三层,而不是两层

过去常把系统切成两截:写得尽的放进 if,写不尽的全部丢给会聊天的模型。模糊的节点因此把成本和延迟一起抬高。更符合这条产品的切法是三层:

       ┌────────────────────────────────────────┐
       │             3. 智能层                   │
       │    要展开推理、要生成文本、要对人说话    │
       └───────────────────▲────────────────────┘
                           │ 这一问拆不开,再升上去
       ┌───────────────────┴────────────────────┐
       │             2. 本能层(Jev)            │
       │    封闭题、有限选项、分布或档位          │
       └───────────────────▲────────────────────┘
                           │ 规则对不上,再交给本能
       ┌───────────────────┴────────────────────┐
       │             1. 规则层                   │
       │    边界写得尽的分支                      │
       └────────────────────────────────────────┘

规则层

骨骼。正则、语法树、写得尽的算法,都压在这里。微秒级的 CPU 指令,对上了就是对上了。

本能层

肌肉和关节。情绪的一点偏移、意图该进哪条队列、这句话放不放行、上下文还相不相关。规则写不尽,熟手却一眼有倾向。这种节点不再先去叫醒一个大脑。Jev 不写解释。它给出一个概率,或一整张分布。轻,才能铺进循环。

智能层

皮层。只有这一问在封闭题里仍然散、而且必须对人把话说完的时候,数据才升上去。思维链、长回复、多步计划,都留在这一层。给客户的那封信,不归关节写。

三层分开,不是把大模型从系统里请走。是不再用它去拧每一颗螺丝。

好工具会隐退

锤子趁手的时候,注意力在钉子上,锤子是手臂的延伸。锤子太重、太烫,或者每敲一下都要唱一段,它就从工具变成障碍。

过去几年的聊天模型太显眼。个性强,话多,节奏慢。嵌进齿轮组里,每一次啮合都带着黏稠的摩擦。

Jev 代表的是另一极:更窄,更快,更便宜,并且不要求人阅读它。一极仍然是参数很大的模型,在数据中心里做贵的思考。另一极像关节一样散落在协议、队列和传感器旁边。它们不解释自己。它们把收缩和舒张做完。

支撑住这套系统的,一直是那些不必思考的关节。

系列