JEV - 反 Token 经济学:大厂为什么不先做

大厂做得出 Jev。账本按生成量计费,组织又把模型和业务切开,所以他们不先做。先做的人得肯把价目写反。

JEV - 反 Token 经济学:大厂为什么不先做

联合作者:folkbench.com (Folkbench 是面向 AI API、模型服务及相关站点的可复核评测与选择平台,依据已发布的服务资料、价格、可用性、延迟与证据窗口,帮助用户比较并选择使用路径。)

这一组共十篇:

从工程上看,大厂做得出 Jev。没有一种新算子,也没有一份别人拿不到的权重。它是把业务状态和封闭判断收成一种产品。半个小组、几周,做出一个能跑的版本,技术上成立。

从组织和账本上看,他们不先做。这是克里斯坦森写过的那种窘境:能做,和愿不愿意用自己的利润去做,不是同一件事。

技术上不难

搭过 RAG、写过多智能体状态机的人看得出,Jev 不是靠把场景压服。它是把“推理输出”降到一张分布。

生成式产品的路径是:用户说出需求,模型写下大段文本或代码,人或下一个智能体再去解析。

Jev 的路径是:系统先抽出状态,模型只在封闭题上给概率,硬分支回到代码,再返回结果。

实验室抽几个人,做一个内部实验,做得到。它进不了核心价目,是因为价目的方向反了。

卖 token 的账本写反了

大厂的生成式业务,无论按 API 还是按席位,齿轮都咬在同一条假设上:生成得越多,流水越大。内部问题因此长成这样:怎样让报告更长,怎样让思维链多转几轮,怎样把上下文撑到一百万、两百万 token。

Jev 是反着的。一次跨系统的比对,如果把整段历史交给聊天模型,输入上万 token、输出上千 token,单次可以到几美分。把状态先挤干,只问封闭题,输入可以压到几百 token,输出不计费。公开的输入价是 0.042 美元 / 百万 token。量级上的差距不是百分之几。

对云部门来说,这个产品的汇报句是:同一件事还能做,客户在我们这里烧掉的 token 会少掉一大截。这是蚕食自己的收入。资源会流向更耗 token 的项目。把输出压干的东西,在现行考核里像低毛利的下沿。

破坏性的东西开始时常常就是这样:单价低,服务的是边缘节点,现有利润表看不起它。Jev 从这处洼地往上长。大厂不是盲,是账本不允许他们先动手。

人和视角对不上

还有一层更安静的壁垒。大厂的分工常常是切开的。

  1. 模型一侧看损失、榜单、上下文长度和吞吐。习惯用“模型更强”回答所有问题。
  2. 业务一侧看确定性代码、事务和微服务。把模型当黑盒:不用,或者整段接进来。

关节需要第三种人。他们写过泥泞的业务系统,也知道模型擅长概率归纳、不擅长被当成正则和计算器。这种人知道在哪里下刀:

  • 不必让模型生成整段代码,只让它在分支点上做一次分类。
  • 不必让模型装下全部上下文,先把上下文收成枚举。
  • 骨架仍是代码。模型只在关节上做路由。

在切得很开的组织里,这种工作两边都不算本职。算法觉得太业务,业务觉得不确定。小团队里两种视角还叠在同一个人身上,产品才收得拢。

破坏从低处发生

大型机看过个人电脑,觉得那是利润太薄的玩具。运营商看过即时通讯,觉得那在吃短信。今天的狂欢是卖算力、卖 token、比参数。

Jev 提醒的是另一句:大规模落地也许不发生在 token 越来越贵的地方,而发生在 token 被挤干、判断变回基础设施的地方。

大厂做得出。他们多半会等旧利润被啃过一轮,再被拉进同一场。先做的人,是肯把价目写反的人。

系列