JEV - 반토큰 장부는 이것을 먼저 내지 않는다

기존 연구소는 Jev를 만들 수 있습니다. 장부는 생성량으로 과금하고, 조직은 모델과 업무를 나누므로 그들이 먼저 만들지 않습니다. 먼저 만드는 사람은 가격표를 거꾸로 쓸 수 있어야 합니다.

JEV - 반토큰 장부는 이것을 먼저 내지 않는다

공동 작성자: folkbench.com (Folkbench는 AI API, 모델 서비스, 관련 사이트를 위한 검증 가능한 평가·선택 플랫폼입니다. 공개된 서비스 정보, 가격, 가용성, 지연, 증거 구간을 바탕으로 사용자가 경로를 비교하고 고를 수 있게 합니다.)

이 시리즈는 열 편입니다:

공학 쪽에서 보면, 기존 연구소는 Jev를 만들 수 있습니다. 새로운 연산자도 없고, 다른 사람은 구할 수 없는 가중치 파일도 없습니다. 이것은 업무 상태와 닫힌 판단을 하나의 제품으로 거두는 것입니다. 팀의 절반과 몇 주면, 돌아가는 판을 만들 수 있습니다. 기술적으로는 성립합니다.

조직과 장부 쪽에서 보면, 그들은 먼저 만들지 않습니다. 이것은 크리스텐슨이 적어 둔 딜레마입니다. 만들 수 있는 것과, 자기 이익을 써서 만들 마음이 있는 것은 같은 사실이 아닙니다.

공학이 어려운 부분은 아니다

RAG나 여러 Agent의 상태 기계를 만들어 본 사람은, Jev가 장면을 눌러서 이기는 것이 아님을 봅니다. 그것은 “추론 출력”을 하나의 분포로 내립니다.

생성 경로는 이렇습니다. 사용자가 필요를 말하고, 모델이 긴 텍스트나 코드를 쓰며, 사람이나 다음 Agent가 그것을 해석합니다.

Jev의 경로는 이렇습니다. 시스템이 먼저 상태를 뽑고, 모델은 닫힌 질문에만 확률을 매기며, 단단한 분기는 코드로 돌아가고, 그다음 결과가 돌아옵니다.

연구소는 몇 사람을 빼서 내부 실험을 돌릴 수 있습니다. 그것이 핵심 가격표에 들어가지 않는 것은, 가격표의 방향이 반대이기 때문입니다.

token 장부는 거꾸로 쓰여 있다

기존 업체의 생성 사업은 API로 팔든 좌석으로 팔든, 하나의 가정에 톱니가 물립니다. 더 생성할수록 매출이 커진다. 내부 질문은 거기에 맞춰 자랍니다. 보고를 어떻게 더 길게 할까. 사고의 연쇄를 어떻게 한 바퀴 더 돌릴까. 맥락을 어떻게 100만 token, 그다음 200만 token까지 늘릴까.

Jev는 반대로 갑니다. 시스템을 가로지르는 비교에서 이력 전체를 대화 모델에 넘기면, 입력은 수만 token, 출력은 수천 token이 될 수 있고, 한 번 호출은 몇 센트가 될 수 있습니다. 상태를 먼저 짜고 닫힌 질문만 물으면, 입력은 수백 token까지 줄고, 출력은 과금되지 않습니다. 공개된 입력 가격은 100만 token당 $0.042입니다. 격차는 몇 퍼센트가 아닙니다.

클라우드 부문에게 검토의 문장은 이렇습니다. 같은 일은 여전히 되고, 고객이 여기서 태우는 token은 훨씬 적습니다. 이것은 부문 자신의 매출을 잡아먹습니다. 자원은 token을 더 쓰는 프로젝트로 흐릅니다. 출력을 바짝 말리는 것은, 지금의 평가표에서 이익률이 낮은 가장자리처럼 보입니다.

깨뜨리는 것은 종종 이렇게 시작합니다. 단가가 낮고, 가장자리 노드를 섬기며, 기존의 손익계산서는 그것을 존중하지 않습니다. Jev는 그 움푹한 곳에서 위로 자랍니다. 기존 업체는 눈이 먼 것이 아닙니다. 장부가 그들이 먼저 움직이지 못하게 합니다.

사람과 시선이 만나지 않는다

더 조용한 장벽이 있습니다. 기존 업체의 일은 종종 갈라져 있습니다.

  1. 모델 쪽은 손실, 순위표, 맥락 길이, 처리량을 봅니다. 모든 문제에 “모델이 더 세졌다”고 답합니다.
  2. 업무 쪽은 결정적인 코드, 거래, 작은 서비스를 봅니다. 모델은 검은 상자입니다. 쓰지 않거나, 통째로 삼킵니다.

관절에는 세 번째 종류의 사람이 필요합니다. 그들은 진흙 같은 업무 시스템을 써 왔고, 모델이 확률적 귀납에는 세고 정규식이나 계산기로 쓰면 약하다는 것을 압니다. 어디서 자를지도 압니다.

  • 모델이 프로그램 전체를 생성하게 하지 마십시오. 갈림에서 한 번만 분류하게 하십시오.
  • 모델이 맥락 전부를 쥐게 하지 마십시오. 먼저 맥락을 열거로 줄이십시오.
  • 골격은 코드로 남습니다. 모델은 관절에서만 길을 나눕니다.

이렇게 깨끗이 잘린 조직에서, 이 일은 누구의 본분도 아닙니다. 알고리즘은 너무 업무라고 하고, 업무는 불확실하다고 합니다. 작은 팀에서는 두 시선이 아직 같은 사람에게 겹치고, 제품이 모아집니다.

파괴는 낮은 곳에서 시작된다

대형 컴퓨터는 개인용 컴퓨터를 보고 이익이 얇은 장난감이라 여겼습니다. 통신사는 즉시 메시지를 보고 그것이 SMS를 먹는다고 여겼습니다. 오늘의 잔치는 계산을 팔고, token을 팔고, 매개변수 수를 견주는 일입니다.

Jev가 가리키는 것은 다른 문장입니다. 대규모 사용은 token이 더 비싸지는 곳에서 일어나지 않을 수 있습니다. token이 바짝 짜이고 판단이 다시 기반 시설이 되는 곳에서 일어날 수 있습니다.

기존 업체는 만들 수 있습니다. 그들은 대체로 옛 이익이 한 차례 갉아먹힐 때까지 기다렸다가, 같은 싸움으로 끌려갈 것입니다. 먼저 만드는 사람은 가격표를 거꾸로 쓸 수 있는 사람입니다.

시리즈