관절에는 뇌가 필요 없습니다

공동 작성자: folkbench.com (Folkbench는 AI API, 모델 서비스, 관련 사이트를 위한 검증 가능한 평가·선택 플랫폼입니다. 공개된 서비스 정보, 가격, 가용성, 지연, 증거 구간을 바탕으로 사용자가 경로를 비교하고 고를 수 있게 합니다.)

이 시리즈는 열 편입니다:

• JEV - 관절에는 뇌가 필요 없습니다
• JEV - 제어 노드의 윤활제
• JEV - BERT에서 하나의 분포로
• JEV - 주문 대신 닫힌 질문을 설계한다
• JEV - 반토큰 장부는 이것을 먼저 내지 않는다
• JEV - 분포만 돌려주는 두 demo
• JEV - 루프에서 나가기: 확신도를 코드에 쓴다
• JEV - 선을 넘으면 더 똑똑함은 상품이 아니다
• JEV - 직관과 이성: 관절에 묻지 말 말
• JEV - 화면 조작에서 확률만으로

개가 종소리를 들으면 침을 흘려야 하는지를 정하려고 국립도서관 하나분의 계산을 쓰는 것, 그것이 지금 많은 노드의 모양이다. 일은 두 갈래다. 이 문장은 중국어 청구서 파서로 가는가, 영어 영수증 파서로 가는가. 사람들 앞에서 추론하기 좋아하는 모델을 걸어 두면, 몇백 token 의 논쟁을 쓰고 나서 라벨 하나를 내놓는다. 시간은 텍스트로 간다. 돈도 텍스트로 간다.

생물은 이미 답을 내놓았다. 걸음마다 피질이 계산을 끝내기를 기다리면, 초원을 건너지 못한다. 무릎은 땅에 닿아 구부러진다.

관절에는 뇌가 필요 없다. 관절에 필요한 것은 반사다.

Jev 는 그 자리에 맞게 잘려 있다. 자유 텍스트를 생성하지 않는다. 닫힌 질문이 들어간다. 분포가 나온다.

텍스트에 끌려가는 판단

지금의 큰 모델이 운영에서 느리고 비싼 것은, 생각과 말을 같은 자연어 고리 안에서 하도록 요구받기 때문이다. 원한 것은 예, 분포, 또는 한 단계였다. 돌아오는 경로는 이렇다. token 이 들어가고, 숨은 계산이 있고, token 을 하나씩 복호한 다음, 정규식이 문장 속에서 답을 집어낸다.

공백 하나도, 쉼표 하나도 청구서에 오른다. 자기회귀 복호는 깨끗하게 병렬화되지 않는다. 모델이 「JSON 을 내고 설명은 하지 말라」가 되게 하려면, 지시 안에 제약 한 덩어리를 더 넣어야 한다. 한 걸음마다 「지금 왼발을 내딛고 있다」라고 쓰고 나서 걷는 것과 같다.

운영 시스템의 작은 순환 대부분은 그 문단을 필요로 하지 않는다. 산문은 사람을 위한 것이다. 기계가 원하는 것은 확률이다.

말하지 않는 반사

Jev 는 설계상 입이 없다. 상태 한 조각이 들어간다. token 고리를 시작하지 않는다. 이미 적어 둔 닫힌 답 위에 확률을 나눈다. 질문 유형은 세 가지이고, 뒤의 글이 쓰는 것과 같은 세트다. 이름을 바꾸지 마라.

• 예 또는 아니오, Noul. 돌아오는 것은 「예」의 확률이며, 0 에서 1 까지다. 빈 값이 아니고, 거부 신호도 아니다.
• 단일 선택, Choice. 선택지는 미리 고정되고, 최대 255 다. 목록에 없는 선택지는 만들어 내지 않는다.
• 순서가 있는 단계, Score. 2 에서 10 단계이며, 각 단계는 구체적인 경우로 적는다.

이것은 무릎 반사다. 망치가 인대를 친다. 신호가 피질에 닿기 전에 아랫다리가 움직인다. 설명은 필요 없다. 필요한 것은 닫힌 결과와, 순환 안에 놓을 수 있는 속도다.

공개된 끝에서 끝까지는 약 70 에서 500 밀리초다. 입력은 백만 token 당 $0.042 이고, 출력은 청구하지 않는다. 빠른 끝과 느린 끝이 둘 다 이 폭 안에 있다. 몇 밀리초라고 말하지 마라. 채팅의 한 턴이라고도 말하지 마라. 닫힌 System One 판단에서 능력은 지금의 큰 모델과 같은 대역이고, 속도는 1 자릿수 또는 2 자릿수 높다. 「같은 대역」은 닫힌 판단에만 해당한다.

채팅할 수 있는 모델은 사령부에 앉아, 왜 이 작전이 있는지를 설명한다. Jev 는 손끝과 무릎에 있다. 무언가가 머리로 날아오면, 머리가 먼저 움직인다.

두 층이 아니라 세 층

보통의 자르기는 두 층이었다. if 로 쓸 수 있는 것은 코드에 남기고, 흐린 것은 모두 채팅 모델에 던졌다. 흐린 노드는 그래서 비용과 기다림을 함께 졌다. 이 제품에 맞는 자르기는 세 층이다.

       ┌────────────────────────────────────────┐
       │             3. Intelligence             │
       │  open reasoning, prose, talking to a    │
       │  person                                  │
       └───────────────────▲────────────────────┘
                           │ this question will not split; go up
       ┌───────────────────┴────────────────────┐
       │             2. Reflex (Jev)             │
       │  closed questions, fixed options,        │
       │  a distribution or a score               │
       └───────────────────▲────────────────────┘
                           │ the rule missed; hand it to reflex
       ┌───────────────────┴────────────────────┐
       │             1. Rules                    │
       │  branches whose edges are already        │
       │  written                                 │
       └────────────────────────────────────────┘

규칙 층

뼈다. 정규식, 구문 나무, 경계가 이미 쓰인 알고리듬. CPU 명령. 맞으면 맞는 것이다.

반사 층

근육과 관절이다. 어조의 작은 기울기, 의도가 어느 대기열로 들어가는지, 이 문장을 통과시켜도 되는지, 맥락이 아직 같은 일인지. 규칙은 목록을 다 쓰지 못하지만, 익숙한 사람은 한눈에 한쪽으로 기운다. 이런 노드는 더 이상 먼저 뇌를 깨우지 않는다. Jev 는 설명을 쓰지 않는다. 확률 하나를 돌려주거나, 분포 한 장을 돌려준다. 순환 안에 살 만큼 가볍다.

지능 층

피질이다. 데이터가 여기로 올라오는 것은, 닫힌 질문이 여전히 흩어져 있고 사람이 아직 이유를 들어야 할 때뿐이다. 생각의 사슬, 긴 응답, 여러 단계의 계획은 이 층에 남는다. 고객에게 보내는 편지는 관절의 일이 아니다.

세 층은 큰 모델을 시스템에서 빼지 않는다. 나사마다 그것을 돌려 쓰는 일을 멈춘다.

좋은 도구는 물러난다

망치가 손에 맞으면 주의는 못에 있다. 망치는 팔의 연장이다. 무겁거나, 뜨겁거나, 칠 때마다 한 절을 노래하면, 도구가 아니라 장애가 된다.

지난 몇 년의 채팅 모델은 너무 눈에 띄었다. 개성이 강하고, 말이 많고, 박자가 느리다. 톱니열에 넣으면, 맞물릴 때마다 끈적한 마찰이 따라온다.

Jev 는 다른 극이다. 더 좁고, 더 빠르고, 더 싸고, 사람에게 읽히기를 요구하지 않는다. 한 극은 여전히 매우 큰 모델로, 데이터 센터에서 비싼 생각을 한다. 다른 극은 관절처럼 프로토콜, 대기열, 센서 곁에 흩어진다. 그것들은 자신을 설명하지 않는다. 수축과 이완을 끝낸다.

이 시스템을 받쳐 온 것은, 생각하지 않아도 되는 관절이다.

시리즈

• 다음: JEV - 제어 노드의 윤활제