관절에는 뇌가 필요 없습니다

공동 작성자: folkbench.com (Folkbench는 AI API, 모델 서비스, 관련 사이트를 위한 검증 가능한 평가·선택 플랫폼입니다. 공개된 서비스 정보, 가격, 가용성, 지연, 증거 구간을 바탕으로 사용자가 경로를 비교하고 고를 수 있게 합니다.)

이 시리즈는 열 편입니다:

• JEV - 관절에는 뇌가 필요 없습니다
• JEV - 채팅하지 못하는 Jev가 Agent에 맞는 이유
• JEV - “환각할 수 없다”는 말이 어디까지인가
• JEV - 예/아니오, 선택, 등급이 하나의 언어로 충분한가?
• JEV - 연구소는 만들 수 있습니다. 그래도 만들지 않을 수 있습니다.
• JEV - 내가 돌려 본 두 demo
• JEV - 사람은 루프의 가운데에서 가장자리로 물러납니다
• JEV - 그 선을 넘으면, 나는 누가 더 똑똑한지 더 이상 가리지 못합니다
• JEV - 어떤 질문은 여기에 속하지 않습니다
• JEV - 덜어 낸 모델, 스위트, 그리고 말하지 않는 하나

기반 모델은 그 선을 넘었습니다. 대부분의 사람은 이제 그 너머의 과제를 내지 못합니다. 떠올릴 수 있는 질문은 지금의 모델이 대체로 받습니다. 누가 조금 더 채팅을 잘하는지 견주는 것으로는 새 제품이 서지 않습니다. 차이는 제품 정의로 옮겨 갔습니다. Jev는 이 단계에 맞게 정의되었습니다.

이것은 TypeSafe AI의 System One 모델입니다. 자유 텍스트를 생성하지 않습니다. 텍스트이든 프로그램 상태이든, 상태 한 덩어리와 닫힌 질문 한 묶음을 줍니다. 질문마다 확률 분포가 돌아옵니다.

파는 것은 채팅이 아닙니다. 시스템 안의 관절을 팝니다.

노드에는 종류가 있습니다. 어떤 것은 규칙으로 적을 수 있고, 적으면 끝입니다. 어떤 것은 펼쳐서 추론해야 하고, 사람에게 말이 끝날 때까지 말해야 합니다. 그것은 뇌의 일입니다. 가운데에 한 묶음이 남습니다. 규칙으로는 다 적지 못합니다. 뇌를 부르면 낭비입니다. 관절은 그 묶음 위에 앉습니다.

한 번 구부리면 됩니다

걸을 때 무릎은 뇌에 묻지 않습니다. 땅이 단단하면 조금 구부립니다. 경사가 가파르면 버팁니다. 설명도 없고, 초안도 없습니다.

관절에는 지능이 필요 없습니다. 관절에는 본능이 필요합니다. 본능은 규칙보다 위에 있습니다. 다 적을 수 있는 것은 규칙에 넘깁니다. 상태가 맞으면 그 분기를 타고, 맞지 않으면 멈춥니다. 규칙을 다 써도 정하지 못하지만, 익숙한 사람이 한눈에 기우는 것은 본능에 넘깁니다. 이유를 펼쳐야 하고 사람에게 말해야 하면, 그때 지능을 부릅니다. 질문 하나가 규칙의 일과 뇌의 일을 같이 하리라고 기대해서는 안 됩니다.

Jev는 그 중간 층에 머뭅니다. 질문은 닫혀 있고, 답의 모양도 닫혀 있습니다. 확률은 퍼질 수 있습니다. 퍼지면 확신이 없는 것입니다. 준 답 안에서만 확률을 나눕니다. 공식은 적합한 질문을 아주 좁게 잡습니다. 그 분야를 아는 사람이 맥락을 보면서 1초 안에 내리는 판단입니다. 오래 분석해야 하는 것은 질문 하나로 둘 일이 아닙니다. 쪼갭니다.

이것은 GPT 이전의 범용 분류기와 같은 종류의 일입니다. 의미 이해가 더 낫고, 더 빠릅니다. 멀리 돌아 말한 문장도 읽고, 프로그램 상태에 끼워 넣은 의도도 읽습니다. 채팅에 가져가면 안 됩니다.

이 자리의 공식 이름은 System One입니다. Kahneman의 System 1을 빌립니다. 빠르고, 직관적입니다. 단계를 펼쳐 사람이 읽도록 쓰는 느린 사고는 이 자리에 없습니다.

이름은 William Stanley Jevons에서 옵니다. 석탄과 증기 기관이 더 효율적이 된 뒤, 수요는 줄지 않았습니다. 올랐습니다. 공식에서 이 이름을 쓰는 말은, 판단이 싸지면 시스템 안에서 판단이 필요한 노드 수가 함께 늘어난다는 뜻입니다.

질문은 이 세 가지뿐입니다

질문 유형은 세 가지뿐입니다.

예/아니오는 Noul입니다. 참이나 거짓으로 닫히는 문장입니다. 돌아오는 것은 “예”의 확률이고, 0에서 1까지입니다. 코드가 그 수로 임계값을 잡습니다. 선을 넘으면 실행합니다. 선에 못 미치면 멈추거나, 사람에게 넘깁니다.

단일 선택은 Choice입니다. 선택지는 미리 고정되고, 최대 255개입니다. 각 선택지 뒤에, 그것이 무슨 뜻인지 말하는 문장을 붙일 수 있습니다. 돌아오는 것은 분포 전체와, 확률이 가장 높은 선택지입니다. 목록에 없는 것은 보태지 않습니다.

순서가 있는 등급은 Score입니다. 2에서 10등급까지입니다. 낮은 쪽에서 높은 쪽으로 줄을 세우고, 각 등급을 구체적인 상황으로 적습니다. 숫자만 넘기면 안 됩니다. 착지점은 두 등급 사이에 있을 수 있고, 모든 등급의 확률은 그대로 있습니다. 업무에 정수가 필요하면 코드가 거둡니다.

세 가지를 같은 요청에서 물을 수 있습니다. 같은 상태이고, 질문은 각기 따로입니다. 예/아니오가 단일 선택의 초안을 쓰지 않습니다. 어느 질문을 쓰고 어느 질문을 버릴지는 코드가 정합니다. 질문을 더해도 시간은 거의 늘지 않습니다. 더해지는 것은 질문 자신의 토큰입니다. 입력은 토큰으로 과금됩니다. 추가 비용은 그 작은 조각뿐입니다.

샘플링은 채팅 쪽이 아닙니다. 공식 설명은 새 아키텍처, 병렬 샘플링입니다. 한 번에 모든 출력을 모읍니다. 토큰을 하나씩 하지 않습니다. 채팅 모델이 느린 것은, 한 단어가 다음 단어를 기다리고 그 과정에서 출력이 비싸지기 때문입니다. Jev는 한 단어씩 자라지 않습니다.

훈련 방법은 RLCD, Reinforcement Learning for Calibrated Decisions입니다. 목표는 보정입니다. 보고하는 확신이, 실제로 맞히는 빈도와 맞아야 합니다. “사람처럼 읽힌다”는 목표가 아닙니다.

입력은 100만 토큰당 $0.042입니다. 출력은 무료입니다. 끝에서 끝까지 약 70ms에서 500ms입니다. 70밀리초도 일어나고, 500밀리초도 일어납니다. 지능에 대한 공식 판단은 그 옆에 같이 적혀 있습니다. System One 과제에서는 지금의 대형 모델과 거의 같고, 10배에서 100배 더 빠릅니다. 그 “거의 같다”는 닫힌 판단에만 성립합니다. 이것으로 글을 쓰거나, 닫히지 않은 질문을 끝까지 이야기하는 것은 그 주장 안에 없습니다.

규칙이 멈추는 곳

이런 모양의 노드는 드물지 않습니다. 분류, 라우팅, 채점, 검토, 위험 통제, 그리고 Agent 안의 판단 노드가 모두 그렇습니다. 티켓이 어느 대기열로 들어가는지, 다음 홉이 코드의 어느 구간을 타는지, 불만이 얼마나 뜨거운지, 문장 하나를 통과시킬지, 한 작업이 멈춰야 할 예외처럼 보이는지, 갈림의 도구를 넘길지. 이것들은 모두 빨리 물을 수 있고, 모두 닫을 수 있습니다.

규칙은 쓰기 쉬운 구간을 먹을 수 있습니다. 예외가 쌓이면 조건이 엉킵니다. 하나를 바꾸면 옆의 것이 같이 실패할 수 있어서, 나중에는 아무도 감히 건드리지 못합니다.

어떤 사람은 상태 전체를 채팅할 수 있는 모델에 던지고, 조언 한 문장을 청합니다. 채팅 모델은 그것을 할 수 있습니다. 노드에 필요한 것은 기울기 하나입니다. 그래도 문장을 분기로 파싱해야 하고, 실패하면 다시 시도합니다. 시간은 텍스트의 모양에 쓰입니다.

뇌를 써도 됩니다. 이 노드에 뇌를 먼저 올릴 일은 아닙니다. Jev가 이 구간을 받습니다. 닫힌 질문이 들어가고, 분포가 나옵니다. 선을 넘는지, 올릴지는 옆의 코드에 적혀 있습니다. 흐름이 어떻게 움직이는지는 여전히 코드의 일입니다.

환불은 질문 세 개로 갈라집니다. 환불을 청하는 중인지, 청하는 것이 환불인지 티켓 변경인지 아니면 규칙에 대한 질문뿐인지, 화가 어느 등급에 닿는지입니다. Noul, Choice, Score가 같은 상태를 봅니다. 정책에 적힌 문장은 규칙에 남습니다. 규칙이 맞지 않는 것은 분포에서 읽습니다. 고객에게 보내는 답장은 이것이 쓸 일이 아닙니다.

Agent도 같이 갈라집니다. 사람이 마지막으로 읽는 문장은 말할 수 있는 모델에 맡깁니다. 중간의 판단이 걸음마다 뇌를 깨우면 안 됩니다. 한 번 깨우면 그 걸음은 채팅의 비용으로 갑니다. 판단을 관절로 바꾸면, 밖으로 나가는 답은 그대로 둘 수 있습니다.

글은 다른 모델이 씁니다

글을 쓸 수 없습니다. 텍스트를 생성하지 않습니다. 주제와 어조를 상태에 넣어도, 적어 둔 닫힌 질문만 답합니다. 주제를 벗어났는지는 판단할 수 있습니다. 문장은 다른 모델에서 나와야 합니다.

열린 질문을 단일 선택 안으로 누르면 안 됩니다. “다음에 무엇을 해야 하는가”는, 길을 다 적기 전에는 Choice에 칸이 없습니다. 먼저 쪼갭니다. 다 적을 수 있는 것은 규칙에 남깁니다. 본능이 답할 수 있는 것은 이 세 질문으로 적습니다. 추론을 펼쳐 놓고, 사람에게 말이 끝날 때까지 말해야 하는 것, 그때 지능이 들어옵니다. 쪼개지지 않으면 아직 관절이 아닙니다.

어떤 사람은 System One을 한 칸 내린 것으로 듣습니다. 더 낮은 것은 규칙입니다. System One은 규칙 위의 본능입니다. 빠르고, 설명을 쓰지 않습니다. 그래도 의미는 이해해야 합니다. 그렇지 않으면 규칙으로 충분합니다. 그 위가 지능입니다. 공식이 주는 지능은 닫힌 과제에서 “거의 같다”이고, 공식이 주는 속도는 10배에서 100배 더 빠르다는 것입니다. 그 속도가 있으면, 호출은 채팅 한 번이 끝나기를 기다리지 않고 루프 안에 둘 수 있습니다.

기반 모델이 대부분의 사람이 낼 수 있는 과제를 평평하게 한 뒤, 제품은 분명한 인터페이스로 닫혀야 합니다. Jev는 관절로 닫힙니다. 채팅은 팔지 않습니다. 규칙을 끝낼 수 없고, 뇌를 부르면 낭비인 노드가 이것의 자리입니다.

출처

• https://typesafe.ai/blog/introducing-system-one-models-and-jev
• https://evals.typesafe.ai/
• https://docs.typesafe.ai/primitives

시리즈

• 다음: JEV - 채팅하지 못하는 Jev가 Agent에 맞는 이유