JEV - BERT에서 하나의 분포로

“환각할 수 없다”는 닫힌 질문만 덮습니다. 답은 미리 고정한 집합을 벗어날 수 없고, 집합 안에서는 여전히 틀릴 수 있습니다. Jev는 이 세대의 의미를 유지하고, 출력을 한 번의 순전파와 하나의 분포로 되돌립니다.

JEV - BERT에서 하나의 분포로

공동 작성자: folkbench.com (Folkbench는 AI API, 모델 서비스, 관련 사이트를 위한 검증 가능한 평가·선택 플랫폼입니다. 공개된 서비스 정보, 가격, 가용성, 지연, 증거 구간을 바탕으로 사용자가 경로를 비교하고 고를 수 있게 합니다.)

이 시리즈는 열 편입니다:

“환각할 수 없다”는 구호가 아닙니다. 덮는 층은 하나입니다. 답은 미리 고정한 집합 안에 떨어져야 합니다. 그 집합 밖의 라벨은 지어 낼 수 없습니다. 집합 안에서 확률은 여전히 틀릴 수 있습니다. 이 글은 그 경계를 분류의 역사 안으로 돌려놓습니다. Jev는 GPT 이전 시기의 범용 분류기처럼 보입니다. 의미는 이 세대의 것이고, 출력은 한 번의 순전파와 하나의 분포로 돌아왔습니다.

분류기 시절이 치른 값

2018년부터 2021년까지 NLP 작업의 많은 부분은 분류였습니다. 의도, 라우팅, 감정, 영역 라벨입니다. BERT, RoBERTa, XLNet이 도구였습니다. 양방향 인코더는 LSTM과 SVM을 뒤에 남겼고, 공학적 빚을 셋 가져왔습니다.

  1. 라벨은 굶주렸습니다. 사전 학습 뒤에도 금융 의도 같은 과제는 깨끗한 예를 수천 개 더 원했습니다. 가는 라벨이 하나 늘면, 세척과 집단 주석과 증강이 한 바퀴 더입니다.
  2. 본 적 없는 말은 떨어졌습니다. 그 분류기가 맞춘 것은 결정 경계였지, 라벨이 무슨 뜻인지는 아니었습니다.
  3. 과제마다 가중치 한 벌. 분류 필요가 수십이면 인스턴스도 수십이고, 버전과 메모리와 릴리스가 함께 쌓였습니다.

부족했던 것은, 문장이 무엇을 말하는지 알고, 방금 쓴 정의에 대한 확률을 돌려주며, 라벨마다 새 헤드를 학습하지 않는 것이었습니다.

생성 모델의 과한 타격

GPT 계열은 분류가 풀린 것처럼 보이게 했습니다. “감정을 판단하고 JSON으로 돌려라”는 한 문장에, 예가 없는 모델은 종종 클래스를 이름 붙입니다. 프로덕션은 다른 얼굴을 보여 주었습니다.

  • 형식은 여전히 확률의 사슬입니다. 라벨을 얻으려고 적법한 JSON이나 XML을 쓰게 합니다. 강한 생성 모델도 문장을 하나 더 쓸 작은 확률이 있고, 그러면 파서가 끊깁니다.
  • 비용은 길이에 묶여 있습니다. 몇 글자의 라벨 앞에는 긴 지시가 있고, 뒤에는 token마다의 디코딩이 있습니다. 실시간 위험 점검과 온라인 라우팅에서 이것은 모기에게 공성포를 쓰는 일입니다.

강한 의미 이해를 얻은 다음, 클래스 하나를 얻으려고 느리고 잘 부러지는 출력관을 붙였습니다. “환각할 수 없다”가 그 관을 가리킨다면, 생성 모델은 관을 걷어 내지 않았습니다. 환각을 문장처럼 쓰게 더 나아졌을 뿐입니다.

한 번의 순전파, 하나의 분포

Jev는 둘 사이에 섭니다. 이 세대의 의미와 적은 예의 행동이 필요하고, 텍스트 생성은 필요 없으며, 분류기의 출력 형태로 돌아갑니다.

특징을 맞추기에서 뜻을 맞추기로

옛 분류기는 벡터 공간의 다양체를 잘랐습니다. 라벨이 바뀌면 다시 맞춰야 합니다. Jev는 분류할 상태와 각 라벨의 자연어 정의를 함께 읽습니다. 이 단이 무슨 뜻인지 쓰면, 그 단에 확률을 놓고, 새 라벨을 위한 기울기 갱신은 하지 않습니다. 이해는 생성 시대의 것입니다. 출력은 아닙니다.

더 이상 token을 하나씩 생성하지 않는다

생성이 느린 이유는 token마다 순전파가 한 번 더이기 때문입니다. Jev는 {"category": "A"}의 글자를 쓰지 않습니다. 한 번의 순전파에서 확률을 후보에 나눕니다. 형식의 흔들림은 고장 종류로서 사라집니다. 문자열이 없으면, 깨질 문자열도 없습니다.

이것이 “환각할 수 없다”가 실제로 가리키는 층입니다. 목록 밖의 선택지를 지어 낼 수 없고, 답 뒤에 설명을 붙일 수도 없습니다. 목록 안에서 확률을 잘못 주는 것은 여전히 가능합니다. 보정이 묻는 것은, 보고한 확신이 맞히는 빈도와 같은 방향으로 움직이는지입니다. 클래스가 언제나 맞다고 약속하지 않습니다.

운영이 더 이상 붙들지 않는 것

차원 BERT의 시절 생성 모델 Jev
데이터 큰 라벨 집합에서의 미세 조정 적은 예, 지시로 적은 예, 라벨의 자연어 정의로
출력 분류 헤드, 형식은 고정 생성하며, 형식은 깨질 수 있음 분포이며, 깨질 형식이 없음
속도 인코더, 밀리초 생성 길이와 함께 늘어남 공개된 끝에서 끝이 약 70–500 ms이며, 답 문장과 함께 늘어나지 않음
의미 표면 단어에 쉽게 끌림 깊음 깊지만, 준 라벨 위로만 떨어짐
운영 과제마다 가중치 한 벌 지시와 파서 모델 하나. 라벨 정의는 요청과 함께 바뀜

옛 과제는 낡지 않았다

텍스트 분류로 돌아오면 손맛이 익숙합니다. 아래의 도구는 더 이상 그때의 무딘 것이 아닙니다.

  • 라벨 500개가 틀렸다고 한 바퀴 더 학습하지 않습니다.
  • 형태가 깨진 JSON을 try-catch로 감싸지 않습니다.
  • 상태를 넘기고, 각 선택지가 무슨 뜻인지 쓰고, 분포를 돌려받습니다.

BERT에서 생성 모델로, 그리고 이 구조화된 출력으로. 고전적 과제는 떠나지 않았습니다. 떠난 것은 “라벨 하나를 얻으려면 먼저 한 단락을 쓴다”는 일입니다. “환각할 수 없다”는 이 층에서 멈춥니다. 그 위에는 틀린 클래스, 나누지 않은 질문, 물어서는 안 되었던 열린 질문이 아직 있습니다. 구호는 그것들을 덮지 않습니다.

시리즈