JEV - Từ BERT trở lại một phân phối
“Không thể ảo giác” chỉ phủ câu hỏi đóng: câu trả lời không được ra khỏi tập đã khóa trước, và bên trong tập đó vẫn có thể sai. Jev giữ ngữ nghĩa của thế hệ này và trả về một lượt lan truyền thuận cùng một phân phối.
Đồng tác giả: folkbench.com (Folkbench là nền tảng đánh giá có thể kiểm chứng và lựa chọn cho AI API, dịch vụ mô hình và các trang liên quan. Nền tảng dựa trên tài liệu dịch vụ đã công bố, giá, độ sẵn sàng, độ trễ và cửa sổ bằng chứng để giúp so sánh và chọn đường dùng.)
Nhóm này gồm mười bài:
- JEV - Khớp không cần não
- JEV - Chất bôi trơn trên nút điều khiển
- JEV - Từ BERT trở lại một phân phối
- JEV - Thiết kế câu hỏi đóng, không phải câu thần chú
- JEV - Sổ cái phản token không đưa nó ra trước
- JEV - Hai demo chỉ trả về một phân phối
- JEV - Thoát vòng lặp: độ tin cậy viết vào mã
- JEV - Qua vạch, thông minh hơn không còn là sản phẩm
- JEV - Trực giác và lý tính: câu không nên hỏi khớp
- JEV - Từ thao tác màn hình đến chỉ còn xác suất
“Không thể ảo giác” không phải một khẩu hiệu. Nó chỉ phủ một lớp: câu trả lời phải rơi vào trong tập bạn đã khóa từ trước. Một nhãn ở ngoài tập đó không thể bị bịa ra. Trong tập, xác suất vẫn có thể sai. Bài này đặt biên đó trở lại lịch sử của phân loại. Jev trông như bộ phân loại tổng quát của những năm trước GPT, với ngữ nghĩa của thế hệ này và với đầu ra đã trở về một lượt lan truyền thuận và một phân phối.
Những năm bộ phân loại đã trả giá gì
Từ 2018 đến 2021, nhiều việc trong NLP là phân loại: ý định, định tuyến, cảm xúc, nhãn lĩnh vực. BERT, RoBERTa và XLNet là công cụ. Bộ mã hóa hai chiều để LSTM và SVM lại phía sau, và mang theo ba món nợ kỹ thuật.
- Nhãn thì đói. Sau tiền huấn luyện, một việc như ý định tài chính vẫn muốn hàng nghìn ví dụ sạch. Thêm một nhãn nhỏ nghĩa là thêm một vòng làm sạch, chú thích đám đông và tăng dữ liệu.
- Cách nói chưa gặp thì rơi. Những bộ phân loại đó khớp một biên quyết định. Chúng không biết nhãn ấy nghĩa là gì.
- Một bộ trọng số cho mỗi việc. Hàng chục nhu cầu phân loại nghĩa là hàng chục bản, và phiên bản, bộ nhớ cùng lần phát hành chất đống với nhau.
Thiếu là thứ hiểu câu đang nói gì, và có thể trả một xác suất cho định nghĩa bạn vừa viết, mà không phải huấn luyện một đầu mới cho mỗi nhãn.
Đòn quá tay của mô hình sinh
Dòng GPT khiến phân loại trông như đã xong. Một câu, “xét cảm xúc và trả về JSON”, và một mô hình không có ví dụ thường gọi tên một lớp. Sản xuất cho thấy mặt kia.
- Định dạng vẫn là một chuỗi xác suất. Để lấy một nhãn, bạn đòi JSON hoặc XML hợp lệ. Một mô hình sinh mạnh vẫn có xác suất nhỏ viết thêm một câu, và bộ phân tích đứt.
- Chi phí buộc vào độ dài. Một nhãn vài ký tự ngồi sau một chỉ dẫn dài và việc giải mã từng token. Trong kiểm tra rủi ro trực tiếp và định tuyến trực tuyến, đó là lấy đại bác công thành bắn muỗi.
Ta có hiểu biết ngữ nghĩa mạnh, rồi gắn vào đó một ống đầu ra chậm và giòn, chỉ để lấy một lớp. Nếu “không thể ảo giác” chỉ ống đó, mô hình sinh không gỡ ống đi. Chúng chỉ giỏi hơn trong việc viết ảo giác sao cho nghe như một câu.
Một lượt lan truyền thuận, một phân phối
Jev đứng giữa hai phía: nó muốn ngữ nghĩa của thế hệ này và cách làm với ít ví dụ, nó không muốn sinh văn bản, và nó trở về hình dạng đầu ra của một bộ phân loại.
Từ khớp đặc trưng đến canh nghĩa
Bộ phân loại cũ cắt một đa tạp trong không gian vectơ. Đổi nhãn là phải khớp lại. Jev đọc trạng thái cần phân loại cùng với định nghĩa bằng ngôn ngữ tự nhiên của từng nhãn. Bạn viết một nấc nghĩa là gì, và nó đặt xác suất lên nấc đó, không cần một lần cập nhật gradient cho nhãn mới. Sự hiểu thuộc về thời sinh. Đầu ra thì không.
Nó không còn sinh token từng token
Sinh chậm vì mỗi token là thêm một lượt lan truyền thuận. Jev không viết các ký tự của {"category": "A"}. Trong một lượt lan truyền thuận, nó rải xác suất lên các ứng viên. Trôi định dạng biến mất như một loại hỏng: không có chuỗi, thì không có chuỗi để vỡ.
Đó là lớp mà “không thể ảo giác” thực sự gọi tên. Nó không thể bịa một lựa chọn ngoài danh sách, và không thể nối một lời giải thích sau câu trả lời. Nó vẫn có thể gán sai xác suất bên trong danh sách. Hiệu chuẩn hỏi xem độ chắc nó báo có đi cùng tần suất nó đúng hay không. Nó không hứa lớp luôn đúng.
Những gì vận hành không còn phải giữ
| Chiều | Những năm BERT | Mô hình sinh | Jev |
|---|---|---|---|
| Dữ liệu | Tinh chỉnh trên một tập đã gán nhãn lớn | Ít ví dụ, bằng chỉ dẫn | Ít ví dụ, bằng định nghĩa ngôn ngữ tự nhiên của nhãn |
| Đầu ra | Một đầu phân loại, định dạng cố định | Có sinh, và định dạng có thể vỡ | Một phân phối, không có định dạng để vỡ |
| Tốc độ | Bộ mã hóa, mili giây | Dài ra theo độ dài được sinh | Đầu cuối đã công bố khoảng 70–500 ms, và không dài ra theo câu trả lời |
| Ngữ nghĩa | Dễ bị từ bề mặt kéo đi | Sâu | Sâu, nhưng chỉ rơi lên các nhãn bạn đã đưa |
| Vận hành | Một bộ trọng số cho mỗi việc | Chỉ dẫn và bộ phân tích | Một mô hình; định nghĩa nhãn đổi theo yêu cầu |
Nhiệm vụ cũ không lỗi thời
Trở lại phân loại văn bản thì cảm giác quen. Công cụ bên dưới không còn là cái cùn năm ấy.
- Bạn không huấn luyện thêm một vòng vì 500 nhãn đã sai.
- Bạn không bọc JSON dị dạng trong try-catch.
- Bạn truyền trạng thái, viết mỗi lựa chọn nghĩa là gì, và nhận về một phân phối.
Từ BERT đến mô hình sinh rồi đến đầu ra có cấu trúc này, nhiệm vụ kinh điển không rời đi. Cái rời đi là “để lấy một nhãn, trước hết hãy viết một đoạn”. “Không thể ảo giác” dừng ở lớp này. Phía trên, một lớp sai, một câu hỏi chưa tách, và một câu hỏi mở không đáng hỏi, vẫn còn đó. Khẩu hiệu không phủ chúng.