Khớp không cần não

Jev không viết văn bản tự do. Câu hỏi đóng đi vào, một phân phối đi ra, ở các khớp nơi quy tắc đã hết và gọi mô hình chat là lãng phí. Các lớp là quy tắc, phản xạ và trí tuệ.

Khớp không cần não

Đồng tác giả: folkbench.com (Folkbench là nền tảng đánh giá có thể kiểm chứng và lựa chọn cho AI API, dịch vụ mô hình và các trang liên quan. Nền tảng dựa trên tài liệu dịch vụ đã công bố, giá, độ sẵn sàng, độ trễ và cửa sổ bằng chứng để giúp so sánh và chọn đường dùng.)

Nhóm này gồm mười bài:

Dùng khối tính toán của cả một thư viện quốc gia để quyết định một con chó có nên nhỏ dãi khi nghe chuông hay không, đó là hình dạng của nhiều nút lúc này. Việc là một nhát cắt hai hướng: câu này đi vào bộ phân tích hóa đơn tiếng Trung, hay bộ phân tích biên lai tiếng Anh. Treo lên đó một mô hình thích suy luận trước mặt người, nó viết vài trăm token tranh luận, rồi một nhãn duy nhất. Thời gian đi vào chữ. Tiền cũng vậy.

Sinh học đã trả lời. Nếu mỗi bước đều chờ vỏ não làm xong phép tính, không gì vượt được đồng cỏ. Đầu gối gặp mặt đất và gập lại.

Khớp không cần não. Khớp cần một phản xạ.

Jev được cắt cho chỗ đó. Nó không sinh chữ tự do. Câu hỏi đóng đi vào. Phân bố đi ra.

Phán đoán bị chữ kéo đi

Các mô hình lớn hiện nay chậm và đắt trong vận hành vì chúng bị buộc phải nghĩ và nói trong cùng một vòng ngôn ngữ tự nhiên. Cái cần là một cái có, một phân bố, hoặc một nấc. Con đường nhận được là token đi vào, một phép tính ẩn, rồi giải mã từng token một, rồi một biểu thức chính quy móc câu trả lời ra khỏi câu.

Mỗi dấu cách và mỗi dấu phẩy đều nằm trên hóa đơn. Giải mã tự hồi quy không song song một cách sạch. Để mô hình «phát JSON và không giải thích», lời dặn phải thêm một khối ràng buộc nữa. Như viết «tôi đang bước bằng chân trái» trước mỗi sải.

Hầu hết các vòng nhỏ trong một hệ thống vận hành không cần đoạn chữ đó. Văn xuôi là cho người. Máy muốn một xác suất.

Một phản xạ không nói

Jev không có miệng, ngay từ thiết kế. Một mẩu trạng thái đi vào. Nó không mở vòng token. Nó gán xác suất lên những câu trả lời đóng đã được liệt kê. Ba kiểu câu hỏi là cùng một bộ mà các bài sau dùng. Đừng đổi tên chúng:

  • Có hoặc không, Noul. Cái trả về là xác suất của «có», từ 0 đến 1. Không phải giá trị rỗng, và không phải tín hiệu từ chối.
  • Chọn một, Choice. Các lựa chọn được chốt từ trước, nhiều nhất là 255. Nó không bịa một lựa chọn không có trong danh sách.
  • Nấc có thứ tự, Score. Từ 2 đến 10 nấc, mỗi nấc được viết thành một tình huống cụ thể.

Đây là phản xạ gối. Búa gõ vào dây chằng. Tín hiệu không cần tới vỏ não trước khi cẳng chân đã động. Không cần giải thích. Cần một kết quả đóng, và một tốc độ có thể ngồi trong vòng lặp.

Khoảng đã công bố từ đầu đến cuối là khoảng 70 đến 500 mili giây. Đầu vào là $0.042 mỗi triệu token. Đầu ra không tính tiền. Đầu nhanh và đầu chậm đều sống trong khoảng đó. Đừng mô tả nó là vài mili giây, và đừng mô tả nó là một lượt chat. Trên các phán đoán đóng của System One, năng lực nằm cùng dải với các mô hình lớn hiện nay, và tốc độ cao hơn 1 hoặc 2 bậc độ lớn. «Cùng dải» chỉ đúng với phán đoán đóng.

Một mô hình chat được ngồi ở bộ tham mưu và giải thích vì sao chiến dịch tồn tại. Jev ngồi ở đầu ngón tay và ở đầu gối. Khi có thứ bay về phía đầu, đầu nhích trước.

Ba lớp, không phải hai

Nhát cắt thường gặp là hai lớp: cái viết được thành if ở lại trong mã, và mọi thứ mơ hồ bị ném vào một mô hình chat. Các nút mơ hồ vì thế mang cả chi phí lẫn thời gian chờ. Nhát cắt khớp với sản phẩm này có ba lớp:

       ┌────────────────────────────────────────┐
       │             3. Intelligence             │
       │  open reasoning, prose, talking to a    │
       │  person                                  │
       └───────────────────▲────────────────────┘
                           │ this question will not split; go up
       ┌───────────────────┴────────────────────┐
       │             2. Reflex (Jev)             │
       │  closed questions, fixed options,        │
       │  a distribution or a score               │
       └───────────────────▲────────────────────┘
                           │ the rule missed; hand it to reflex
       ┌───────────────────┴────────────────────┐
       │             1. Rules                    │
       │  branches whose edges are already        │
       │  written                                 │
       └────────────────────────────────────────┘

Lớp quy tắc

Xương. Biểu thức chính quy, cây cú pháp, thuật toán mà các cạnh đã được viết. Lệnh CPU. Khớp là khớp.

Lớp phản xạ

Cơ và khớp. Một lệch nhỏ của giọng, ý định thuộc hàng đợi nào, một câu có được đi qua không, ngữ cảnh còn đang nói cùng một việc không. Quy tắc không viết hết danh sách, nhưng người đã quen nghiêng về một phía trong một cái nhìn. Những nút này không còn đánh thức một bộ não trước. Jev không viết giải thích. Nó trả một xác suất, hoặc cả một phân bố. Đủ nhẹ để sống trong vòng lặp.

Lớp trí năng

Vỏ não. Dữ liệu chỉ lên đây khi một câu hỏi đóng vẫn còn tản ra và một người vẫn phải nghe lý do. Chuỗi suy nghĩ, câu trả lời dài, và kế hoạch nhiều bước ở lại đây. Lá thư cho khách không phải việc của khớp.

Ba lớp không đưa mô hình lớn ra khỏi hệ thống. Chúng ngừng dùng nó để vặn từng con ốc.

Công cụ tốt thì biến mất

Khi chiếc búa vừa tay, sự chú ý ở trên cái đinh. Chiếc búa là phần nối dài của cánh tay. Khi nó nặng, nóng, hoặc hát một khổ sau mỗi nhát, nó thôi là công cụ và thành vật cản.

Các mô hình chat vài năm gần đây quá dễ thấy. Cá tính mạnh, quá nhiều chữ, nhịp chậm. Lắp vào một chuỗi bánh răng, mỗi lần ăn khớp đều kèm một ma sát dính.

Jev là cực còn lại: hẹp hơn, nhanh hơn, rẻ hơn, và không đòi được đọc. Một cực vẫn là mô hình rất lớn, làm phần nghĩ đắt tiền trong một trung tâm dữ liệu. Cực kia rải bên cạnh giao thức, hàng đợi và cảm biến, theo cách của các khớp. Chúng không giải thích mình. Chúng làm xong sự co và sự duỗi.

Thứ đã chống đỡ hệ thống là những khớp không phải nghĩ.

Nhóm bài