Khớp không cần não

Jev là mô hình System One của TypeSafe. Nó không viết chữ tự do. Nó trả một xác suất cho mỗi câu hỏi đóng, trên những nút mà quy tắc không vét hết và gọi một mô hình chat thì phí.

Folkbench folkbench.com

Đồng tác giả: folkbench.com (Folkbench là nền tảng đánh giá có thể kiểm chứng và lựa chọn cho AI API, dịch vụ mô hình và các trang liên quan. Nền tảng dựa trên tài liệu dịch vụ đã công bố, giá, độ sẵn sàng, độ trễ và cửa sổ bằng chứng để giúp so sánh và chọn đường dùng.)

Nhóm này gồm mười bài:

Các mô hình nền đã qua vạch đó. Hầu hết mọi người không còn nêu được một việc nằm ngoài tầm chúng. Những câu bạn nghĩ ra, mô hình hiện nay phần lớn nhận được. So xem ai chat khéo hơn một chút thì không đỡ nổi một sản phẩm mới. Khác biệt đã chuyển sang định nghĩa sản phẩm. Jev được định nghĩa cho giai đoạn này.

Nó là mô hình System One của TypeSafe AI. Nó không sinh chữ tự do. Bạn đưa cho nó một đoạn state, chữ hoặc trạng thái chương trình, cộng một tập câu hỏi đóng. Mỗi câu trả về một phân bố xác suất.

Nó không bán chat. Nó bán các khớp trong một hệ thống.

Nút có nhiều loại. Có loại viết thành quy tắc là xong. Có loại phải suy cho mở, và nói với một người đến khi hết lời. Đó là việc của não. Ở giữa còn một lứa. Quy tắc không vét hết. Gọi một bộ não cho nó là phí. Khớp nằm trên lứa đó.

Gập một cái là đủ

Khi bạn đi, đầu gối không hỏi não. Mặt cứng thì gập một chút. Dốc đứng thì trụ. Không giải thích, cũng không bản nháp.

Khớp không cần trí tuệ. Khớp cần bản năng. Bản năng ở trên quy tắc. Cái vét hết được thì giao cho quy tắc: state trúng thì đi nhánh đó; không trúng thì dừng. Cái quy tắc vẫn không quyết được, nhưng người quen việc liếc một cái đã nghiêng về một phía, thì giao cho bản năng. Khi lý do phải trải ra, và phải nói với ai đó, hãy gọi trí tuệ vào. Đừng mong một câu làm cả việc của quy tắc lẫn của não.

Jev ở lớp giữa đó. Câu hỏi đóng, và hình của câu trả lời cũng đóng. Xác suất có thể tản. Tản nghĩa là nó không chắc. Nó chỉ gán xác suất bên trong những câu trả lời bạn đã đưa. Lời chính thức về một câu hỏi hợp thì chặt: một phán đoán mà người rành việc, nhìn ngữ cảnh, làm được trong một giây. Cái phải phân tích lâu thì không thuộc về một câu. Tách ra.

Đây cùng loại việc với bộ phân loại tổng quát thời trước GPT. Hiểu nghĩa tốt hơn, và nhanh hơn. Nó đọc được câu đi vòng, và đọc được ý định kẹp trong state của chương trình. Đừng đem nó đi chat.

Tên chính thức của vị trí này là System One. Nó mượn System 1 của Kahneman: nhanh, trực giác. Suy nghĩ chậm, viết từng bước ra cho người đọc, không nằm ở vị trí này.

Tên lấy từ William Stanley Jevons. Sau khi than và máy hơi nước hiệu quả hơn, cầu không giảm. Nó tăng. Cách dùng tên chính thức nói rằng một khi phán đoán rẻ, số nút trong hệ thống cần một phán đoán sẽ tăng theo.

Chỉ ba loại câu này

Chỉ có ba loại câu hỏi.

Có-không, gọi là Noul. Một câu mà đúng hoặc sai khép lại được. Cái trả về là xác suất của “có”, từ 0 đến 1. Mã lấy số đó làm ngưỡng. Qua vạch thì chạy. Chưa tới vạch thì dừng, hoặc giao việc cho người.

Chọn một, gọi là Choice. Các lựa chọn cố định từ trước, nhiều nhất 255. Mỗi lựa chọn có thể kèm một câu nói nó nghĩa là gì. Cái trả về là cả phân bố, cộng lựa chọn có xác suất cao nhất. Nó không thêm cái gì không có trong danh sách.

Mức có thứ tự, gọi là Score. Từ 2 đến 10 mức. Xếp từ thấp lên cao, mỗi mức viết thành một tình huống cụ thể. Đừng chỉ ném cho nó một con số. Điểm rơi có thể nằm giữa hai mức, và xác suất của mọi mức vẫn còn đó. Nếu việc cần một số nguyên, mã gom lại.

Cả ba hỏi được trong cùng một request. Cùng một state, mỗi câu đứng riêng. Câu có-không không phác thảo giúp câu chọn một. Dùng câu nào, bỏ câu nào, là việc của mã. Thêm vài câu, thời gian hầu như không thêm. Cái bạn thêm là token của chính câu hỏi. Đầu vào tính theo token. Phần tốn thêm chỉ là mẩu đó.

Lấy mẫu không phải kiểu chat. Lời chính thức là một kiến trúc mới, lấy mẫu song song. Một lượt thu mọi đầu ra. Không theo từng token. Mô hình chat chậm vì một chữ phải đợi chữ sau, và đầu ra đắt dần trên đường đi. Jev không mọc từng chữ một.

Cách huấn luyện gọi là RLCD, Reinforcement Learning for Calibrated Decisions. Đích là hiệu chuẩn: độ tin cậy nó báo phải đúng với tần suất nó thực sự đúng. “Đọc lên như người” không phải đích.

Đầu vào là $0.042 mỗi một triệu token. Đầu ra miễn phí. Từ đầu đến cuối khoảng 70ms đến 500ms. Bảy mươi mili giây thì có, năm trăm mili giây cũng có. Phán đoán chính thức về trí tuệ được nói kèm: trên các tác vụ System One, ngang các mô hình lớn hiện nay, và nhanh hơn một đến hai bậc độ lớn. Chữ “ngang đó” chỉ đúng với phán đoán đóng. Dùng nó để viết bài, hoặc nói một câu hỏi chưa khép đến hết, không nằm trong lời ấy.

Chỗ quy tắc dừng

Nút hình này không hiếm. Phân loại, định tuyến, chấm điểm, duyệt, kiểm soát rủi ro, cộng các nút phán đoán trong một Agent, đều có. Phiếu vào hàng nào, đoạn mã của bước kế đi đâu, một lời phàn nàn nóng đến mức nào, một câu có được cho qua không, một thao tác có giống ngoại lệ phải chặn không, một công cụ ở ngã ba có giao ra không. Tất cả hỏi nhanh được, và tất cả khép lại được.

Quy tắc ăn được đoạn dễ viết. Ngoại lệ chất lên thì điều kiện rối. Sửa một cái, những cái bên cạnh có thể hỏng theo, nên về sau không ai dám đụng.

Có người ném cả state cho một mô hình biết chat và xin một câu khuyên. Mô hình chat làm được. Nút chỉ cần một cái nghiêng. Bạn vẫn phải tách câu thành nhánh, và thử lại khi thất bại. Thời gian tiêu vào hình của chữ.

Não được phép. Nút này không đáng có não trước. Jev nhận đoạn này. Câu hỏi đóng vào, phân bố ra. Có qua vạch không, có nâng cấp không, viết trong mã bên cạnh. Luồng đi thế nào vẫn là việc của mã.

Một lần hoàn tiền tách thành ba câu: có đang xin hoàn không, lời xin là hoàn tiền, đổi vé, hay chỉ hỏi quy tắc, và sự giận rơi vào mức nào. Noul, Choice và Score, nhìn cùng một state. Những câu đã viết vào chính sách để lại cho quy tắc. Chỗ quy tắc không trúng thì đọc từ phân bố. Thư trả khách không phải việc của nó.

Một Agent tách cùng cách. Câu mà người cuối cùng đọc thì để cho mô hình biết nói. Các phán đoán ở giữa không nên đánh thức một bộ não ở mỗi bước. Đánh thức một lần, bước đó chạy với giá của một lần chat. Đổi phán đoán lấy một khớp, lời trả ra ngoài có thể giữ nguyên.

Viết thì cần mô hình khác

Nó không viết được bài. Nó không sinh chữ. Nhét chủ đề và giọng vào state, nó vẫn chỉ trả lời các câu hỏi đóng bạn đã viết. Có lệch đề không, cái đó nó phán được. Câu chữ phải đến từ mô hình khác.

Đừng ép một câu hỏi mở vào chọn một. “Tiếp theo nên làm gì” không có ô trong Choice cho đến khi bạn liệt kê hết các cách. Tách trước. Cái vét được thì để với quy tắc. Cái bản năng trả lời được, viết thành ba loại câu này. Cái cần suy cho mở, và nói với người đến khi hết lời, lúc đó trí tuệ mới vào. Nếu không tách được, thì chưa phải một khớp.

Có người nghe System One như một lần hạ cấp. Quy tắc còn thấp hơn. System One là bản năng phía trên quy tắc. Nó nhanh, và nó không viết giải thích. Nó vẫn phải hiểu nghĩa, không thì quy tắc đã đủ. Phía trên đó là trí tuệ. Lời chính thức về trí tuệ là “ngang nhau” trên tác vụ đóng, và lời về tốc độ là nhanh hơn một đến hai bậc độ lớn. Với tốc độ đó, một lần gọi ngồi được trong một vòng lặp, thay vì chờ hết một lần chat.

Khi các mô hình nền đã san phẳng những việc hầu hết mọi người nêu ra được, một sản phẩm phải khép thành một giao diện rõ. Jev khép thành một khớp. Chat không bán. Những nút mà quy tắc không viết hết, và gọi một bộ não thì phí, là chỗ của nó.

Nguồn

Nhóm bài