JEV - Sổ cái phản token không đưa nó ra trước

Một lab đang chiếm chỗ làm được Jev. Sổ cái tính tiền theo lượng sinh ra, và tổ chức tách mô hình khỏi nghiệp vụ, nên họ không làm trước. Ai làm trước phải viết bảng giá theo chiều ngược.

JEV - Sổ cái phản token không đưa nó ra trước

Đồng tác giả: folkbench.com (Folkbench là nền tảng đánh giá và lựa chọn có thể kiểm chứng cho API AI, dịch vụ mô hình và các trang liên quan. Nền tảng dựa trên thông tin dịch vụ đã công bố, giá, độ sẵn sàng, độ trễ và cửa sổ bằng chứng để giúp người dùng so sánh và chọn một đường đi.)

Nhóm này gồm mười bài:

Về phía kỹ thuật, một lab đang chiếm chỗ làm được Jev. Không có toán tử mới, cũng không có tệp trọng số mà người khác không lấy được. Đây là sản phẩm gom trạng thái nghiệp vụ và phán đoán đóng. Nửa đội và vài tuần làm được một bản chạy. Về kỹ thuật, điều đó đứng vững.

Về phía tổ chức và sổ cái, họ không làm trước. Đây là thế lưỡng nan mà Christensen đã viết: làm được một thứ, và bằng lòng tiêu lợi nhuận của mình để làm nó, không phải cùng một sự thật.

Kỹ thuật không phải phần khó

Ai đã dựng RAG hoặc máy trạng thái nhiều Agent thì thấy Jev không thắng bằng cách đè cảnh. Nó hạ "đầu ra suy luận" xuống một phân bố.

Đường sinh là: người dùng nêu một nhu cầu, mô hình viết một đoạn dài chữ hoặc mã, rồi một người hoặc Agent kế tiếp phân tích nó.

Đường của Jev là: hệ thống rút trạng thái trước, mô hình chỉ gán xác suất trên câu đóng, nhánh cứng trở về mã, rồi một kết quả quay lại.

Một lab có thể rút vài người và chạy một thí nghiệm nội bộ. Việc đó không vào bảng giá lõi, vì bảng giá chỉ hướng kia.

Sổ cái token viết ngược

Việc sinh của hãng đang chiếm chỗ, bán theo API hay theo chỗ ngồi, ăn khớp một giả định: sinh càng nhiều, doanh thu càng lớn. Câu hỏi bên trong lớn lên cho khớp. Làm sao cho bản báo cáo dài hơn. Làm sao thêm một vòng chuỗi suy nghĩ. Làm sao kéo ngữ cảnh tới một triệu token, rồi hai triệu.

Jev chạy ngược. Một lần so giữa các hệ, nếu cả lịch sử được giao cho mô hình trò chuyện, có thể là hàng chục nghìn token đầu vào và hàng nghìn token đầu ra, và một lần gọi có thể tốn vài xu. Vắt trạng thái trước và chỉ hỏi câu đóng, thì đầu vào có thể xuống còn vài trăm token, và đầu ra không tính tiền. Giá đầu vào đã công bố là $0.042 mỗi một triệu token. Khoảng cách không phải vài phần trăm.

Với bộ phận đám mây, câu trong buổi xét là: cùng một việc vẫn xong, và khách đốt ở đây ít token hơn nhiều. Việc đó ăn doanh thu của chính bộ phận. Nguồn lực chảy về các dự án ngốn nhiều token hơn. Thứ làm khô đầu ra, dưới bảng điểm hiện hành, trông như một mép biên lợi nhuận thấp.

Thứ phá thường bắt đầu như vậy: đơn giá thấp, phục vụ nút biên, và báo cáo lợi nhuận đang có không coi trọng nó. Jev lớn lên từ chỗ lõm đó. Các hãng đang chiếm chỗ không mù. Sổ cái không cho họ động trước.

Người và góc nhìn không gặp nhau

Còn một bức tường yên hơn. Việc làm ở hãng đang chiếm chỗ thường bị cắt đôi.

  1. Phía mô hình nhìn mất mát, bảng xếp hạng, độ dài ngữ cảnh và thông lượng. Mọi bài nó đều trả lời bằng "mô hình đã mạnh hơn".
  2. Phía nghiệp vụ nhìn mã tất định, giao dịch và dịch vụ nhỏ. Mô hình là hộp đen: không dùng, hoặc nuốt cả khối.

Khớp cần một loại người thứ ba. Họ đã viết những hệ thống nghiệp vụ lầy lội, và họ biết mô hình giỏi quy nạp xác suất, dở khi bị dùng như biểu thức chính quy hoặc như máy tính. Họ biết cắt ở đâu:

  • Đừng để mô hình sinh cả chương trình. Hãy để nó phân loại một lần tại nhánh.
  • Đừng để mô hình giữ cả ngữ cảnh. Hãy thu ngữ cảnh thành liệt kê trước.
  • Khung xương vẫn là mã. Mô hình chỉ định tuyến tại khớp.

Trong một tổ chức cắt sạch đến thế, việc này không phải việc của ai. Phía thuật toán gọi nó quá thuộc nghiệp vụ. Phía nghiệp vụ gọi nó không chắc. Trong đội nhỏ, hai góc nhìn vẫn ngồi trong cùng một người, và sản phẩm gom lại được.

Sự phá bắt đầu từ chỗ thấp

Máy lớn nhìn máy tính cá nhân và thấy một đồ chơi lợi nhuận mỏng. Nhà mạng nhìn tin nhắn tức thời và thấy nó ăn SMS. Cuộc vui hôm nay là bán sức tính, bán token, và so số tham số.

Điều Jev chỉ vào là một câu khác: việc dùng ở quy mô lớn có thể không xảy ra ở nơi token ngày càng đắt. Nó có thể xảy ra ở nơi token bị vắt khô và phán đoán trở lại thành hạ tầng.

Các hãng đang chiếm chỗ làm được. Họ phần nhiều sẽ đợi đến khi lợi nhuận cũ bị gặm một vòng, rồi bị kéo vào cùng một trận. Người làm trước là người chịu viết bảng giá theo chiều ngược.

Nhóm bài