JEV - Chất bôi trơn trên nút điều khiển

Nhiều nút trong một chuỗi Agent cần một nhánh, không phải một đoạn văn. Jev ngồi trên các nút điều khiển, và việc sinh văn chỉ còn ở bước thực sự phải viết. Theo giá đã công bố, các nút điều khiển không còn mua token đầu ra.

JEV - Chất bôi trơn trên nút điều khiển

Đồng tác giả: folkbench.com (Folkbench là nền tảng đánh giá có thể kiểm chứng và lựa chọn cho AI API, dịch vụ mô hình và các trang liên quan. Nền tảng dựa trên tài liệu dịch vụ đã công bố, giá, độ sẵn sàng, độ trễ và cửa sổ bằng chứng để giúp so sánh và chọn đường dùng.)

Nhóm này gồm mười bài:

Không chat được là một lợi thế bên trong chuỗi Agent. Một yêu cầu của người dùng thường đi qua ý định, khe, truy xuất, công cụ, và một lần rà. Những nút đó không muốn một đoạn. Chúng muốn một nhánh. Nếu mỗi bước thuê một mô hình biết viết, P99 và hóa đơn cùng tăng. Jev ngồi trên các nút điều khiển như chất bôi trơn: phán đoán là một phân bố, và câu được để lại cho bước thực sự phải sinh.

Ma sát nằm ở đâu

Một yêu cầu không còn là một lần đọc cơ sở dữ liệu. Nó là một đồ thị có hướng: ý định, định tuyến, nén ngữ cảnh, công cụ, tự sửa, một bản tóm tắt. Nút thắt chuyển từ vào/ra sang độ trễ và giá của các lần gọi mô hình lớn. 10 đến 20 lần gọi tầng dưới trong một chuỗi cộng tác là chuyện thường. Treo một mô hình đầu bảng lên cả 6 bước, đuôi dễ vượt 10 giây.

[user request]
   │
   ▼
1. Intent and route
   │
   ▼
2. Slots and checks
   │
   ▼
3. Retrieval and rerank
   │
   ▼
4. Tool choice (loop)
   │
   ▼
5. The content that must be written
   │
   ▼
6. Review and format
   │
   ▼
[response]

Độ trễ chồng lên

token đầu của một mô hình chat thường đã là vài trăm mili giây, và phần sinh cộng thêm. 6 bước nối tiếp chờ từng token đầu và từng lần sinh. Một xác suất nhỏ rơi vào đuôi ở mỗi bước đủ để kéo P99 của cả chuỗi qua 10 giây. SLA gãy trước hết ở đó.

Nút điều khiển không được tính giá như chat

Trong 6 bước đó, những bước phải suy luận ở chỗ mở và viết xong một câu thường chỉ là 2 hoặc 3 phần mười. Phần còn lại là phân loại, kiểm tra, và đổi trạng thái. Trả giá đầu ra của mô hình đầu bảng cho một phán đoán có hoặc không là coi luồng điều khiển như bài viết.

Tách điều khiển khỏi suy luận

Chất bôi trơn không thay suy luận sâu. Nó thay phần điều khiển tần số cao.

  1. Mặt phẳng điều khiển dùng Jev. Định tuyến, kiểm tra, phân loại, phán đoán nhẹ. Cái nó cần là một đầu ra đóng và sự đồng thời có thể trải ra.
  2. Mặt phẳng suy luận dùng một mô hình biết nói. Chữ dài, kế hoạch nhiều bước, đoạn phải giải thích cho một người. Đắt và chậm có thể ở lại đó, vì bước ấy vốn sẽ sinh.
user request
   │
   ▼
[Jev] intent and route
   │
   ├──────────────┐
   ▼              ▼
[Jev] slot check [Jev] intercept
   │              │
   └──────┬───────┘
          ▼
[flagship] only this step generates
          │
          ▼
[Jev] review: out of bounds, or which rung
          │
          ▼
       response

Ba hệ quả kỹ thuật đi theo:

  • Các nút điều khiển không còn dài ra từng token. Độ trễ của chúng nằm trong dải đã công bố, khoảng 70 đến 500 mili giây từ đầu đến cuối, chứ không phải một lần sinh trọn.
  • Sự đồng thời không còn kẹt sau câu «viết xong đoạn đã».
  • Nút rà nhận một phân bố, không phải một chuỗi JSON có thể vỡ. Một nguồn của những cơn bão thử lại nhỏ đi.

Một khoản

Các giá bên dưới là một giả định, để thấy hình dạng. Không phải bảng giá của trang này, và không phải một hóa đơn. Mô hình chat đầu bảng được ước ở $2.50 mỗi triệu token đầu vào và $10 mỗi triệu token đầu ra. Jev dùng các con số đã công bố: $0.042 mỗi triệu token đầu vào, đầu ra không tính tiền. Khối lượng là 1 triệu yêu cầu một ngày.

Giả định

5 bước mỗi yêu cầu:

  • Ý định: 300 vào, 50 ra
  • Trạng thái và cắt bớt: 1000 vào, 100 ra
  • Tham số công cụ: 800 vào, 150 ra
  • Sinh lõi: 1500 vào, 800 ra
  • Rà: 1000 vào, 200 ra

Hai cách nối

  • Phương án A: cả 5 bước là mô hình đầu bảng.
  • Phương án B: chỉ phần sinh lõi ở lại mô hình đầu bảng. 4 bước kia chuyển sang Jev. Các bước điều khiển không trả tiền token đầu ra.

Chi phí

Phương án A dịch chuyển 4.6 tỷ token đầu vào và 1.3 tỷ token đầu ra mỗi ngày. Đầu vào là $11,500, đầu ra là $13,000, cộng lại $24,500. 30 ngày khoảng $735,000.

Phương án B gửi 3.1 tỷ token đầu vào qua 4 bước Jev. Ở $0.042 mỗi triệu token thì khoảng $130, và phí đầu ra là 0. Phần sinh lõi vẫn là $3,750 đầu vào cộng $8,000 đầu ra, $11,750. Cộng lại khoảng $11,880 một ngày, và khoảng $356,000 suốt 30 ngày.

Chi tháng giảm khoảng một nửa. Cái giảm chủ yếu là những token đầu ra mà các nút điều khiển không còn mua.

Độ trễ

Thước Phương án A Phương án B
Bốn nút điều khiển Khoảng 450 ms sinh mỗi nút, khoảng 1.8 s Trong dải đã công bố 70–500 ms, bốn lần gọi khoảng 0.28–2 s
Chi phí API mỗi ngày $24,500 Khoảng $11,880
Nút điều khiển sinh từng token Có Không

Ở đầu nhanh, phần điều khiển rõ ràng thấp hơn 4 lần sinh trọn. Ở đầu chậm, 4 lần gọi ở 500 ms có thể tiến gần một lần sinh dài, nên đừng mô tả chất bôi trơn là vài chục mili giây được bảo đảm. Cái nhát cắt mua được là đầu ra không còn tính giá như chat, và phán đoán có thể tách khỏi phần sinh.

Ba chỗ để đặt

Chia luồng trước

Trước khi một yêu cầu vào suy luận lõi, hãy hỏi Jev một phân loại đóng. Nếu một câu trả lời có sẵn hoặc một bộ nhớ đệm trả lời được, mã tự trả nó. Chỉ nấc có nghĩa «cái này phải được triển khai» mới đánh thức mô hình đắt. Jev không viết câu trả lời đó.

def handle_incoming_request(user_payload):
    route = jev_client.choice(
        state=user_payload.text,
        options=["FAST_ACK", "SIMPLE_QUERY", "DEEP_REASONING"],
    )
    if route.top == "FAST_ACK":
        return canned_ack(user_payload)
    if route.top == "DEEP_REASONING" and route.probability >= 0.8:
        return call_heavy_llm_pipeline(user_payload)
    return canned_ack(user_payload)

Trích xuất phải cứng

Tham số công cụ không nên được tách ra từ một đoạn có chú thích bên trong. Hãy để Jev ánh xạ chữ mơ hồ lên các trường và các liệt kê đã được liệt kê từ trước. Phía dưới nhận một phân bố và một lựa chọn đứng đầu, không phải một lần phân tích JSON có thể thất bại.

Làm ngữ cảnh mỏng trước

Hàng vạn token lịch sử, đẩy thẳng vào mô hình chính, thì đắt và dễ mất ở giữa. Một câu hỏi đóng ở giữa bỏ các lượt không liên quan và giữ trạng thái đáng kể. Mô hình chính khi ấy thấy một đầu vào ngắn hơn. Quy tắc về cái cần bỏ phải là một câu hỏi, không phải «xin hãy tóm tắt cái này».

Nhóm bài