Người từ giữa vòng bước ra rìa

Hứng lỗi và việc nhìn mọi câu được tách ra. Có-không và chọn một với độ tin cậy cao đi thẳng vào nhánh. Người chỉ xử lý lát bật lại, và độ tin cậy phải thực sự làm được ngưỡng.

Folkbench folkbench.com

Đồng tác giả: folkbench.com (Folkbench là nền tảng đánh giá và lựa chọn có thể kiểm chứng cho API AI, dịch vụ mô hình và các trang liên quan. Nền tảng dựa trên thông tin dịch vụ đã công bố, giá, độ sẵn sàng, độ trễ và cửa sổ bằng chứng để giúp người dùng so sánh và chọn một đường đi.)

Nhóm này gồm mười bài:

Hai năm qua, hầu hết mọi hệ thống AI nghiêm túc tôi thấy đều giả định một người ở trong vòng, cái người ta gọi là human in the loop. Đầu ra không trông cậy được. Hệ thống viết xong một đoạn và tự nó không biết đoạn đó dùng trực tiếp được không, nên một người phải hứng.

Hứng mãi, thành ra một người nhìn mọi phán đoán. Đó là chỗ tôi đụng. Chỉ gọi người khi đã có chuyện sai thì hiếm. Một người ngồi trong vòng suốt thì thường. Khi ít câu, cái liếc đó vẫn trông như trách nhiệm. Khi nhiều, người chỉ chuyển tay, và sau khi chuyển tay việc vẫn đi tiếp. Hai năm đó tôi coi đây là trang bị chuẩn của một hệ thống nghiêm túc. Đầu ra thành hình đó, thì một người phải ngồi ở giữa. Tôi không đọc đó là lười.

Sau này tôi tách hai việc. Hứng là một người đứng bên, chờ khoảnh khắc không chắc. Một người trong mọi vòng nghĩa là mọi câu phải qua tay họ. Tôi từng coi hai việc này là một, rồi tôi không lấy người ra khỏi hầu hết các vòng được. Nếu tôi còn không biết câu nào không chắc, tôi chỉ có thể tự nhìn hết.

Cái mô hình đưa cho tôi là một đoạn. Đoạn viết rất đầy được, và nó có thể trông rất giống một kết luận, nhưng nó không vào được luồng điều khiển. Tôi phải đọc trước, đọc nó muốn đưa việc về phía nào, rồi tự đặt nhánh. Tôi không bỏ bước đó được. Mã muốn một giá trị, và đoạn ấy chưa phải một giá trị. Người ở giữa vòng vì nhánh phải chờ đến khi tôi đọc xong.

Cái tôi duyệt không phải ngoại lệ thỉnh thoảng. Cho qua hay nâng cấp, tôi đều phải đọc hết một lý do trước, đoạn này sau đoạn kia. Đọc đủ nhiều, tôi coi một đoạn viết đầy là suy nghĩ đã xong. Người vẫn ngồi giữa vòng, và phán đoán đã đi theo đoạn ấy.

Một phán đoán nhỏ đủ để vào mã

Jev lật ngược lại. Phán đoán bị ép đủ nhỏ, và đủ đóng, để đi thẳng vào luồng điều khiển của mã. Câu được viết kín trước khi hỏi: có-không, hoặc chọn một, hoặc không thì một Score. Mô hình chỉ trả lời câu đã đóng. Nó không kể cả việc thành một đoạn. Câu trả lời vào một nhánh. Một người không còn ở giữa.

Cái nhỏ tôi nói là câu hỏi. Bản thân việc không nhỏ đi. Việc vẫn lớn đúng mức nó phải lớn. Cái nhỏ đi là câu hỏi mô hình. Câu đó phải vào được một nhánh trong mã. Cái không vào được nhánh vẫn là một ghi chú người phải đọc, và người lại ở giữa vòng.

Tôi giữ điều này khi viết câu. Nếu các lựa chọn viết được, và các biên không đánh nhau, thì câu hỏi được. Nếu tôi chỉ viết “tùy anh phán”, đó không phải câu hỏi đóng. Hoặc tôi vẫn tự phán, hoặc nó thành một đoạn dài hơn. Tôi giữ những cái đó. Tôi không hỏi mô hình.

Nói đúng hơn, cái nó lật không phải người. Là “mọi phán đoán đều cần một người liếc”. Mỗi câu mang một độ tin cậy. Khi độ tin cậy tin được, hệ thống chỉ gửi lát ít chắc nhất cho một người. Người bước từ giữa vòng ra rìa. Ở phần chắc, người không còn xuất hiện.

Tôi giữ bốn bức tranh nông trong đầu: một cảnh báo có đóng không, một hóa đơn có trả không, câu chăm sóc khách hàng kế tiếp có nâng cấp không, và một lần chạy Agent có cần người nhìn không. Chúng cùng loại. Việc được tách thành các câu nhỏ đóng trước, và mã đi từ kết quả. Người từng đứng giữa các vòng này. Sau khi tách, hầu hết nhánh không phải gọi người.

Tôi chỉ xử lý cái bật lại

Tôi dùng như thế này. Có-không và chọn một với độ tin cậy cao đi thẳng vào một nhánh. Tôi không mở nội dung. Một Score rơi vào mức giữa, với phân bố phẳng, là cái bật về tôi. Cái chỉ rơi vào mức giữa, với phân bố không phẳng, tôi cũng không nhìn. Mã đi tiếp. Không có cách thứ ba. Tôi không để nó viết một lý do trước rồi từ đó quyết tôi có nhìn không. Làm vậy, một người vẫn đi qua mọi câu. Cái bật lại chỉ là một lát nhỏ, và tôi nhận được. Khi trước tôi đi qua mọi câu, tôi nhìn xong vẫn không nói được mình đã phán gì.

Khi nó bật sang, hãy nhìn phân bố, không nhìn một đoạn dài. Một đoạn dài bắt cóc người. Một khi lý do đã trải ra, kết luận thường đã được chọn, và chữ viết xuống theo kết luận đó. Tôi có thể có phán đoán khác, và tôi vẫn phải tháo đoạn ấy trước. Tôi không chỉ được câu nó viết sai. Tôi chỉ kém chắc hơn nó, và tôi thấy ngượng khi đẩy lại, và đến cuối lúc tháo tôi thường gật theo. Một phân bố không cãi với tôi. Mỗi mức nặng bao nhiêu, đều bày ra. Chỗ phẳng tôi nhìn một cái là thấy. Nếu tôi đổi quyết định, tôi đổi, không phải thắng một đoạn viết rất đầy trước.

Tôi vẫn ở trong hệ thống này, và tôi vắng mặt ở hầu hết các vòng. Lúc nó bật lại là lúc thuộc về tôi. Trong tay tôi là một phân bố không tách. Tôi tự chọn một phía. Mã đi theo cái tôi chọn. Cái đã tách thì xong trong mã, và chưa đến lượt tôi nhìn. Tôi không còn viết một đoạn để thương lượng với mô hình, và tôi không chờ nó gửi cho tôi một lời giải thích.

Độ tin cậy phải làm được ngưỡng

Tôi dám dùng cách này với một điều kiện. Độ tin cậy phải thực sự làm được ngưỡng. Nếu mô hình làm được các câu nhưng không nói lần nào nó không chắc, một người vẫn không rời được giữa vòng. Lời chính thức nói cái họ huấn luyện bằng RLCD là hiệu chuẩn: độ tin cậy cao hơn thì chính xác hơn, và các đầu vào giống nhau cho các câu trả lời giống nhau. Tôi tin hướng đó. Câu đầu làm cho một ngưỡng có nghĩa. Câu thứ hai tôi quan tâm hơn. Nếu các câu giống nhau hôm nay một kiểu ngày mai một kiểu, ngưỡng tôi đặt sẽ không đứng yên. Vì thế tôi dám đưa người ra khỏi giữa vòng.

Nếu độ tin cậy là đồ trang trí, chuyện đảo ngược. Người đã không bước ra rìa. Người đã bị thay bằng một cái máy giỏi diễn sự chắc hơn. Nó đưa cho mọi câu một con số rất đầy, và con số không liên quan đến chuyện nó có chính xác không. Nếu tôi dùng nó làm điều kiện cho qua, tôi buông khi không nên buông. Trong cách tôi dùng bây giờ, nó không làm vậy. Độ tin cậy cao, tôi giao cho mã. Cái bật lại, phân bố thì phẳng, không kèm một câu lịch sự về sự không chắc.

Cũng có lúc một người phải bước trở vào. Cái chưa đóng tốt thì không nên tự động hóa. Một lựa chọn thiếu một mảnh, hoặc hai biên rối vào nhau, và độ tin cậy chỉ điền một số vào một câu hỏi xấu. Tôi quay lại sửa câu trước. Tôi không lấy mô hình chống cái hở. Những hậu quả lớn đến mức không mua được bằng một ngưỡng xác suất, tôi để trong vòng. Cả bốn bức tranh đều có một vòng loại đó, và độ tin cậy cao đến đâu tôi cũng không giao nó cho một ngưỡng. Đó không phải mô hình thất bại. Vòng đó không nên được tự động hóa.

Sau khi người bước ra rìa, các câu tôi nhìn ít hơn nhiều. Những cái tôi chắc, tôi không còn nhìn. Lát ít chắc nhất vẫn ở trong tay tôi. Những vòng không nên giao cho một ngưỡng, một người ở lại bên trong.

Nguồn

Nhóm bài