사람은 루프의 가운데에서 가장자리로 물러납니다

실패를 받아 내는 일과 모든 질문을 보는 일을 가릅니다. 확신도가 높은 예/아니오와 단일 선택은 분기에 바로 들어갑니다. 사람은 되튕긴 조각만 처리하고, 확신도는 정말로 임계값이 되어야 합니다.

Folkbench folkbench.com

공동 작성자: folkbench.com (Folkbench는 AI API, 모델 서비스, 관련 사이트를 위한 검증 가능한 평가·선택 플랫폼입니다. 공개된 서비스 정보, 가격, 가용성, 지연, 증거 구간을 바탕으로 사용자가 경로를 비교하고 고를 수 있게 합니다.)

이 시리즈는 열 편입니다:

지난 2년 동안, 내가 본 진지한 AI 시스템은 거의 모두 사람이 루프 안에 있다고 가정했습니다. 사람들이 human in the loop라고 부르는 것입니다. 출력은 믿을 수 없습니다. 시스템이 한 단락을 끝내고도, 그 단락을 바로 쓸 수 있는지를 스스로 모르므로 사람이 받아 내야 합니다.

받아 내기를 계속하면, 모든 판단을 사람이 보는 일이 됩니다. 내가 만난 것이 그것입니다. 뭔가 잘못되었을 때만 사람을 부르는 경우는 드뭅니다. 사람이 내내 루프에 앉아 있는 경우가 흔합니다. 질문이 적을 때, 그 한눈은 아직 책임처럼 보입니다. 질문이 많으면 사람은 그저 손을 통과시킬 뿐이고, 통과한 뒤에도 일은 어쨌든 계속됩니다. 그 2년 동안 나는 이것을 진지한 시스템의 기본 장비로 받았습니다. 출력이 그런 모양이면 사람이 가운데에 앉아야 합니다. 나는 이것을 게으름으로 읽지 않습니다.

나중에 나는 두 가지를 갈랐습니다. 받아 내기는, 사람이 옆에 서서 확신할 수 없는 순간을 기다리는 것입니다. 모든 루프에 사람이 있다는 것은, 모든 질문이 그 손을 통과해야 한다는 뜻입니다. 나는 예전에 이 둘을 한 가지로 대했고, 그러면 대부분의 루프에서 사람을 빼낼 수 없었습니다. 어느 질문이 확신할 수 없는지조차 모르면, 나는 전부 스스로 볼 수밖에 없습니다.

모델이 내게 넘긴 것은 한 단락이었습니다. 그 단락은 아주 완전하게 쓸 수 있고, 결론과 아주 비슷해 보일 수 있지만, 제어 흐름에는 들어갈 수 없습니다. 나는 먼저 읽어야 하고, 그것이 일을 어느 쪽으로 가져가려는지 읽은 다음, 분기를 스스로 놓아야 합니다. 나는 그 단계를 없앨 수 없습니다. 코드가 원하는 것은 값이고, 그 단락은 아직 값이 아닙니다. 사람이 루프의 가운데에 머무는 것은, 분기가 내가 읽기를 끝낼 때까지 기다려야 하기 때문입니다.

내가 검토한 것은 가끔의 예외가 아니었습니다. 통과시키든 상위 단계로 넘기든, 나는 먼저 이유 한 편을 끝내야 했고, 한 편 한 편이었습니다. 충분히 읽고 나면, 나는 완전하게 쓴 글을 이미 끝난 생각으로 대합니다. 사람은 여전히 루프의 가운데에 앉아 있었고, 판단은 그 단락을 따라갔습니다.

코드에 들어갈 만큼 작은 판단

Jev는 그것을 뒤집습니다. 판단은 충분히 작고, 충분히 닫혀서, 코드의 제어 흐름에 바로 들어갑니다. 질문은 묻기 전에 닫혀 적힙니다. 예/아니오이거나, 단일 선택이거나, 아니면 Score입니다. 모델은 이미 닫힌 질문만 답합니다. 일 전체를 단락으로 말하지 않습니다. 답이 분기에 들어갑니다. 사람은 더 이상 가운데에 있지 않습니다.

내가 말하는 작음은 질문입니다. 업무 자체가 작아진 것은 아닙니다. 업무는 있어야 할 만큼 크게 남습니다. 작아지는 것은 모델에게 묻는 문장입니다. 그 문장은 코드 안의 분기에 들어갈 수 있어야 합니다. 분기에 들어갈 수 없는 것은 여전히 사람이 읽어야 하는 메모이고, 사람은 다시 루프의 가운데로 돌아옵니다.

나는 질문을 쓸 때 이것을 지킵니다. 선택지를 적을 수 있고 경계가 싸우지 않으면, 그 질문은 물을 수 있습니다. “알아서 판단하라”만 적으면, 그것은 닫힌 질문이 아닙니다. 내가 여전히 스스로 판단하거나, 더 긴 단락이 됩니다. 나는 그런 것을 남겨 둡니다. 모델에게 묻지 않습니다.

더 정확히 말하면, 그것이 뒤집는 것은 사람이 아닙니다. “모든 판단은 사람이 한눈 봐야 한다”는 것입니다. 모든 질문에 확신도가 실립니다. 확신도를 믿을 수 있을 때, 시스템은 가장 확신할 수 없는 조각만 사람에게 보냅니다. 사람은 루프의 가운데에서 가장자리로 물러납니다. 확실한 부분에서 사람은 더 이상 나타나지 않습니다.

나는 얕은 그림 네 개를 머리에 둡니다. 경보를 닫을지, 청구서를 지급할지, 다음 고객 응대 문장을 상위 단계로 넘길지, Agent 실행을 사람이 봐야 하는지입니다. 같은 종류의 일입니다. 업무를 먼저 닫힌 작은 질문으로 쪼개고, 코드가 결과에서 걷습니다. 사람은 예전에 이 루프들의 가운데에 서 있었습니다. 쪼갠 뒤, 대부분의 분기는 사람을 부를 필요가 없습니다.

나는 되튕긴 것만 처리합니다

나는 이렇게 씁니다. 확신도가 높은 예/아니오와 단일 선택은 곧장 분기로 갑니다. 나는 내용을 열지 않습니다. 가운데 등급에 떨어지고 분포가 평평한 Score가, 내게 되튕기는 것입니다. 가운데 등급에만 떨어지고 분포가 평평하지 않은 것도, 나는 보지 않습니다. 코드가 계속합니다. 세 번째 방식은 없습니다. 나는 그것이 이유를 먼저 쓰게 한 다음, 그것을 보고 내가 볼지를 정하지 않습니다. 그렇게 하면 사람은 여전히 모든 질문을 통과합니다. 되튕기는 것은 작은 조각뿐이고, 나는 받을 수 있습니다. 예전에 모든 질문을 통과시킬 때, 나는 다 보고도 내가 무엇을 판단했는지 말하지 못할 수 있었습니다.

되튕겨 오면 분포를 보고, 긴 글을 보지 않습니다. 긴 글은 사람을 납치합니다. 이유가 펼쳐지면 결론은 보통 이미 골라져 있고, 말은 그 결론을 따라 아래로 씁니다. 나는 다른 판단이 있을 수 있는데도, 먼저 그 단락을 분해해야 합니다. 나는 그것이 틀린 문장을 가리킬 수 없습니다. 그것보다 덜 확신할 뿐이고, 되받아치는 것이 어색하며, 분해가 끝날 때쯤 종종 따라 끄덕입니다. 분포는 나와 다투지 않습니다. 각 등급이 얼마나 무거운지가 놓여 있습니다. 평평한 곳은 한눈에 보입니다. 결정을 바꾸면 바꿉니다. 아주 가득 쓴 단락을 먼저 이길 필요가 없습니다.

나는 여전히 이 시스템 안에 있고, 대부분의 루프에는 없습니다. 되튕기는 때가 내게 속하는 때입니다. 내 손에 있는 것은 갈라지지 않은 분포입니다. 나는 스스로 한쪽을 고릅니다. 코드는 내가 고른 대로 걷습니다. 이미 갈라진 것은 코드 안에서 끝나고, 내가 볼 차례가 아닙니다. 나는 더 이상 모델과 협상하려고 단락을 쓰지 않고, 설명이 오기를 기다리지도 않습니다.

확신도는 정말로 임계값이 되어야 합니다

내가 이렇게 쓸 엄두가 나는 데는 조건이 하나 있습니다. 확신도가 정말로 임계값으로 작동해야 합니다. 모델이 질문은 할 수 있는데 어느 번에 확신할 수 없는지를 말하지 못하면, 사람은 여전히 루프의 가운데를 떠날 수 없습니다. 공식 설명은, 그들이 RLCD로 훈련하는 것이 보정이라고 합니다. 확신도가 높을수록 더 정확하고, 비슷한 입력은 비슷한 답을 줍니다. 나는 그 방향을 믿습니다. 첫 문장이 임계값을 의미 있게 만듭니다. 두 번째 문장을 나는 더 신경 씁니다. 비슷한 질문이 오늘은 이렇고 내일은 저러면, 내가 놓은 임계값은 고정되어 있지 않습니다. 그래서 나는 사람을 루프의 가운데에서 옮길 엄두가 납니다.

확신도가 장식이면 일이 뒤집힙니다. 사람은 가장자리로 물러난 것이 아닙니다. 확신을 더 잘 연기하는 기계로 바뀐 것입니다. 그것은 모든 질문에 아주 가득한 숫자를 주고, 그 숫자는 정확한지와 관계가 없습니다. 내가 그것을 통과 조건으로 쓰면, 놓으면 안 될 때 놓게 됩니다. 내가 지금 쓰는 방식에서 그것은 그렇게 하지 않습니다. 확신도가 높으면 코드에 줍니다. 되튕기는 것은 분포가 평평하고, 공손한 불확실의 문장이 붙지 않습니다.

사람이 다시 들어와야 하는 때도 있습니다. 잘 닫히지 않은 것은 자동화하면 안 됩니다. 선택지에 조각이 빠졌거나 경계 둘이 엉키면, 확신도는 나쁜 질문 위에 숫자만 채웁니다. 나는 먼저 돌아가 질문을 바꿉니다. 그 빈틈을 모델로 받치지 않습니다. 확률 임계값으로 살 수 없을 만큼 큰 결과는 루프 안에 남겨 둡니다. 네 그림 모두 그런 종류의 루프가 있고, 확신도가 아무리 높아도 나는 그것을 임계값에 주지 않습니다. 그것은 모델이 실패한 것이 아닙니다. 그 루프는 자동화하면 안 됩니다.

사람이 가장자리로 물러난 뒤, 내가 보는 질문은 훨씬 적습니다. 확실한 것은 더 이상 보지 않습니다. 가장 확신할 수 없는 조각은 여전히 내 손에 있습니다. 임계값에 주면 안 되는 루프에는 사람이 안에 남습니다.

출처

시리즈