AI 출력의 안전 기준은 수신자에 따라 달라져야 하는가

앞 편에서 잣대를 먼저 만들어 둔 값은 두 번째 기능이 그대로 재사용할 때 나왔습니다. 대사 화면에서 “이 주문에 무슨 일이 있었나”를 한 문단으로 돌려주는 운영자용 서술에 사실 묶음·검증기·포트를 그대로 썼고, 새로 만든 것은 어댑터와 창구뿐입니다.

그런데 받는 사람이 상담원이 아니라 운영자라 가드가 오히려 줄었습니다.

무엇을 막고 무엇을 안 막을지는 받는 사람이 정합니다. 가드를 필요 없는 곳에 늘리면 무엇이 왜 있는지 흐려지고, 그래서 남는 위험 하나만 막았습니다. 대가는 가드를 줄인 자리의 결함을 제가 다시 못 본다는 것입니다.

숫자로는 28% 짧았는데 그게 개선이 아니었다

기준선 위에서 같은 사실 10건을 나란히 태웠습니다.

숫자로는 28% 짧습니다. 이걸 개선으로 읽은 게 나중에 틀린 것으로 드러납니다. 평가자는 긴 답을 선호하도록 알려져 있는데, 그걸 모르고 짧아진 것을 좋아졌다고 읽었습니다.

길이를 지표에서 뺐습니다. 대신 프롬프트나 모델을 견줄 때는 둘을 나란히 놓고 고르는 쌍 비교를 씁니다. 순서를 무작위로 하되 저장하고, 고르기 전에는 어느 쪽이 모델인지 안 보이게 합니다.

그래도 기본값은 바꾸지 않았습니다. “읽기 좋은가”는 사람이 읽고 판단한 표본이 있어야 하는데 아직 0건입니다.

남은 구멍

• 쌍 비교 표본은 아직 0건입니다. 기본값을 켜는 기준은 절대 품질이 아니라 기존 방식 대비 개선이고, 그건 사람이 확인해야 합니다.
• 심판 모델로 그 표본을 대신하려던 시도는 심판 편향 편에서 실패했습니다.

참고

• 쌍 비교와 절대 점수의 차이: SuperAnnotate, Eugene Yan
• 평가자의 길이 편향: arXiv 2410.20266
• 앞 편(사실 묶음과 검증기): 결제 상담 AI가 지어낸 금액을 막으려다 진짜 금액까지 버리고 있었다