LLM으로 신뢰도 점수를 매기는 것은 좋지 않은 생각

LLM이 출력하는 신뢰도 점수는 내부 확신을 측정한 값이 아니라, 대화에 이어질 법한 텍스트를 토큰 단위로 생성한 결과임 믿을 만한 점수는 예측에 쓰인 정보를 반영해야 하며, 같은 종류의 질문에서 실제 정답률과 일치하는지 검증해야 함 보정(calibration) 여부는 여러 예측을 모아 확인해야 함. 과거 평균 확률만 항상 출력해도 보정될 수 있으므로, 개별 문제의 정보를 활용하는지도 중요함 같은 질문을 반복하거나 표현만 바꿔도 LLM의 점수가 달라질 수 있어, 겉보기의 정밀함만으로 정확성을 판단할 수 없음 대안은 LLM에 작업을 맡기되, 관측 가능한 정보와 실제 결과 기록으로 별도의 신뢰도 산정 규칙을 만들고 지속적으로 검증하는 것임 신뢰도는 정보에 기반한 계산이어야 함 LLM 기반 에이전트는 코드 작성, 논문 요약, 여행 계획, 양식 작성뿐 아니라 요청받은 확률이나 신뢰도 점수도 출력하지만, 숫자를 출력한다는 사실만으로 믿을 근거가 생기지는 않음 일기예보에서 “내일 비가 올 확률을 70%로 확신한다”는 말은 현재 가진 정보를 바탕으로 예측을 얼마나 확신하는지 나타냄 내일에 관한 기압, 습도, 바람, 레이더상의 구름 정보와 과거 비슷한 날의 강수 기록을 함께 사용함 정보가 많아지고 한쪽을 강하게 가리킬수록 신뢰도는 100%나 0%에 가까워질 수 있음 이론적으로 신뢰도는 의견이 아니라 계산임. 과거 기록에서 출발해 새로운 정보로 갱신하는 가상의 규칙을 정확히 적용한다면, 같은 정보를 가진 두 예보관은 같은 값에 도달해야 함 값이 다르다면 가진 정보가 다르거나, 누군가 규칙을 잘못 적용한 것임 2주 뒤처럼 해당 날짜의 정보가 아직 없다면 과거 빈도가 출발점이 됨 해당 계절에 비가 오는 날이 약 30%라면 우선 30%로 예측하고, 날짜가 가까워져 정보가 쌓이면 값을 올리거나 내릴 수 있음 보정 여부와 정보 활용을 함께 확인해야 함 하루의 결과만으로는 70%라는 점수의 정확성을 판단할 수 없음. 비는 오거나 오지 않을 뿐이므로, 같은 점수를 부여한 여러 날을 모아 확인해야 함 70%로 예측한 날 중 약 70%에 비가 왔다면 점수가 정확함 실제 비율이 40%라면 과신했고, 90%라면 확신이 부족했던 것임 예측한 확률과 실제 발생 비율이 일치하는 상태가 보정임 예시 기록에서는 10%로 예측한 120일 중 13일에 비가 와 실제 비율이 11%였음 30% 예측은 90일 중 26일로 29%, 70% 예측은 80일 중 57일로...