모델이 쓰는 모든 토큰은 확률 분포에서 뽑힙니다. logprobs는 그 분포를 토큰 하나씩 보여 줍니다.
작동 방식
모델은 단계마다 어휘에 있는 모든 토큰에 점수를 매기고, 그 점수를 확률로 바꿉니다. API는 모델이 고른 토큰의 확률에 자연로그를 취한 값을 알려 줄 수 있습니다. 원래 숫자는 매우 작아지기 때문에 로그를 씁니다. 로그를 더하는 것은 확률을 곱하는 것과 같습니다.
OpenAI Chat Completions API에서는 요청 필드 두 개로 이를 요청합니다.
logprobs: true는 출력 토큰마다 로그 확률을 반환합니다.top_logprobs는 각 위치에서 가능성 높은 대안을 몇 개 보여 줄지 정하는 “an integer between 0 and 20”(번역: 0에서 20 사이의 정수)입니다.logprobs: true가 필요합니다.
choices[0].logprobs.content의 각 항목에는 token, 그 logprob, UTF-8 bytes, top_logprobs 목록이 들어 있습니다. exp(logprob)로 변환합니다.
| logprob | 확률 |
|---|---|
| 0 | 1.00 |
| -0.105 | 약 0.90 |
| -0.693 | 약 0.50 |
| -2.303 | 약 0.10 |
왜 중요한가
OpenAI Cookbook은 실용적인 활용법을 소개합니다.
- 분류 신뢰도. 한 단어 레이블을 요청하고 그 토큰의 logprob를 읽습니다. 신뢰도가 낮은 항목은 사람에게 넘깁니다.
- 검색 결과 확인. 제공한 컨텍스트로 질문에 답할 수 있는지 묻고, “yes”의 확률을 점수로 씁니다. Cookbook은 이를 할루시네이션 감소와 연결합니다.
- 자동 완성. 모델이 확신할 때만 다음 단어를 제안합니다.
- 퍼플렉시티(perplexity). 답변 전체의 logprob 평균을 구해 부호를 바꾸고 e의 그 값 제곱을 계산합니다. 퍼플렉시티가 낮을수록 모델이 그 텍스트를 더 예측 가능하다고 본 것입니다.
logprobs는 샘플링도 눈에 보이게 합니다. temperature나 top-p를 올리면 확률이 낮은 토큰이 통과하는데, logprobs에 그 모습이 드러납니다. 추가 요청 없이 답변과 함께 오므로 LLM-as-judge 단계를 저렴하게 보완해 줍니다.
BroadNet Inference에서는
BroadNet의 API 레퍼런스는 어떤 모델에 대해서도 logprobs나 top_logprobs를 문서화하지 않습니다. OpenAI 호환 엔드포인트라고 해서 이를 반환한다고 가정하지 마세요. logprobs: true로 요청을 하나 보내 choices[0].logprobs가 채워지는지 확인하고, 비어 있다면 judge 프롬프트 같은 대비책을 세우세요. 테스트용 클라이언트 설정은 Python SDK 가이드에 나와 있습니다.
흔한 실수
- 높은 logprob를 사실이 맞다는 증거로 읽는 것. 모델이 그 토큰을 예상했다는 뜻일 뿐입니다.
- 서로 다른 모델의 logprobs를 비교하는 것. 토크나이저와 보정 방식이 달라서 숫자의 기준이 같지 않습니다.