BroadRouter
시작하기

Logprobs(로그 확률)

업데이트

Logprobs(로그 확률)는 언어 모델이 생성한 토큰에 부여한 로그 확률입니다. 이를 반환하는 API는 출력 토큰마다 모델이 그 토큰을 얼마나 가능성 있다고 판단했는지, 그리고 원하면 그 위치에서 가능성이 높았던 다른 후보 토큰도 보여 줍니다.

다른 이름: 로그 확률, 토큰 로그 확률, 토큰 확률, logprobs 뜻, log probabilities, token log probabilities, top_logprobs, token probabilities

모델이 쓰는 모든 토큰은 확률 분포에서 뽑힙니다. logprobs는 그 분포를 토큰 하나씩 보여 줍니다.

작동 방식

모델은 단계마다 어휘에 있는 모든 토큰에 점수를 매기고, 그 점수를 확률로 바꿉니다. API는 모델이 고른 토큰의 확률에 자연로그를 취한 값을 알려 줄 수 있습니다. 원래 숫자는 매우 작아지기 때문에 로그를 씁니다. 로그를 더하는 것은 확률을 곱하는 것과 같습니다.

OpenAI Chat Completions API에서는 요청 필드 두 개로 이를 요청합니다.

  • logprobs: true는 출력 토큰마다 로그 확률을 반환합니다.
  • top_logprobs는 각 위치에서 가능성 높은 대안을 몇 개 보여 줄지 정하는 “an integer between 0 and 20”(번역: 0에서 20 사이의 정수)입니다. logprobs: true가 필요합니다.

choices[0].logprobs.content의 각 항목에는 token, 그 logprob, UTF-8 bytes, top_logprobs 목록이 들어 있습니다. exp(logprob)로 변환합니다.

logprob 확률
0 1.00
-0.105 약 0.90
-0.693 약 0.50
-2.303 약 0.10

왜 중요한가

OpenAI Cookbook은 실용적인 활용법을 소개합니다.

  • 분류 신뢰도. 한 단어 레이블을 요청하고 그 토큰의 logprob를 읽습니다. 신뢰도가 낮은 항목은 사람에게 넘깁니다.
  • 검색 결과 확인. 제공한 컨텍스트로 질문에 답할 수 있는지 묻고, “yes”의 확률을 점수로 씁니다. Cookbook은 이를 할루시네이션 감소와 연결합니다.
  • 자동 완성. 모델이 확신할 때만 다음 단어를 제안합니다.
  • 퍼플렉시티(perplexity). 답변 전체의 logprob 평균을 구해 부호를 바꾸고 e의 그 값 제곱을 계산합니다. 퍼플렉시티가 낮을수록 모델이 그 텍스트를 더 예측 가능하다고 본 것입니다.

logprobs는 샘플링도 눈에 보이게 합니다. temperature나 top-p를 올리면 확률이 낮은 토큰이 통과하는데, logprobs에 그 모습이 드러납니다. 추가 요청 없이 답변과 함께 오므로 LLM-as-judge 단계를 저렴하게 보완해 줍니다.

BroadNet Inference에서는

BroadNet의 API 레퍼런스는 어떤 모델에 대해서도 logprobs나 top_logprobs를 문서화하지 않습니다. OpenAI 호환 엔드포인트라고 해서 이를 반환한다고 가정하지 마세요. logprobs: true로 요청을 하나 보내 choices[0].logprobs가 채워지는지 확인하고, 비어 있다면 judge 프롬프트 같은 대비책을 세우세요. 테스트용 클라이언트 설정은 Python SDK 가이드에 나와 있습니다.

흔한 실수

  • 높은 logprob를 사실이 맞다는 증거로 읽는 것. 모델이 그 토큰을 예상했다는 뜻일 뿐입니다.
  • 서로 다른 모델의 logprobs를 비교하는 것. 토크나이저와 보정 방식이 달라서 숫자의 기준이 같지 않습니다.

자주 묻는 질문

logprob를 퍼센트로 바꾸려면 어떻게 하나요?

e의 logprob 제곱을 계산하세요. logprob가 -0.105면 약 0.90, 즉 90%입니다. logprob가 0이면 모델이 그 토큰에 확률 1을 부여했다는 뜻입니다.

logprobs로 답이 사실인지 판단할 수 있나요?

아니요. logprobs는 사실이 맞는지가 아니라 모델이 그 표현에 얼마나 확신했는지를 나타냅니다. 모델은 확신에 차서 틀릴 수도 있습니다.

BroadNet Inference는 logprobs를 반환하나요?

BroadNet API 레퍼런스는 logprobs를 문서화하지 않습니다. 이를 기반으로 개발하기 전에 logprobs를 true로 설정한 테스트 요청을 보내 응답을 확인하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기