BroadRouter

Top-p(뉴클리어스 샘플링)

업데이트

Top-p(뉴클리어스 샘플링, nucleus sampling)는 언어 모델이 가능성이 가장 높은 토큰부터 모아 확률 합이 0.9 같은 임곗값 p에 도달하는 가장 작은 집합에서만 다음 토큰을 샘플링하고, 가능성이 낮은 나머지 꼬리는 버리는 디코딩 방식입니다.

다른 이름: 뉴클리어스 샘플링, 누클레우스 샘플링, top-p 샘플링, top_p 파라미터, top p 설정, nucleus sampling, top_p, top-p sampling

Top-p는 모델이 토큰을 하나 고르기 전에, 어떤 토큰이 추첨 후보에 들어갈 수 있는지를 정합니다.

작동 방식

Holtzman과 동료들은 2019년에 뉴클리어스 샘플링을 제안했습니다. 이들은 top-p 어휘를 누적 확률이 p 이상이 되는 가장 작은 토큰 집합으로 정의합니다. 이 집합 밖의 토큰은 모두 확률이 0이 됩니다. 남은 토큰의 확률은 합이 1이 되도록 다시 조정되고, 다음 토큰은 그 안에서 샘플링됩니다. 논문의 주요 결과는 p = 0.95를 사용합니다.

이 집합의 크기는 단계마다 달라집니다.

다음 토큰 분포 p = 0.9에서 남는 토큰 수
0.95인 토큰 하나 1
0.3, 0.3, 0.2, 0.15인 토큰 네 개 4
길고 평평하게 퍼진 분포 많음

이것이 이 방식의 핵심입니다. 논문은 분포의 “less reliable tail”(번역: 덜 신뢰할 수 있는 꼬리)이 텍스트를 망가뜨리며, 이를 잘라 내면 일관성을 잃지 않고도 다양한 출력을 얻을 수 있다고 주장합니다. 고정된 top-k는 이렇게 적응하지 못합니다. 모델이 확신하든 망설이든 같은 개수를 남기기 때문입니다.

OpenAI API에서 top_p의 기본값은 1이며, 아무것도 자르지 않는다는 뜻입니다. 레퍼런스는 “0.1 means only the tokens comprising the top 10% probability mass are considered.”(번역: 0.1은 상위 10% 확률 질량을 이루는 토큰만 고려한다는 뜻이다)라는 예를 듭니다. Hugging Face Transformers도 모델의 generation_config.json에 다른 값이 없으면 기본값 1.0을 씁니다.

왜 중요한가

  • 이상한 토큰이 줄어듭니다. 꼬리를 자르면 텍스트를 엉뚱한 방향으로 끌고 가는 드문 선택이 사라집니다. 긴 답변과 할루시네이션 위험에서 특히 중요합니다.
  • temperature와의 상호작용. temperature는 점수에 먼저 적용되고, top-p가 그 결과를 잘라 냅니다. 둘을 동시에 조정하면 동작을 예측하기 어려워지므로 OpenAI는 하나만 바꾸라고 권합니다.
  • 디버깅. logprobs를 보니 모델이 확률이 낮은 토큰을 골랐다면, top-p를 낮췄을 때 그 토큰은 걸러졌을 것입니다.

top-p는 가격을 바꾸지 않습니다. 생성된 토큰은 모두 같은 방식으로 과금됩니다.

BroadNet Inference에서는

BroadNet의 API 레퍼런스는 top_p, top_k와 그 기본값을 문서화하지 않습니다. 요청 예시에서도 둘 다 설정하지 않습니다. OpenAI SDK는 top_p를 그대로 전달하지만, 모델마다 이를 적용하는지는 명시되어 있지 않으므로 의존하기 전에 실제 프롬프트로 테스트하세요. Python SDK 가이드와 모델을 바꾸기 전에 평가하기 글을 참고하세요. 이 글은 비교하는 동안 샘플링 설정을 고정해야 하는 이유를 설명합니다.

흔한 실수

  • top_p와 temperature를 함께 조정한 뒤, 어느 쪽이 결과를 바꿨는지 모르게 되는 것.
  • 한 모델의 샘플링 설정을 다른 모델에 그대로 복사하는 것. 권장 값은 모델마다 다릅니다.

자주 묻는 질문

top-p와 temperature는 무엇이 다른가요?

temperature는 모든 토큰의 확률 모양을 바꿉니다. top-p는 가능성이 낮은 꼬리를 잘라 내고 남은 토큰에서 샘플링합니다. OpenAI는 둘 중 하나만 바꾸고 둘 다 바꾸지는 말라고 권합니다.

top-p와 top-k는 어떻게 다른가요?

top-k는 50개처럼 정해진 개수의 토큰을 남깁니다. top-p는 확률 임곗값에 도달할 때까지 필요한 만큼 토큰을 남기므로, 모델이 확신할 때는 집합이 작고 확신하지 못할 때는 커집니다.

BroadNet은 top_p를 문서화하나요?

아니요. BroadNet API 레퍼런스에는 어떤 모델에 대해서도 top_p나 그 기본값이 나와 있지 않습니다. 요청에 직접 설정하고 효과를 직접 테스트하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기