Temperature는 “항상 같은 답”과 “매번 다른 답” 사이를 조절하는 다이얼입니다.
작동 방식
모델은 다음에 쓸 수 있는 모든 토큰에 점수(로짓, logit)를 매깁니다. 소프트맥스가 이 점수를 확률로 바꾸는데, 그 전에 temperature로 각 점수를 나눕니다. Hinton과 동료들은 소프트맥스를 이 T와 함께 쓰면서 “using a higher value for T produces a softer probability distribution over classes”(번역: T 값을 높이면 클래스에 대한 확률 분포가 더 부드러워진다)라고 설명합니다.
- T가 1보다 작으면 분포가 뾰족해집니다. 최상위 토큰이 더 자주 선택됩니다.
- T = 1이면 학습된 확률을 그대로 둡니다.
- T가 1보다 크면 분포가 평평해집니다. 드문 토큰이 더 많이 선택됩니다.
- T가 0에 가까우면 그리디 디코딩에 가까워집니다. 항상 가장 가능성 높은 토큰을 고릅니다.
OpenAI API는 “between 0 and 2”(번역: 0에서 2 사이) 값을 받으며 기본값은 1입니다. 레퍼런스에 따르면 0.8은 출력을 “more random”(번역: 더 무작위적으로), 0.2는 “more focused and deterministic”(번역: 더 집중적이고 결정적으로) 만듭니다. 또한 top-p도 무작위성을 줄이는 또 다른 방법이므로 “altering this or top_p but not both”(번역: 이 값이나 top_p 중 하나만 바꾸고 둘 다 바꾸지는 말 것)를 권합니다.
오픈 모델은 자체 기본값을 함께 배포하는 경우가 많습니다. Hugging Face Transformers는 모델의 generation_config.json에서 temperature를 읽고, 없으면 1.0을 씁니다. 서빙 스택은 둘 중 어느 값이든 쓸 수 있습니다.
왜 중요한가
- 반복 가능성. 추출, 라우팅, 구조화된 출력에는 안정적인 답이 필요합니다. temperature를 낮추면 실행 간 편차가 줄어듭니다.
- 품질. 너무 높으면 모델이 엉뚱한 단어를 고르거나 없는 세부 사항을 지어내며, 이는 할루시네이션으로 이어집니다. 너무 낮으면 긴 텍스트가 같은 내용을 반복할 수 있습니다. Hugging Face는 긴 시퀀스에서 그리디 디코딩이 “begins to repeat itself”(번역: 스스로를 반복하기 시작한다)라고 지적합니다.
- 평가. 모델을 비교할 때는 temperature를 고정하세요. 그렇지 않으면 샘플링 잡음을 재는 셈이 됩니다. logprobs를 보면 모델에 선택의 여지가 얼마나 있었는지 알 수 있습니다.
temperature는 가격이나 속도를 바꾸지 않습니다. 어떤 값으로 설정하든 토큰 비용은 같습니다.
BroadNet Inference에서는
BroadNet의 API 레퍼런스는 어떤 모델에 대해서도 temperature 파라미터, 허용 범위, 기본값을 문서화하지 않습니다. 요청 예시에서도 설정하지 않습니다. API가 OpenAI 호환이므로 SDK는 이 필드를 보내지만, 모델마다 이를 따르는지는 명시되어 있지 않습니다. 값을 명시적으로 설정하고 같은 프롬프트를 여러 번 실행해 편차를 확인하세요. 클라이언트 설정은 OpenAI Python SDK 가이드에 나와 있습니다.
흔한 실수
- temperature 0을 쓰면 출력이 영원히 똑같을 것이라고 생각하는 것. 재현해야 하는 답변은 저장하세요.
- 틀린 답을 고치려고 temperature를 올리는 것. 정확도는 더 나은 프롬프트나 더 많은 컨텍스트로 고칩니다. temperature는 다양성만 바꿉니다.