샘플링은 의도적으로 무작위입니다. seed는 그 무작위성을 고정해서, 다시 실행했을 때 첫 실행과 같은 결과가 나올 가능성을 만들어 줍니다.
작동 방식
temperature가 0보다 크면 서버는 모델의 분포에서 다음 토큰을 무작위로 뽑습니다. 이 추첨은 난수 생성기가 담당합니다. 난수 생성기의 시작 값인 seed를 고정하면, 같은 요청은 같은 추첨 결과를 따라가야 합니다.
OpenAI 레퍼런스는 seed를 Beta로 표시합니다. Cookbook에는 “our system will make a best effort to sample deterministically”(번역: 시스템이 결정적으로 샘플링하도록 최선을 다한다)라고 나와 있습니다. 같은 출력을 얻으려면 요청 간에 다음을 똑같이 유지하라고 합니다.
seed정수- 프롬프트와 메시지
temperature, top_p,max_tokens
응답에는 system_fingerprint가 포함되며, OpenAI는 이것이 “represents the backend configuration that the model runs with”(번역: 모델이 실행되는 백엔드 구성을 나타낸다)라고 설명합니다. 두 실행 사이에 이 값이 바뀌었다면, seed가 같아도 출력이 다를 것으로 예상하세요.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
오픈 모델 서버에도 같은 설정이 있습니다. vLLM의 SamplingParams에는 seed가 있으며 설명은 “Random seed to use for the generation”(번역: 생성에 사용할 랜덤 시드)이고 기본값은 없음(none)입니다.
왜 중요한가
- 평가. 평가(eval)에서 프롬프트나 모델을 비교할 때 seed를 고정하면 실행 간 잡음이 줄어듭니다. 그래도 샘플은 여러 개 돌리세요. 최선 노력은 보장이 아닙니다.
- 디버깅. seed를 넣은 요청은 이상한 응답을 재현하기 쉽게 해 줍니다.
- 캐싱. 응답을 캐시한다면 응답 캐싱 글처럼 캐시 키에 seed를 포함하세요.
BroadNet Inference에서는
BroadNet의 API 레퍼런스는 seed나 system_fingerprint를 문서화하지 않습니다. 의존하기 전에 테스트하세요. seed를 넣은 같은 요청을 다섯 번 보내고 출력을 비교하면 됩니다. 결과가 다르면 temperature를 낮추고, 필요한 출력은 저장하고, 샘플 하나가 아니라 여러 개로 평가하세요. 마이그레이션 코드 워크스루는 테스트하거나 제거해야 할 OpenAI 필드 중 하나로 seed를 꼽습니다.
흔한 실수
- seed를 바이트 단위로 똑같은 출력에 대한 약속으로 여기는 것.
- 실행 사이에 max_tokens나 시스템 프롬프트를 바꿔 놓고 차이를 seed 탓으로 돌리는 것.