BroadRouter
시작하기

seed 파라미터(시드 값)

업데이트

seed 파라미터는 요청과 함께 보내는 정수로, 같은 요청을 반복할 때 API가 같은 토큰을 샘플링하도록 시도하게 합니다. OpenAI는 이를 최선 노력(best effort)으로 설명합니다. 결정성은 보장되지 않으며, system_fingerprint 필드로 백엔드 구성이 바뀐 시점을 알 수 있습니다.

다른 이름: 시드 값, 랜덤 시드, 시드 파라미터, 재현 가능한 출력, 결정적 출력, random seed, reproducible outputs, deterministic outputs, system_fingerprint

샘플링은 의도적으로 무작위입니다. seed는 그 무작위성을 고정해서, 다시 실행했을 때 첫 실행과 같은 결과가 나올 가능성을 만들어 줍니다.

작동 방식

temperature가 0보다 크면 서버는 모델의 분포에서 다음 토큰을 무작위로 뽑습니다. 이 추첨은 난수 생성기가 담당합니다. 난수 생성기의 시작 값인 seed를 고정하면, 같은 요청은 같은 추첨 결과를 따라가야 합니다.

OpenAI 레퍼런스는 seed를 Beta로 표시합니다. Cookbook에는 “our system will make a best effort to sample deterministically”(번역: 시스템이 결정적으로 샘플링하도록 최선을 다한다)라고 나와 있습니다. 같은 출력을 얻으려면 요청 간에 다음을 똑같이 유지하라고 합니다.

  • seed 정수
  • 프롬프트와 메시지
  • temperature, top_p, max_tokens

응답에는 system_fingerprint가 포함되며, OpenAI는 이것이 “represents the backend configuration that the model runs with”(번역: 모델이 실행되는 백엔드 구성을 나타낸다)라고 설명합니다. 두 실행 사이에 이 값이 바뀌었다면, seed가 같아도 출력이 다를 것으로 예상하세요.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

오픈 모델 서버에도 같은 설정이 있습니다. vLLM의 SamplingParams에는 seed가 있으며 설명은 “Random seed to use for the generation”(번역: 생성에 사용할 랜덤 시드)이고 기본값은 없음(none)입니다.

왜 중요한가

  • 평가. 평가(eval)에서 프롬프트나 모델을 비교할 때 seed를 고정하면 실행 간 잡음이 줄어듭니다. 그래도 샘플은 여러 개 돌리세요. 최선 노력은 보장이 아닙니다.
  • 디버깅. seed를 넣은 요청은 이상한 응답을 재현하기 쉽게 해 줍니다.
  • 캐싱. 응답을 캐시한다면 응답 캐싱 글처럼 캐시 키에 seed를 포함하세요.

BroadNet Inference에서는

BroadNet의 API 레퍼런스는 seed나 system_fingerprint를 문서화하지 않습니다. 의존하기 전에 테스트하세요. seed를 넣은 같은 요청을 다섯 번 보내고 출력을 비교하면 됩니다. 결과가 다르면 temperature를 낮추고, 필요한 출력은 저장하고, 샘플 하나가 아니라 여러 개로 평가하세요. 마이그레이션 코드 워크스루는 테스트하거나 제거해야 할 OpenAI 필드 중 하나로 seed를 꼽습니다.

흔한 실수

  • seed를 바이트 단위로 똑같은 출력에 대한 약속으로 여기는 것.
  • 실행 사이에 max_tokens나 시스템 프롬프트를 바꿔 놓고 차이를 seed 탓으로 돌리는 것.

자주 묻는 질문

같은 seed를 쓰면 항상 같은 답이 나오나요?

아니요. OpenAI는 "Determinism is not guaranteed"(번역: 결정성은 보장되지 않는다)라고 하며, 파라미터와 system_fingerprint가 같아도 "a small chance that responses differ"(번역: 응답이 달라질 작은 가능성)가 있다고 말합니다.

temperature 0은 seed를 설정하는 것과 같은가요?

정확히 같지는 않습니다. 낮은 temperature는 최상위 토큰이 선택될 가능성을 매우 높이고, seed는 무작위 추첨을 고정합니다. 많은 팀이 둘을 함께 쓰지만, 어느 쪽도 혼자서는 동일한 출력을 보장하지 않습니다.

BroadNet Inference는 seed를 지원하나요?

BroadNet API 레퍼런스는 seed나 system_fingerprint를 문서화하지 않습니다. 의존하기 전에 seed를 넣은 같은 요청을 여러 번 보내 결과를 비교하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기