BroadRouter

빈도 페널티와 존재 페널티(frequency/presence penalty)

업데이트

빈도 페널티(frequency penalty)와 존재 페널티(presence penalty)는 출력에 이미 나온 토큰의 점수를 낮추는 샘플링 설정입니다. 존재 페널티는 토큰이 한 번이라도 나오면 한 번 적용되고, 빈도 페널티는 반복될 때마다 커집니다. OpenAI API에서 둘 다 범위는 -2.0~2.0이고 기본값은 0입니다.

다른 이름: 빈도 페널티, 존재 페널티, 반복 페널티, frequency penalty 뜻, presence penalty 뜻, frequency penalty, presence penalty, frequency_penalty, presence_penalty, repetition penalty

루프에 빠진 모델은 토큰이 바닥날 때까지 같은 문구를 반복합니다. 페널티는 샘플링 단계에서 적용하는 투박한 해결책입니다.

작동 방식

다음 토큰을 뽑기 전에, 서버는 이미 생성된 토큰의 점수를 조정합니다.

설정 vLLM 문서에 따른 페널티 대상 범위와 기본값
presence_penalty “based on whether they appear in the generated text so far”(번역: 지금까지 생성된 텍스트에 나타났는지에 따라) 토큰에 적용 OpenAI: -2.0~2.0, 기본값 0
frequency_penalty “based on their frequency in the generated text so far”(번역: 지금까지 생성된 텍스트에서의 빈도에 따라) 토큰에 적용 OpenAI: -2.0~2.0, 기본값 0
repetition_penalty “based on whether they appear in the prompt and the generated text so far”(번역: 프롬프트와 지금까지 생성된 텍스트에 나타났는지에 따라) 토큰에 적용 vLLM과 Hugging Face: 1.0이면 페널티 없음

양수 값은 이미 쓴 토큰을 피하게 하고, 음수 값은 반복을 더 잘 일어나게 합니다. OpenAI에 따르면 양수 frequency penalty는 “the model’s likelihood to repeat the same line verbatim”(번역: 모델이 같은 줄을 그대로 반복할 가능성)을 낮추고, 양수 presence penalty는 “the model’s likelihood to talk about new topics”(번역: 모델이 새로운 주제를 이야기할 가능성)를 높입니다. repetition_penalty에 대해 vLLM은 1보다 큰 값은 새로운 토큰을, 1보다 작은 값은 반복을 선호하게 한다고 설명합니다. Hugging Face 문서는 이 페널티의 출처로 CTRL 논문을 제시합니다.

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

왜 중요한가

  • 긴 출력의 루프. 에이전트나 긴 요약은 반복 텍스트에 빠질 수 있습니다. 작은 페널티로 루프를 끊을 수 있고, 엄격한 max_tokens 한도로 피해를 제한할 수 있습니다.
  • 부작용. 페널티는 아이디어가 아니라 토큰에 작용합니다. 페널티가 강하면 코드의 변수명, JSON 키, 의도적으로 반복되는 아랍어 텍스트 속 이름처럼 모델이 꼭 다시 써야 하는 단어까지 막을 수 있습니다. 0에서 시작해 조금씩 바꾸세요.
  • 샘플링 설정과의 중복. temperature와 top-p도 다양성을 바꿉니다. 테스트할 때는 한 번에 하나의 설정만 바꾸세요.

BroadNet Inference에서는

BroadNet의 API 레퍼런스는 frequency_penalty, presence_penalty, repetition_penalty를 문서화하지 않습니다. 의존하기 전에 테스트하세요. 반복하기 쉬운 프롬프트를 이 필드가 있을 때와 없을 때 각각 보내 비교하면 됩니다. 긴 실행에서 반복이 나타나면 더 명확한 프롬프트나 더 낮은 출력 한도를 시도하거나, 실행을 멈추고 체크포인트에서 재개하세요. 이 패턴은 밤새 돌리는 에이전트 실행 글에서 다룹니다.

흔한 실수

  • 프롬프트 문제를 고치려고 페널티를 높게 설정하는 것. 반복은 대개 모델에게 명확한 종료 지점이 없다는 뜻입니다.
  • 키가 반드시 반복되어야 하는 구조화된 출력에 페널티를 쓰는 것.

자주 묻는 질문

frequency penalty와 presence penalty는 무엇이 다른가요?

presence penalty는 "이 토큰이 나온 적이 있는가?"를 보고 한 번만 적용됩니다. frequency penalty는 "얼마나 자주?"를 보고 반복될 때마다 커집니다. vLLM은 이를 지금까지의 텍스트에 토큰이 나타났는지, 그리고 얼마나 자주 나타났는지에 따라 페널티를 주는 것으로 설명합니다.

repetition_penalty도 같은 것인가요?

아니요. vLLM과 Hugging Face가 쓰는 별도의 배수이며, 1.0이면 페널티가 없습니다. vLLM은 이를 출력뿐 아니라 프롬프트와 출력의 토큰 모두에 적용합니다.

BroadNet Inference는 이 페널티들을 지원하나요?

BroadNet API 레퍼런스는 frequency_penalty, presence_penalty, repetition_penalty를 문서화하지 않습니다. 의존하기 전에 테스트하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기