BroadRouter
시작하기

할루시네이션(환각, hallucination)

업데이트

할루시네이션(환각)은 언어 모델의 출력이 그럴듯하게 들리지만 사실이 아니거나, 지어냈거나, 주어진 입력으로 뒷받침되지 않는 경우를 말합니다. 지어낸 인용, 틀린 숫자, 존재하지 않는 API 등이 그 예입니다. 모델이 사실을 확인하지 않고 그럴듯한 텍스트를 예측하기 때문에 생깁니다.

다른 이름: 환각, AI 환각, AI 할루시네이션, LLM 환각, LLM 할루시네이션, 환각 현상, AI hallucination, LLM hallucination, confabulation

할루시네이션은 정답과 똑같은 모습으로 읽힙니다. 그래서 비용이 큽니다.

작동 방식

언어 모델은 학습 내용과 프롬프트를 바탕으로 가장 그럴듯한 다음 토큰을 씁니다. 이 루프 어디에도 사실을 현실과 대조하는 단계는 없습니다. 모델이 답을 모를 때에도 그럴듯해 보이는 답은 언제나 만들 수 있습니다.

Kalai와 동료들은 2025년 논문에서 할루시네이션이 계속되는 이유가 “training and evaluation procedures reward guessing over acknowledging uncertainty”(번역: 학습과 평가 절차가 불확실성을 인정하는 것보다 추측하는 쪽에 보상을 주기) 때문이라고 주장합니다. 대부분의 벤치마크는 맞힌 추측에는 점수를 주고 답을 보류하면 아무것도 주지 않으므로, 모델은 시험을 잘 보는 쪽으로 조정됩니다. 연구진은 오류의 통계적 원인도 짚습니다. 모델이 참인 진술과 거짓인 진술을 확실히 구분하지 못한다면, 사전 학습은 거짓 진술을 만들어 낼 수밖에 없습니다.

API 작업에서 흔히 보는 형태는 다음과 같습니다.

  • 지어낸 인용, URL, 발언
  • 올바른 문서를 요약하면서 틀린 수치를 넣는 것
  • 존재하지 않는 API 메서드나 파라미터
  • 제공된 컨텍스트가 다루지 않는 질문에 대한 답변

왜 중요한가

비용은 그 뒤에서 생깁니다. 환불 정책을 지어내는 지원 봇, 합계가 틀린 보고서, 없는 함수를 호출하는 코드 같은 것들입니다. 그에 비하면 해결책은 저렴합니다.

  • 근거를 주세요. 원문을 프롬프트에 넣거나 RAG로 가져오세요. Lewis와 동료들은 검색 증강 생성이 매개변수만 쓰는 기준 모델보다 더 “factual”(번역: 사실에 부합)하다는 결과를 얻었습니다. 그라운딩을 참고하세요.
  • “모르겠다”를 허용하세요. Anthropic은 불확실성을 인정해도 된다고 명시적으로 허락하는 것을 기본 단계로 꼽습니다.
  • 인용을 요구하고 검증하세요. 주장마다 뒷받침하는 인용을 달게 하고, 인용이 없는 주장은 버리세요.
  • 측정하세요. 컨텍스트에 답이 없는 질문을 넣은 평가(eval)를 만들고, 모델이 답을 지어내는 빈도를 추적하세요. API가 logprobs를 반환한다면 확신이 낮은 답변을 표시하는 데 쓸 수 있습니다.
  • 코드로 검증하세요. 합계, 날짜, ID는 모델 없이도 검증할 수 있습니다.

temperature를 낮추면 긴 텍스트가 엇나가는 것은 줄어들지만, 자신 있게 틀리는 오류에는 효과가 없습니다.

BroadNet Inference에서는

BroadNet 문서는 모델의 할루시네이션 비율을 공개하지 않으며, 가드레일이나 사실 확인 기능도 표기하지 않습니다. 따라서 이런 통제는 애플리케이션에서 해야 합니다. 큰 컨텍스트는 그라운딩에 도움이 됩니다. DeepSeek V4.1 Flash와 GLM 5.3은 요청당 1,048,576토큰을 받아 원문 문서 전체를 넣기에 충분합니다. 아랍어 검색 파이프라인은 아랍어 RAG를, 추출한 필드를 이미지와 대조하는 방법은 청구서 가이드를 참고하세요.

자주 묻는 질문

LLM은 왜 할루시네이션을 일으키나요?

그럴듯한 텍스트를 만들도록 학습되기 때문이며, Kalai와 동료들은 학습과 벤치마크가 불확실성을 인정하는 것보다 자신 있게 추측하는 쪽에 보상을 준다고 주장합니다. 추측은 점수를 얻을 수 있지만 "모르겠다"는 0점입니다.

할루시네이션을 완전히 없앨 수 있나요?

완전히 없애는 방법은 없습니다. 문서에 근거한 답변, "모르겠다"를 허용하기, 인용, 코드에서의 검증으로 줄일 수 있습니다. Anthropic 가이드도 이런 기법이 할루시네이션을 줄이지만 없애지는 못한다고 말합니다.

temperature를 낮추면 할루시네이션이 사라지나요?

무작위적인 단어 선택은 줄지만 자신 있게 틀리는 오류는 줄지 않습니다. temperature 0에서도 모델은 매번 같은 오답을 낼 수 있습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기