할루시네이션은 정답과 똑같은 모습으로 읽힙니다. 그래서 비용이 큽니다.
작동 방식
언어 모델은 학습 내용과 프롬프트를 바탕으로 가장 그럴듯한 다음 토큰을 씁니다. 이 루프 어디에도 사실을 현실과 대조하는 단계는 없습니다. 모델이 답을 모를 때에도 그럴듯해 보이는 답은 언제나 만들 수 있습니다.
Kalai와 동료들은 2025년 논문에서 할루시네이션이 계속되는 이유가 “training and evaluation procedures reward guessing over acknowledging uncertainty”(번역: 학습과 평가 절차가 불확실성을 인정하는 것보다 추측하는 쪽에 보상을 주기) 때문이라고 주장합니다. 대부분의 벤치마크는 맞힌 추측에는 점수를 주고 답을 보류하면 아무것도 주지 않으므로, 모델은 시험을 잘 보는 쪽으로 조정됩니다. 연구진은 오류의 통계적 원인도 짚습니다. 모델이 참인 진술과 거짓인 진술을 확실히 구분하지 못한다면, 사전 학습은 거짓 진술을 만들어 낼 수밖에 없습니다.
API 작업에서 흔히 보는 형태는 다음과 같습니다.
- 지어낸 인용, URL, 발언
- 올바른 문서를 요약하면서 틀린 수치를 넣는 것
- 존재하지 않는 API 메서드나 파라미터
- 제공된 컨텍스트가 다루지 않는 질문에 대한 답변
왜 중요한가
비용은 그 뒤에서 생깁니다. 환불 정책을 지어내는 지원 봇, 합계가 틀린 보고서, 없는 함수를 호출하는 코드 같은 것들입니다. 그에 비하면 해결책은 저렴합니다.
- 근거를 주세요. 원문을 프롬프트에 넣거나 RAG로 가져오세요. Lewis와 동료들은 검색 증강 생성이 매개변수만 쓰는 기준 모델보다 더 “factual”(번역: 사실에 부합)하다는 결과를 얻었습니다. 그라운딩을 참고하세요.
- “모르겠다”를 허용하세요. Anthropic은 불확실성을 인정해도 된다고 명시적으로 허락하는 것을 기본 단계로 꼽습니다.
- 인용을 요구하고 검증하세요. 주장마다 뒷받침하는 인용을 달게 하고, 인용이 없는 주장은 버리세요.
- 측정하세요. 컨텍스트에 답이 없는 질문을 넣은 평가(eval)를 만들고, 모델이 답을 지어내는 빈도를 추적하세요. API가 logprobs를 반환한다면 확신이 낮은 답변을 표시하는 데 쓸 수 있습니다.
- 코드로 검증하세요. 합계, 날짜, ID는 모델 없이도 검증할 수 있습니다.
temperature를 낮추면 긴 텍스트가 엇나가는 것은 줄어들지만, 자신 있게 틀리는 오류에는 효과가 없습니다.
BroadNet Inference에서는
BroadNet 문서는 모델의 할루시네이션 비율을 공개하지 않으며, 가드레일이나 사실 확인 기능도 표기하지 않습니다. 따라서 이런 통제는 애플리케이션에서 해야 합니다. 큰 컨텍스트는 그라운딩에 도움이 됩니다. DeepSeek V4.1 Flash와 GLM 5.3은 요청당 1,048,576토큰을 받아 원문 문서 전체를 넣기에 충분합니다. 아랍어 검색 파이프라인은 아랍어 RAG를, 추출한 필드를 이미지와 대조하는 방법은 청구서 가이드를 참고하세요.