ハルシネーションは、正しい答えとまったく同じように読めます。だからこそ高くつきます。
しくみ
言語モデルは、学習とプロンプトをもとに、最ももっともらしい次のトークンを書きます。このループのどこにも、事実を現実と照らし合わせる仕組みはありません。モデルが答えを知らなくても、もっともらしく見える答えは手に入ります。
Kalai らは 2025 年の論文で、ハルシネーションがなくならないのは「training and evaluation procedures reward guessing over acknowledging uncertainty.」(訳:学習と評価の手順が、不確かさを認めることより推測に報いる)からだと論じています。多くのベンチマークは、当たった推測には点を与え、回答を控えると 0 点にするので、モデルは試験に強い受験者のように調整されます。彼らはさらに、誤りの統計的な原因もたどっています。真の文と偽の文を確実に見分けられないモデルなら、事前学習によって偽の文が生まれる、というものです。
API を使う仕事でよく見る形は次のとおりです。
- 架空の引用、URL、発言
- 正しいドキュメントの要約に含まれる誤った数字
- 存在しない API のメソッドやパラメーター
- 与えたコンテキストに含まれない質問への回答
なぜ重要か
コストは後工程で発生します。サポートボットが返金ポリシーをでっち上げる、レポートの合計が間違っている、コードが存在しない関数を呼ぶ、といった形です。それに比べれば、対策は安価です。
- 回答に根拠を与えます。 出典のテキストをプロンプトに入れるか、RAG で取り出します。Lewis らは、検索拡張生成がパラメーターだけのベースラインより「factual」(訳:事実に即している)であることを示しました。グラウンディングを参照してください。
- 「わかりません」を認めます。 Anthropic は、不確かさを認めてよいと明示的に許可することを基本的な手順に挙げています。
- 引用を求め、検証します。 主張ごとに裏付けとなる引用を出させ、引用のない主張は捨てます。
- 測定します。 コンテキストに答えがない質問を含む評価(eval)を作り、モデルが答えをでっち上げる頻度を追跡します。API が logprobs を返す場合は、確信度の低い回答の検出に使えます。
- コードでチェックします。 合計、日付、ID はモデルなしで検証できます。
temperature を下げると長文での脱線には効きますが、自信のある誤りには効きません。
BroadNet Inference の場合
BroadNet のドキュメントは、モデルのハルシネーション率を公表しておらず、ガードレールやファクトチェックの機能も記載していません。こうした対策はアプリケーション側で実装します。大きなコンテキストはグラウンディングに役立ちます。DeepSeek V4.1 Flash と GLM 5.3 は 1 リクエストで 1,048,576 トークンを受け付け、出典のドキュメントを丸ごと入れられます。アラビア語の検索パイプラインについてはアラビア語の RAG を、抽出した項目を画像と照合する方法については請求書のガイドを参照してください。