BroadRouter

ビジョン LLM で請求書・領収書・帳票のデータを JSON に抽出する

BroadNet Inference チーム · 約 4 分で読めます · 公開日

各ページを画像にレンダリングし、すべての項目と形式を明記したプロンプトとともにビジョンモデルに送り、JSON だけを返すよう指示します。そのうえでコードでパースし、スキーマを確認し、明細の合計が総額と一致するか検算し、失敗したらエラーを添えて 1 回リトライします。繰り返し失敗したものは人に回します。

A paper invoice headed "فاتورة" (invoice) with tabs labelled Vendor, Date and Total, and the text "Turn documents into useful data."
Illustrative example.

請求書、領収書、帳票には共通の問題があります。データは画像の中にあり、必要なのはデータベースの中です。テンプレート型の OCR は、新しい取引先のレイアウトが来るたびに壊れます。ビジョン言語モデルはページを読んで項目を直接返します。難点は、自信満々に間違えることがある点で、だからこそ周りのパイプラインが肝心です。この記事は言語を問わない一般的なパイプラインを扱います。アラビア語の書類については、セットアップはビジョンでアラビア語の請求書を読むを、従来の OCR のほうが適している場面はアラビア語 OCR とビジョン LLMを参照してください。

パイプラインはどのような形ですか?

  1. 各ページを準備する:PDF を画像にレンダリングし、回転を直し、サイズを変える。
  2. 抽出する:書類ごとに 1 リクエスト、項目ごとに指定したプロンプトで、JSON だけを返させる。
  3. 検証する:パース、スキーマの確認、金額の検算。
  4. 検証に失敗したら、エラーメッセージを添えて 1 回リトライする。
  5. レビューする:それでも失敗したものは、画像と下書きとともに人に回す。
  6. ラベル付きのサンプルで項目の精度を測定し、モデルやプロンプトを変えるたびに再実行する。

書類の画像はどう準備しますか?

PyMuPDF で PDF を画像にレンダリングし、最も小さい文字をくっきり保ちつつ、必要以上のピクセルは送らないようにします。

# pip install pymupdf pillow
import base64, io
import pymupdf  # older code imports it as fitz
from PIL import Image

def pdf_pages_as_data_urls(path, long_edge=1800):
    urls = []
    for page in pymupdf.open(path):
        pix = page.get_pixmap(dpi=200)
        img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
        img.thumbnail((long_edge, long_edge))
        buf = io.BytesIO()
        img.save(buf, format="JPEG", quality=90)
        urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
    return urls

BroadNet Inference では、画像は正確な MIME タイプ付きの data: URL としてメッセージに入れます。従量課金では入力トークンとして課金され、大きい画像ほど多く使います。usage ブロックで 1 ページあたりのトークン数を一度測り、そこからバッチの大きさを決めてください。方法は送信前にトークンを数えるに、トークンを 1 ページあたりのコストに換算する方法はビジョン LLM の画像 1 枚あたりのコストにあります。何も送らずに 1 ページあたりのトークン数を見積もるには、サンプルのスキャン画像を画像トークン計算ツールにドロップしてください。

抽出プロンプトはどう書くべきですか?

キー、型、形式、欠損値について正確に書きます。検証用や、スキーマを強制するプロバイダー用に JSON Schema も欲しい場合は、無料の JSON Schema ジェネレーターがサンプルの請求書から作成します。

PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""

最も重要なのは「Never guess」(決して推測しない)と、明示的な null です。これがないと、モデルはもっともらしい値で空欄を埋めます。単純なチェックを通過してしまうので、空欄より悪い結果です。

構造化出力を得て検証するには?

構造化出力には 2 つのレベルがあります。JSON モードは有効な JSON を保証します。スキーマで制約した出力は、形も保証します。OpenAI のガイドははっきりと、どちらも有効な JSON を生成するが、スキーマへの準拠を保証するのは Structured Outputs だけだと書いています。どちらへの対応もプロバイダーやモデルによって異なるので、API が何を約束していてもコードで検証してください。

import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

class Line(BaseModel):
    description: str
    quantity: Decimal
    unit_price: Decimal
    line_total: Decimal

class Invoice(BaseModel):
    vendor_name: str
    vendor_tax_id: str | None = None
    invoice_number: str
    invoice_date: str
    currency: str
    line_items: list[Line]
    subtotal: Decimal
    tax: Decimal | None = None
    total: Decimal

    @model_validator(mode="after")
    def sums(self):
        tol = Decimal("0.02")
        if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
            raise ValueError("line_totals do not sum to subtotal")
        if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
            raise ValueError("subtotal + tax != total")
        return self

def extract(image_urls, model="broadnet/qwen3.8-27b"):
    content = [{"type": "text", "text": PROMPT}] + [
        {"type": "image_url", "image_url": {"url": u}} for u in image_urls]
    messages = [{"role": "user", "content": content}]
    for attempt in range(2):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
        raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
        try:
            return Invoice.model_validate(json.loads(raw)), r.usage
        except (json.JSONDecodeError, ValidationError, ValueError) as e:
            messages += [{"role": "assistant", "content": raw},
                         {"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
    return None, r.usage  # send to human review

金額には float ではなく Decimal を使ってください。max_tokens は余裕を持たせます。Qwen3.8 27B は回答の前に推論し、推論は上限に含まれるため、上限が小さいと空の文字列が返ります。推論モデルが空の応答を返す理由を参照してください。

どのチェックが最も多くの誤りを捕まえますか?

チェック 捕まえるもの コスト
JSON がパースできる JSON の前後の文章、途中切れ 無料
スキーマ検証を通る キーの欠落、型の誤り 無料
明細の合計が小計と一致 数字の読み違い、行の読み飛ばし 無料
小計 + 税額 = 総額 総額や税額の読み違い 無料
日付がパースでき、未来の日付でない 日と月の取り違え、OCR のノイズ 無料
取引先の税番号が仕入先リストと一致 取引先の誤り、不正 1 回の照合
取引先ごとの請求書番号の重複 二重払い 1 回のクエリ

最も費用対効果が高いのは金額の検算です。数字を 1 桁読み違えれば、ほぼ確実に合計が合わなくなります。領収書には明細がないことが多いので、あるものだけを確認し、チェックが少なくなることは受け入れてください。

本番前に精度を測るには?

実際の書類 50〜100 件に手作業でラベルを付けてパイプラインを実行し、書類単位ではなく項目単位で採点します。合計と日付には、品目の説明より厳しい基準を設けるべきです。追跡する数字は 3 つです。項目の精度、リトライなしで検証を通過した書類の割合、レビューに回った割合です。通過した書類の抜き打ち監査を含むレビュー工程の設計は、人手によるレビューを書類 AI のワークフローに組み込むにあります。別のモデルを試すときは同じセットで実行してください。方法は乗り換える前に LLM を評価するで扱っています。

BroadNet Inference で使えるビジョンモデルは?

モデル 画像 コンテキスト 備考
Qwen3.8 27B 対応 262,144 ツール、構造化出力、推論が掲載。BroadNet がアラビア語でテスト済み
Gemma 4 VL 26B 対応 32,768 BroadNet で最も安い。無料クレジットと時間制キーで使える
DeepSeek V4.1 Flash 対応 1,048,576 無制限プランに画像も含まれる

100 万トークンあたりの価格は料金ページにあります。実測した 1 ページあたりのトークン数に月間の件数を掛けて、LLM API コスト計算ツールで計算してください。

BroadNet Inference の位置づけ

BroadNet Inference は、標準の OpenAI メッセージ形式で 3 つのチャットモデルに画像を受け付け、リクエスト後にプロンプト、画像、回答を保持しません。氏名、税番号、銀行情報だらけの請求書ではこれが重要です(ゼロデータ保持)。ドキュメントには Qwen3.8 27B の構造化出力が掲載されていますが、スキーマのパラメーターは記載されていないため、スキーマの強制は API に頼らず、上の検証レイヤーに任せてください。BroadNet は画像サイズの上限も、書類 AI 専用の製品も公開しておらず、ドキュメントに記載があるのは PDF のアップロードではなく画像入力なので、まずページを画像にレンダリングしてください。固定予算で大量に処理するなら、無制限の DeepSeek V4.1 Flash プランに画像も含まれます。

よくある質問

ビジョン LLM は請求書の OCR の代わりになりますか?

多くのレイアウトではなります。ビジョンモデルは画像を読み、取引先ごとのテンプレートなしに、文字を項目に対応づけるところまで一度に行います。それでも数字を読み違えることがあるので、検証とレビューキューは残してください。

ビジョンモデルから安定して JSON を得るには?

プロンプトに正確なキー、型、形式を列挙し、JSON だけを求め、コードでパースします。モデルがスキーマで制約した出力に対応していれば使ってください。どちらの場合も、スキーマライブラリで検証し、エラーを添えて 1 回リトライします。

複数ページの PDF 請求書からデータを抽出するには?

各ページを画像にレンダリングし、モデルのコンテキストに収まるなら、1 枚の請求書の全ページを 1 リクエストで送ります。そうすれば最後のページの合計を最初のページの明細と照合できます。

請求書の画像の解像度はどれくらいにすべきですか?

最も小さい数字がくっきり見える程度で、それ以上は不要です。画像が大きいほど入力トークンが増えます。A4 のページなら長辺 1,500〜2,000 ピクセル程度が妥当な出発点です。自分の書類でテストしてください。

抽出の精度はどう測りますか?

実際の書類 50〜100 件に手作業でラベルを付け、項目ごとに採点します。合計や日付は、取引先名のような自由記述の項目とは分けて追跡してください。誤りのコストが違うからです。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く