請求書、領収書、帳票には共通の問題があります。データは画像の中にあり、必要なのはデータベースの中です。テンプレート型の OCR は、新しい取引先のレイアウトが来るたびに壊れます。ビジョン言語モデルはページを読んで項目を直接返します。難点は、自信満々に間違えることがある点で、だからこそ周りのパイプラインが肝心です。この記事は言語を問わない一般的なパイプラインを扱います。アラビア語の書類については、セットアップはビジョンでアラビア語の請求書を読むを、従来の OCR のほうが適している場面はアラビア語 OCR とビジョン LLMを参照してください。
パイプラインはどのような形ですか?
- 各ページを準備する:PDF を画像にレンダリングし、回転を直し、サイズを変える。
- 抽出する:書類ごとに 1 リクエスト、項目ごとに指定したプロンプトで、JSON だけを返させる。
- 検証する:パース、スキーマの確認、金額の検算。
- 検証に失敗したら、エラーメッセージを添えて 1 回リトライする。
- レビューする:それでも失敗したものは、画像と下書きとともに人に回す。
- ラベル付きのサンプルで項目の精度を測定し、モデルやプロンプトを変えるたびに再実行する。
書類の画像はどう準備しますか?
PyMuPDF で PDF を画像にレンダリングし、最も小さい文字をくっきり保ちつつ、必要以上のピクセルは送らないようにします。
# pip install pymupdf pillow
import base64, io
import pymupdf # older code imports it as fitz
from PIL import Image
def pdf_pages_as_data_urls(path, long_edge=1800):
urls = []
for page in pymupdf.open(path):
pix = page.get_pixmap(dpi=200)
img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
img.thumbnail((long_edge, long_edge))
buf = io.BytesIO()
img.save(buf, format="JPEG", quality=90)
urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
return urls
BroadNet Inference では、画像は正確な MIME タイプ付きの data: URL としてメッセージに入れます。従量課金では入力トークンとして課金され、大きい画像ほど多く使います。usage ブロックで 1 ページあたりのトークン数を一度測り、そこからバッチの大きさを決めてください。方法は送信前にトークンを数えるに、トークンを 1 ページあたりのコストに換算する方法はビジョン LLM の画像 1 枚あたりのコストにあります。何も送らずに 1 ページあたりのトークン数を見積もるには、サンプルのスキャン画像を画像トークン計算ツールにドロップしてください。
抽出プロンプトはどう書くべきですか?
キー、型、形式、欠損値について正確に書きます。検証用や、スキーマを強制するプロバイダー用に JSON Schema も欲しい場合は、無料の JSON Schema ジェネレーターがサンプルの請求書から作成します。
PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""
最も重要なのは「Never guess」(決して推測しない)と、明示的な null です。これがないと、モデルはもっともらしい値で空欄を埋めます。単純なチェックを通過してしまうので、空欄より悪い結果です。
構造化出力を得て検証するには?
構造化出力には 2 つのレベルがあります。JSON モードは有効な JSON を保証します。スキーマで制約した出力は、形も保証します。OpenAI のガイドははっきりと、どちらも有効な JSON を生成するが、スキーマへの準拠を保証するのは Structured Outputs だけだと書いています。どちらへの対応もプロバイダーやモデルによって異なるので、API が何を約束していてもコードで検証してください。
import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
class Line(BaseModel):
description: str
quantity: Decimal
unit_price: Decimal
line_total: Decimal
class Invoice(BaseModel):
vendor_name: str
vendor_tax_id: str | None = None
invoice_number: str
invoice_date: str
currency: str
line_items: list[Line]
subtotal: Decimal
tax: Decimal | None = None
total: Decimal
@model_validator(mode="after")
def sums(self):
tol = Decimal("0.02")
if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
raise ValueError("line_totals do not sum to subtotal")
if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
raise ValueError("subtotal + tax != total")
return self
def extract(image_urls, model="broadnet/qwen3.8-27b"):
content = [{"type": "text", "text": PROMPT}] + [
{"type": "image_url", "image_url": {"url": u}} for u in image_urls]
messages = [{"role": "user", "content": content}]
for attempt in range(2):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
try:
return Invoice.model_validate(json.loads(raw)), r.usage
except (json.JSONDecodeError, ValidationError, ValueError) as e:
messages += [{"role": "assistant", "content": raw},
{"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
return None, r.usage # send to human review
金額には float ではなく Decimal を使ってください。max_tokens は余裕を持たせます。Qwen3.8 27B は回答の前に推論し、推論は上限に含まれるため、上限が小さいと空の文字列が返ります。推論モデルが空の応答を返す理由を参照してください。
どのチェックが最も多くの誤りを捕まえますか?
| チェック | 捕まえるもの | コスト |
|---|---|---|
| JSON がパースできる | JSON の前後の文章、途中切れ | 無料 |
| スキーマ検証を通る | キーの欠落、型の誤り | 無料 |
| 明細の合計が小計と一致 | 数字の読み違い、行の読み飛ばし | 無料 |
| 小計 + 税額 = 総額 | 総額や税額の読み違い | 無料 |
| 日付がパースでき、未来の日付でない | 日と月の取り違え、OCR のノイズ | 無料 |
| 取引先の税番号が仕入先リストと一致 | 取引先の誤り、不正 | 1 回の照合 |
| 取引先ごとの請求書番号の重複 | 二重払い | 1 回のクエリ |
最も費用対効果が高いのは金額の検算です。数字を 1 桁読み違えれば、ほぼ確実に合計が合わなくなります。領収書には明細がないことが多いので、あるものだけを確認し、チェックが少なくなることは受け入れてください。
本番前に精度を測るには?
実際の書類 50〜100 件に手作業でラベルを付けてパイプラインを実行し、書類単位ではなく項目単位で採点します。合計と日付には、品目の説明より厳しい基準を設けるべきです。追跡する数字は 3 つです。項目の精度、リトライなしで検証を通過した書類の割合、レビューに回った割合です。通過した書類の抜き打ち監査を含むレビュー工程の設計は、人手によるレビューを書類 AI のワークフローに組み込むにあります。別のモデルを試すときは同じセットで実行してください。方法は乗り換える前に LLM を評価するで扱っています。
BroadNet Inference で使えるビジョンモデルは?
| モデル | 画像 | コンテキスト | 備考 |
|---|---|---|---|
| Qwen3.8 27B | 対応 | 262,144 | ツール、構造化出力、推論が掲載。BroadNet がアラビア語でテスト済み |
| Gemma 4 VL 26B | 対応 | 32,768 | BroadNet で最も安い。無料クレジットと時間制キーで使える |
| DeepSeek V4.1 Flash | 対応 | 1,048,576 | 無制限プランに画像も含まれる |
100 万トークンあたりの価格は料金ページにあります。実測した 1 ページあたりのトークン数に月間の件数を掛けて、LLM API コスト計算ツールで計算してください。
BroadNet Inference の位置づけ
BroadNet Inference は、標準の OpenAI メッセージ形式で 3 つのチャットモデルに画像を受け付け、リクエスト後にプロンプト、画像、回答を保持しません。氏名、税番号、銀行情報だらけの請求書ではこれが重要です(ゼロデータ保持)。ドキュメントには Qwen3.8 27B の構造化出力が掲載されていますが、スキーマのパラメーターは記載されていないため、スキーマの強制は API に頼らず、上の検証レイヤーに任せてください。BroadNet は画像サイズの上限も、書類 AI 専用の製品も公開しておらず、ドキュメントに記載があるのは PDF のアップロードではなく画像入力なので、まずページを画像にレンダリングしてください。固定予算で大量に処理するなら、無制限の DeepSeek V4.1 Flash プランに画像も含まれます。

