BroadRouter

Распознавание счетов, чеков и форм в JSON с помощью vision LLM

Команда BroadNet Inference · 4 мин чтения · Опубликовано

Переведите каждую страницу в изображение, отправьте его vision-модели с промптом, где названо каждое поле и его формат, и просите только JSON. Затем проверяйте в коде: разберите ответ, сверьте его со схемой, убедитесь, что позиции в сумме дают итог, и один раз повторите запрос с текстом ошибки. Повторные сбои отправляйте человеку.

A paper invoice headed "فاتورة" (invoice) with tabs labelled Vendor, Date and Total, and the text "Turn documents into useful data."
Illustrative example.

У счетов, чеков и форм одна и та же проблема: данные находятся на картинке, а нужны в базе данных. OCR на шаблонах ломается на каждом новом макете поставщика. Визуально-языковая модель читает страницу и сразу возвращает поля. Подвох в том, что она может уверенно ошибаться, поэтому основная работа — в конвейере вокруг неё. Эта статья описывает общий конвейер для любого языка. Для арабских документов настройка описана в руководстве чтение арабских счетов с помощью vision, а о том, когда классический OCR подходит лучше, — в статье арабский OCR или vision LLM.

Как выглядит конвейер?

  1. Подготовка каждой страницы: рендеринг PDF в изображения, исправление поворота, уменьшение размера.
  2. Извлечение: один запрос на документ с промптом по полям, только JSON.
  3. Валидация: разбор, проверка схемы, арифметическая проверка.
  4. Повтор один раз с сообщением об ошибке, если валидация не пройдена.
  5. Проверка: всё, что по-прежнему не проходит, отправляется человеку вместе с изображением и черновиком.
  6. Измерение точности по полям на размеченной выборке — и повторный прогон при каждой смене модели или промпта.

Как подготовить изображения документов?

Рендерьте PDF в изображения через PyMuPDF так, чтобы самый мелкий текст оставался чётким, но без лишних пикселей:

# pip install pymupdf pillow
import base64, io
import pymupdf  # older code imports it as fitz
from PIL import Image

def pdf_pages_as_data_urls(path, long_edge=1800):
    urls = []
    for page in pymupdf.open(path):
        pix = page.get_pixmap(dpi=200)
        img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
        img.thumbnail((long_edge, long_edge))
        buf = io.BytesIO()
        img.save(buf, format="JPEG", quality=90)
        urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
    return urls

В BroadNet Inference изображения передаются в сообщении как data:-URL с точным MIME-типом, а при оплате по факту тарифицируются как входные токены; большие изображения расходуют больше. Один раз измерьте число токенов на страницу по блоку usage и от него планируйте размер пакетов; как это сделать, показано в статье подсчёт токенов до отправки, а статья стоимость vision LLM за изображение переводит токены в цену за страницу. Чтобы оценить число токенов на страницу ещё до отправки, загрузите пример скана в калькулятор токенов изображения.

Как написать промпт для извлечения?

Будьте точны в ключах, типах, форматах и отсутствующих значениях. Если вам нужна ещё и JSON Schema для валидации или для провайдеров, которые её соблюдают принудительно, бесплатный генератор JSON-схем построит её по образцу счёта:

PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""

Важнее всего «Never guess» вместе с явным null. Без этого модели заполняют пробелы правдоподобными значениями, а это хуже пустого поля, потому что такое значение проходит наивную проверку.

Как получить структурированный вывод и проверить его?

У структурированного вывода два уровня. Режим JSON гарантирует валидный JSON. Вывод, ограниченный схемой, гарантирует ещё и структуру. Руководство OpenAI говорит об этом прямо: оба режима дают валидный JSON, но соблюдение схемы обеспечивают только Structured Outputs. Поддержка того и другого зависит от провайдера и модели, поэтому проверяйте в коде, что бы ни обещал API:

import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

class Line(BaseModel):
    description: str
    quantity: Decimal
    unit_price: Decimal
    line_total: Decimal

class Invoice(BaseModel):
    vendor_name: str
    vendor_tax_id: str | None = None
    invoice_number: str
    invoice_date: str
    currency: str
    line_items: list[Line]
    subtotal: Decimal
    tax: Decimal | None = None
    total: Decimal

    @model_validator(mode="after")
    def sums(self):
        tol = Decimal("0.02")
        if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
            raise ValueError("line_totals do not sum to subtotal")
        if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
            raise ValueError("subtotal + tax != total")
        return self

def extract(image_urls, model="broadnet/qwen3.8-27b"):
    content = [{"type": "text", "text": PROMPT}] + [
        {"type": "image_url", "image_url": {"url": u}} for u in image_urls]
    messages = [{"role": "user", "content": content}]
    for attempt in range(2):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
        raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
        try:
            return Invoice.model_validate(json.loads(raw)), r.usage
        except (json.JSONDecodeError, ValidationError, ValueError) as e:
            messages += [{"role": "assistant", "content": raw},
                         {"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
    return None, r.usage  # send to human review

Для денег используйте Decimal, а не float. Держите max_tokens с запасом: Qwen3.8 27B рассуждает перед ответом, и рассуждения засчитываются в лимит; при маленьком лимите возвращается пустая строка. См. почему модели с рассуждениями возвращают пустые ответы.

Какие проверки ловят больше всего ошибок?

Проверка Что ловит Цена
JSON разбирается Текст вокруг JSON, обрезка Бесплатно
Схема проходит валидацию Пропущенные ключи, неверные типы Бесплатно
Строки в сумме дают подытог Неверно прочитанные цифры, пропущенные строки Бесплатно
Подытог + налог = итог Неверно прочитанный итог или налог Бесплатно
Дата разбирается и не в будущем Перепутанные день и месяц, шум OCR Бесплатно
Налоговый номер поставщика есть в вашем списке поставщиков Не тот поставщик, мошенничество Один поиск
Дубликат номера счёта у поставщика Двойная оплата Один запрос

Лучше всего окупаются арифметические проверки: одна неверно прочитанная цифра почти всегда ломает сумму. В чеках часто нет детализации по строкам, так что проверяйте то, что есть, и миритесь с меньшим числом проверок.

Как измерить точность до запуска?

Разметьте вручную 50–100 реальных документов, прогоните конвейер и оценивайте по полям, а не по документам. К итогам и датам требования строже, чем к описаниям. Отслеживайте три числа: точность по полям, долю документов, прошедших валидацию без повтора, и долю отправленных на проверку. Как устроить этот этап проверки, включая случайный аудит прошедших документов, описано в статье ручная проверка как часть процесса document AI. Пробуя другую модель, прогоняйте тот же набор; метод описан в статье оценка LLM перед сменой провайдера.

Какие vision-модели есть в BroadNet Inference?

Модель Изображения Контекст Примечания
Qwen3.8 27B Да 262 144 Указаны инструменты, структурированный вывод и рассуждения; протестирована BroadNet на арабском
Gemma 4 VL 26B Да 32 768 Самая низкая цена у BroadNet; работает на бесплатном гранте и почасовом ключе
DeepSeek V4.1 Flash Да 1 048 576 Изображения включены в безлимитные тарифы

Цены за 1 млн токенов — на странице цен; умножьте измеренное число токенов на страницу на месячный объём в калькуляторе стоимости LLM API.

Где здесь BroadNet Inference

BroadNet Inference принимает изображения на трёх чат-моделях через стандартный формат сообщений OpenAI и не хранит промпты, изображения и ответы после запроса, что важно для счетов, полных имён, налоговых номеров и банковских реквизитов (нулевое хранение данных). Её документация указывает структурированный вывод для Qwen3.8 27B, но не описывает параметры схемы, так что полагайтесь на описанный выше слой валидации, а не на то, что API соблюдёт вашу схему. BroadNet не публикует лимит размера изображения и не предлагает отдельного продукта для document AI, а в документации описан ввод изображений, а не загрузка PDF, так что сначала переводите страницы в изображения. Для больших объёмов при фиксированном бюджете подойдёт безлимитный тариф DeepSeek V4.1 Flash — изображения в него включены.

Вопросы и ответы

Может ли vision LLM заменить OCR для счетов?

Для многих макетов — да. Vision-модель читает изображение и сопоставляет текст с полями за один шаг, без шаблонов под каждого поставщика. Но цифры она всё ещё иногда читает неверно, так что оставьте валидацию и очередь проверки.

Как получать от vision-модели надёжный JSON?

Перечислите в промпте точные ключи, типы и форматы, попросите только JSON и разбирайте его в коде. Если модель поддерживает вывод, ограниченный схемой, используйте его. В любом случае проверяйте ответ библиотекой схем и один раз повторяйте запрос с текстом ошибки.

Как извлечь данные из многостраничного счёта в PDF?

Переведите каждую страницу в изображение и отправьте все страницы одного счёта одним запросом, если они помещаются в контекст модели, — тогда итоги на последней странице можно сопоставить со строками на первой.

Какое разрешение нужно для изображений счетов?

Достаточное, чтобы самые мелкие цифры были чёткими, и не больше. Большие изображения расходуют больше входных токенов. Для страницы A4 разумная отправная точка — около 1500–2000 пикселей по длинной стороне; проверьте на своих документах.

Как измерить точность извлечения?

Разметьте вручную 50–100 реальных документов и оценивайте поле за полем. Итоги и даты отслеживайте отдельно от свободных текстовых полей вроде названия поставщика, потому что цена их ошибок разная.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity