У счетов, чеков и форм одна и та же проблема: данные находятся на картинке, а нужны в базе данных. OCR на шаблонах ломается на каждом новом макете поставщика. Визуально-языковая модель читает страницу и сразу возвращает поля. Подвох в том, что она может уверенно ошибаться, поэтому основная работа — в конвейере вокруг неё. Эта статья описывает общий конвейер для любого языка. Для арабских документов настройка описана в руководстве чтение арабских счетов с помощью vision, а о том, когда классический OCR подходит лучше, — в статье арабский OCR или vision LLM.
Как выглядит конвейер?
- Подготовка каждой страницы: рендеринг PDF в изображения, исправление поворота, уменьшение размера.
- Извлечение: один запрос на документ с промптом по полям, только JSON.
- Валидация: разбор, проверка схемы, арифметическая проверка.
- Повтор один раз с сообщением об ошибке, если валидация не пройдена.
- Проверка: всё, что по-прежнему не проходит, отправляется человеку вместе с изображением и черновиком.
- Измерение точности по полям на размеченной выборке — и повторный прогон при каждой смене модели или промпта.
Как подготовить изображения документов?
Рендерьте PDF в изображения через PyMuPDF так, чтобы самый мелкий текст оставался чётким, но без лишних пикселей:
# pip install pymupdf pillow
import base64, io
import pymupdf # older code imports it as fitz
from PIL import Image
def pdf_pages_as_data_urls(path, long_edge=1800):
urls = []
for page in pymupdf.open(path):
pix = page.get_pixmap(dpi=200)
img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
img.thumbnail((long_edge, long_edge))
buf = io.BytesIO()
img.save(buf, format="JPEG", quality=90)
urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
return urls
В BroadNet Inference изображения передаются в сообщении как data:-URL с точным MIME-типом, а при оплате по факту тарифицируются как входные токены; большие изображения расходуют больше. Один раз измерьте число токенов на страницу по блоку usage и от него планируйте размер пакетов; как это сделать, показано в статье подсчёт токенов до отправки, а статья стоимость vision LLM за изображение переводит токены в цену за страницу. Чтобы оценить число токенов на страницу ещё до отправки, загрузите пример скана в калькулятор токенов изображения.
Как написать промпт для извлечения?
Будьте точны в ключах, типах, форматах и отсутствующих значениях. Если вам нужна ещё и JSON Schema для валидации или для провайдеров, которые её соблюдают принудительно, бесплатный генератор JSON-схем построит её по образцу счёта:
PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""
Важнее всего «Never guess» вместе с явным null. Без этого модели заполняют пробелы правдоподобными значениями, а это хуже пустого поля, потому что такое значение проходит наивную проверку.
Как получить структурированный вывод и проверить его?
У структурированного вывода два уровня. Режим JSON гарантирует валидный JSON. Вывод, ограниченный схемой, гарантирует ещё и структуру. Руководство OpenAI говорит об этом прямо: оба режима дают валидный JSON, но соблюдение схемы обеспечивают только Structured Outputs. Поддержка того и другого зависит от провайдера и модели, поэтому проверяйте в коде, что бы ни обещал API:
import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
class Line(BaseModel):
description: str
quantity: Decimal
unit_price: Decimal
line_total: Decimal
class Invoice(BaseModel):
vendor_name: str
vendor_tax_id: str | None = None
invoice_number: str
invoice_date: str
currency: str
line_items: list[Line]
subtotal: Decimal
tax: Decimal | None = None
total: Decimal
@model_validator(mode="after")
def sums(self):
tol = Decimal("0.02")
if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
raise ValueError("line_totals do not sum to subtotal")
if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
raise ValueError("subtotal + tax != total")
return self
def extract(image_urls, model="broadnet/qwen3.8-27b"):
content = [{"type": "text", "text": PROMPT}] + [
{"type": "image_url", "image_url": {"url": u}} for u in image_urls]
messages = [{"role": "user", "content": content}]
for attempt in range(2):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
try:
return Invoice.model_validate(json.loads(raw)), r.usage
except (json.JSONDecodeError, ValidationError, ValueError) as e:
messages += [{"role": "assistant", "content": raw},
{"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
return None, r.usage # send to human review
Для денег используйте Decimal, а не float. Держите max_tokens с запасом: Qwen3.8 27B рассуждает перед ответом, и рассуждения засчитываются в лимит; при маленьком лимите возвращается пустая строка. См. почему модели с рассуждениями возвращают пустые ответы.
Какие проверки ловят больше всего ошибок?
| Проверка | Что ловит | Цена |
|---|---|---|
| JSON разбирается | Текст вокруг JSON, обрезка | Бесплатно |
| Схема проходит валидацию | Пропущенные ключи, неверные типы | Бесплатно |
| Строки в сумме дают подытог | Неверно прочитанные цифры, пропущенные строки | Бесплатно |
| Подытог + налог = итог | Неверно прочитанный итог или налог | Бесплатно |
| Дата разбирается и не в будущем | Перепутанные день и месяц, шум OCR | Бесплатно |
| Налоговый номер поставщика есть в вашем списке поставщиков | Не тот поставщик, мошенничество | Один поиск |
| Дубликат номера счёта у поставщика | Двойная оплата | Один запрос |
Лучше всего окупаются арифметические проверки: одна неверно прочитанная цифра почти всегда ломает сумму. В чеках часто нет детализации по строкам, так что проверяйте то, что есть, и миритесь с меньшим числом проверок.
Как измерить точность до запуска?
Разметьте вручную 50–100 реальных документов, прогоните конвейер и оценивайте по полям, а не по документам. К итогам и датам требования строже, чем к описаниям. Отслеживайте три числа: точность по полям, долю документов, прошедших валидацию без повтора, и долю отправленных на проверку. Как устроить этот этап проверки, включая случайный аудит прошедших документов, описано в статье ручная проверка как часть процесса document AI. Пробуя другую модель, прогоняйте тот же набор; метод описан в статье оценка LLM перед сменой провайдера.
Какие vision-модели есть в BroadNet Inference?
| Модель | Изображения | Контекст | Примечания |
|---|---|---|---|
| Qwen3.8 27B | Да | 262 144 | Указаны инструменты, структурированный вывод и рассуждения; протестирована BroadNet на арабском |
| Gemma 4 VL 26B | Да | 32 768 | Самая низкая цена у BroadNet; работает на бесплатном гранте и почасовом ключе |
| DeepSeek V4.1 Flash | Да | 1 048 576 | Изображения включены в безлимитные тарифы |
Цены за 1 млн токенов — на странице цен; умножьте измеренное число токенов на страницу на месячный объём в калькуляторе стоимости LLM API.
Где здесь BroadNet Inference
BroadNet Inference принимает изображения на трёх чат-моделях через стандартный формат сообщений OpenAI и не хранит промпты, изображения и ответы после запроса, что важно для счетов, полных имён, налоговых номеров и банковских реквизитов (нулевое хранение данных). Её документация указывает структурированный вывод для Qwen3.8 27B, но не описывает параметры схемы, так что полагайтесь на описанный выше слой валидации, а не на то, что API соблюдёт вашу схему. BroadNet не публикует лимит размера изображения и не предлагает отдельного продукта для document AI, а в документации описан ввод изображений, а не загрузка PDF, так что сначала переводите страницы в изображения. Для больших объёмов при фиксированном бюджете подойдёт безлимитный тариф DeepSeek V4.1 Flash — изображения в него включены.

