Vision-модель умеет читать счёт, но может и неверно прочитать цифру, пропустить строку или придумать поле, которого нет. Одним лучшим промптом это не исправить. Нужен шаг проверки, заложенный с первого дня: правила, которые решают, какие документы увидит человек, очередь, которая объясняет ему почему, и журнал, который позволяет доказать долю ошибок.
Эта статья — про этот шаг. Само извлечение (подготовка изображения, промпт для JSON, валидация по схеме и повторы) описано в статье извлечение данных из документов с помощью vision LLM, а чтение арабского текста — в руководстве чтение арабских счетов с помощью vision. Здесь мы считаем, что JSON вы уже получаете, и вам нужно решить, чему доверять.
Что должно решать, проверяет ли документ человек?
Правила, которые можно проверить в коде, а не ощущение от модели. Начните с этих, в порядке пользы:
| Правило | Пример кода причины | Почему это важно |
|---|---|---|
| Нет обязательного поля | missing:total |
null — честный ответ; угаданное значение хуже |
| Суммы не сходятся | arithmetic:subtotal+tax!=total |
Одна неверно прочитанная цифра почти всегда ломает сумму |
| Строки не складываются | arithmetic:lines!=subtotal |
Ловит пропущенные или задвоенные строки |
| Дата не разбирается или вне диапазона | date:unparsed |
Ловит перестановку дня и месяца и шум OCR |
| Неизвестный налоговый номер поставщика | vendor:unknown |
С этого начинаются и новые поставщики, и мошенничество |
| Неожиданная валюта | currency:unexpected |
Неверно прочитанный символ меняет сумму |
| Модель говорит, что не уверена | model:not_confident |
Подсказка, но никогда не единственный фильтр |
Два решения делают очередь удобной. Во-первых, каждое правило выдаёт короткий стабильный код причины: проверяющий открывает документ, уже зная, что проверять, а вы можете посчитать, какое правило срабатывает чаще всего. Во-вторых, документ либо проходит все правила, либо идёт к человеку. Избегайте взвешенных оценок, которые никто не сможет объяснить аудитору.
Стоит ли доверять уверенности модели?
Считайте её слабым сигналом. Можно попросить модель оценить каждое поле как high, medium или low, и она это сделает. Но Xiong et al. (ICLR 2024) сравнили способы заставить LLM называть свою уверенность и выяснили, что модели «tend to be overconfident» (перевод: «склонны к излишней уверенности»), когда говорят, насколько уверены; лучшие промпты и сэмплирование помогали, но ни один метод стабильно не превзошёл остальные. Ещё один вариант на некоторых API — логарифмы вероятностей токенов. В справочнике API BroadNet logprobs не описаны, так что не стройте на них решение там.
Практическое правило: всё, что ниже «high», или отсутствие оценки от модели отправляет документ на проверку, но «high» никогда не отменяет проверки в коде. После нескольких сотен проверенных документов посмотрите, действительно ли у полей с «high» было меньше исправлений. Если нет — уберите этот сигнал.
Как распределять документы по очередям?
Этот маршрутизатор запускается после извлечения и валидации. Он нормализует арабско-индийские цифры, применяет правила выше и выбирает одну из трёх очередей: review, audit_sample или auto. Это обычный Python без вызовов API, так что его можно покрыть модульными тестами.
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation
REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"} # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05 # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")
def money(v):
"""'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
if v is None:
return None
s = str(v).translate(DIGITS).replace(",", "").strip()
try:
return Decimal(s)
except InvalidOperation:
return None
def check(doc: dict, today: date) -> list[str]:
"""Return the reasons this document needs a person. Empty list = may auto-approve."""
reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
reasons.append("arithmetic:subtotal+tax!=total")
lines = [money(l.get("amount")) for l in doc.get("lines", [])]
if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
reasons.append("arithmetic:lines!=subtotal")
try:
d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
if d > today or (today - d).days > 400:
reasons.append("date:out_of_range")
except ValueError:
reasons.append("date:unparsed")
if doc.get("currency") and doc["currency"] not in CURRENCIES:
reasons.append("currency:unexpected")
if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
reasons.append("vendor:unknown")
if doc.get("model_confidence", "low") != "high": # a hint from the prompt, never the only gate
reasons.append("model:not_confident")
return reasons
def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
reasons = check(doc, today)
if reasons:
queue = "review"
elif rng() < AUTO_SAMPLE_RATE:
queue, reasons = "audit_sample", ["sample:random"]
else:
queue = "auto"
return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
"reasons": reasons, "ts": int(time.time())}
Мы проверили его на трёх выдуманных саудовских счетах (поставщик и налоговый номер вымышленные). Чистый счёт, где дата и промежуточный итог записаны арабско-индийскими цифрами (٢٠٢٦-١١-٠٢ и ١٬٠٠٠٫٠٠), ушёл в auto. Тот же счёт с итогом, неверно прочитанным как 1,105.00, ушёл в review с arithmetic:subtotal+tax!=total. Счёт с неизвестным налоговым номером, 13-м месяцем и уверенностью «medium» ушёл в review с тремя причинами: date:unparsed, vendor:unknown и model:not_confident. Когда мы принудительно сделали случайное число меньше 0.05, чистый счёт ушёл в audit_sample.
Два ограничения, о которых стоит знать. Функция money() рассчитана на точку или арабский десятичный разделитель; европейской записи «1.150,00» нужен свой парсер, выбираемый по стране поставщика. А правило для даты предполагает, что модель вернула даты в формате ISO. Даты по хиджре сначала нужно преобразовать, как в статье извлечение именованных сущностей из арабского текста.
Что меняется для арабских и английских счетов?
В странах Персидского залива двуязычные счета — обычное дело: арабские и английские подписи рядом, суммы западными или арабско-индийскими цифрами, название поставщика на двух письменностях. Помогут несколько правил:
- Нормализуйте цифры перед любой проверкой. Переведите ٠–٩ и персидские ۰–۹ в 0–9, а арабские десятичный разделитель и разделитель тысяч (٫ и ٬) — в их ASCII-формы. Потом сравнивайте.
- Сопоставляйте поставщиков по налоговому номеру, а не по названию. Арабское и английское названия редко совпадают с вашим справочником символ в символ. Регистрационный номер совпадает.
- Показывайте проверяющему оба названия. Выводите извлечённые арабское и английское названия поставщика рядом с записью справочника, а арабский текст — в изолированном блоке с направлением справа налево. Двунаправленный вывод разобран в статье дизайн многоязычного продукта.
- Проверьте, есть ли структурированный счёт. В Саудовской Аравии ZATCA ведёт электронное выставление счетов (Fatoorah) в две фазы — с 4 декабря 2021 года и с 1 января 2023 года, — построенное вокруг счетов в структурированном электронном формате. Если поставщик может прислать такой счёт, разбирайте его, а не его картинку, и оставьте vision для бумаги, фотографий и редких случаев.
О самом чтении — диакритике, смешанных письменностях и вёрстке — рассказывает статья арабский OCR с помощью vision LLM.
Что должен видеть проверяющий?
Хороший экран проверки отвечает на один вопрос для каждого кода причины. Для arithmetic покажите строки, промежуточный итог, налог и итог рядом с вычисленной суммой. Для vendor:unknown — извлечённый налоговый номер и ближайшие записи справочника. Для date:unparsed — сырой текст даты и фрагмент изображения, откуда он взят.
Показывайте изображение рядом с полями, а не в другой вкладке. Дайте проверяющему исправить поле, утвердить документ или отклонить его как нечитаемый. Записывайте, какое действие он выбрал. «Нечитаемый» — полезные данные: если 10% документов какого-то поставщика нечитаемы, просите PDF у поставщика, а не чуда у модели.
Зачем проверять выборку документов, прошедших все правила?
Потому что правила ловят только те ошибки, о которых вы подумали. Если модель неверно прочитает строку, промежуточный итог и итог на одну и ту же величину (смазанная 7, прочитанная как 1 во всех трёх местах), все суммы по-прежнему сходятся и ни одно правило не срабатывает. Найти такие ошибки можно только одним способом — смотреть документы, которые никто не отметил.
Берите выборку случайно, а не по выбору, и считайте, сколько документов потребовали исправления. Маленькая выборка даёт широкий диапазон. С 95-процентным интервалом Уилсона, который справочник NIST описывает для долей (ссылаясь на рекомендации Агрести и Коула, а также Брауна, Цая и ДасГупты), наш код метрик ниже даёт:
| Проверено документов, ошибок не найдено | Истинная доля ошибок всё ещё может достигать |
|---|---|
| 50 | около 7,1% |
| 300 | около 1,3% |
Так что «мы проверили 50 и ничего не нашли» не означает, что доля ошибок ниже 1%. Увеличивайте выборку после любого изменения промпта, модели или состава документов и уменьшайте её постепенно.
Как вести журнал аудита?
Записывайте исправления в своей системе. Для каждого документа нужна строка с:
- хешем SHA-256 исходного файла (и местом, где хранится сам файл, по вашим правилам хранения);
- ID модели, версией промпта и сырым JSON, который вернула модель;
- ID запроса у провайдера (BroadNet возвращает его в заголовке
X-Request-ID) для обращений в поддержку; - результатами правил и очередью;
- проверяющим, временем, действием и значением каждого исправленного поля до и после.
С API с нулевым хранением данных это важнее. Заявление BroadNet о конфиденциальности говорит, что её шлюз не хранит промпты, изображения, ответы и расшифровки, а хранит только записи об аккаунте, оплате, трафике и безопасности без содержимого. Для чувствительных счетов это хорошо, но значит, что никто у провайдера не сможет показать вам, что модель видела или ответила в прошлом месяце. Ваш журнал — единственная запись. Не храните в нём ничего лишнего; что записывать и что маскировать, разобрано в статье логирование использования LLM API.
Как измерять долю ручной проверки?
Запускайте это раз в неделю по журналу маршрутизации, присоединив к нему исправления:
import math
from collections import Counter
def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
"""95% Wilson score interval for an error rate seen in a sample."""
if n == 0:
return (0.0, 1.0)
p = errors / n
centre = (p + z * z / (2 * n)) / (1 + z * z / n)
half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
return (max(0.0, centre - half), min(1.0, centre + half))
def report(log: list[dict]) -> dict:
queues = Counter(r["queue"] for r in log)
reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
audited = [r for r in log if r["queue"] == "audit_sample"]
wrong = sum(1 for r in audited if r.get("corrected_fields"))
lo, hi = wilson(wrong, len(audited))
return {"documents": len(log),
"review_rate": round(queues["review"] / len(log), 3),
"top_reasons": reasons.most_common(3),
"audited": len(audited), "audited_with_errors": wrong,
"auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
На синтетической неделе из 1000 документов (760 в auto, 190 на проверке, 50 в аудите, из них 2 потребовали исправления) код выдал долю проверки 0.19, vendor как главную причину со 120 срабатываниями и долю ошибок по аудиту от 1,1% до 13,5%. Этот последний диапазон и есть честный ответ на вопрос «насколько точна автоматизация?» при таком размере выборки.
Смотрите на три числа вместе:
- Доля проверки падает, ошибки по аудиту не меняются: правило было слишком строгим или модель стала лучше. Хорошо.
- Доля проверки падает, ошибки по аудиту растут: правило слишком мягкое. Ужесточите его, пока ошибки не попали в учёт.
- Одна причина преобладает: устраните её источник. Если лидирует
vendor:unknown, обновите справочник поставщиков; еслиarithmetic— посмотрите на качество изображений или попробуйте другую модель на тех же документах по методу из статьи оценка LLM перед переходом.
Где здесь BroadNet Inference
BroadRouter — собственный сайт BroadNet. По данным её прайс-фида, BroadNet Inference предлагает три чат-модели, принимающие изображения: Qwen3.8 27B ($0.175 за вход / $2.17 за выход за 1 млн токенов, структурированный вывод задокументирован), Gemma 4 VL 26B ($0.10 / $0.22, доступна на стартовом гранте $5) и DeepSeek V4.1 Flash ($0.175 / $0.52). При оплате по факту изображения считаются входными токенами; оценить их поможет калькулятор токенов изображений. Содержимое запросов к инференсу не хранится; необходимые метаданные аккаунта, оплаты и безопасности хранятся, как описано в заявлении о конфиденциальности BroadNet. Очереди проверки и журнала аудита BroadNet не предоставляет, так что маршрутизацию и записи, описанные выше, вы строите и храните сами.
