BroadRouter

Как читать арабские счета и чеки vision-моделью

Обновлено

Отправьте изображение как data URL в base64 в содержимом сообщения vision-модели, например broadnet/qwen3.8-27b или broadnet/gemma-4-26b-a4b, и попросите вернуть нужные поля в JSON. Указывайте точный MIME-тип. При оплате по факту изображение считается входными токенами; чем оно больше, тем больше токенов.

Изображения принимают три чат-модели BroadNet Inference: DeepSeek V4.1 Flash, Qwen3.8 27B и BroadNet Gemma 4 VL 26B. GLM 5.3 работает только с текстом. Для арабских документов подходит Qwen3.8 27B — именно её BroadNet тестировала на арабском: беглое письмо, понимание диалектов Залива и египетского, точный перевод между арабским и английским. Gemma 4 VL 26B — самая дешёвая из трёх в BroadNet и работает на бесплатном гранте.

Вопрос по одному счёту

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
invoice = base64.b64encode(open("invoice.jpg", "rb").read()).decode()

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "ما هو المبلغ الإجمالي في هذه الفاتورة؟"},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + invoice}},
    ]}],
)
print(response.choices[0].message.content)

Вопрос в коде на арабском: «Какова итоговая сумма в этом счёте?». Для PNG-файлов указывайте в data URL image/png: MIME-тип должен совпадать. Чтобы определить его по имени файла:

import mimetypes
mime = mimetypes.guess_type("invoice.png")[0]   # "image/png"
url = f"data:{mime};base64," + base64.b64encode(open("invoice.png", "rb").read()).decode()

Структурированные поля в ответе

Попросите JSON и точно перечислите нужные ключи. Промпт ниже просит вернуть только JSON с ключами vendor, date, currency, total и vat и оставить имя поставщика по-арабски, если оно так написано; комментарий напоминает, что Qwen3.8 27B сначала рассуждает:

prompt = (
    "Read this invoice. Reply with JSON only, keys: vendor, date (YYYY-MM-DD), "
    "currency, total (number), vat (number or null). Keep the vendor name in Arabic if it is written in Arabic."
)
response = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,  # Qwen3.8 27B reasons first
    messages=[{"role": "user", "content": [
        {"type": "text", "text": prompt},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + invoice}},
    ]}],
)

Qwen3.8 27B рассуждает перед ответом, поэтому дайте ей запас. См. почему модели с рассуждениями возвращают пустые ответы. Документация BroadNet заявляет для Qwen3.8 27B структурированный вывод; как в целом работают JSON-схемы, см. структурированный вывод в глоссарии. Разберите ответ через json.loads и проверьте поля, прежде чем сохранять их.

Стоимость

При оплате по факту изображение тарифицируется как входные токены по цене входа модели, поэтому очень большие фотографии сначала уменьшайте; калькулятор токенов для изображений показывает, сколько токенов стоит изображение заданного размера. На безлимитном тарифе DeepSeek V4.1 Flash изображения входят в безлимитное использование.

Сравните цены vision-моделей или посмотрите, как vision-модель выглядит на фоне Google, Azure, Textract и Mistral OCR, в сравнении API для OCR арабского текста.

Решение проблем

  • Пустой ответ от Qwen3.8 27B или DeepSeek V4.1 Flash. Рассуждения израсходовали max_tokens. Увеличьте лимит или задайте reasoning_effort равным low.
  • 400 или 422 на изображении. Проверьте, что data URL начинается с data:image/jpeg;base64, или data:image/png;base64, и что MIME-тип соответствует файлу.
  • 403 или ошибка модели. GLM 5.3 не принимает изображения, а для Qwen3.8 27B и DeepSeek V4.1 Flash нужно пополнить баланс. На бесплатном гранте используйте BroadNet Gemma 4 VL 26B.
  • Слишком большой запрос или ошибки контекста. Большое фото расходует много токенов, а у Gemma 4 VL 26B самое маленькое контекстное окно из трёх (указано в pricing.json). Уменьшите изображение до разумной ширины или обрежьте до области с итогами.
  • Неверные итоги или переставленные цифры. На одном чеке могут встречаться и арабско-индийские цифры (٠١٢٣), и латинские. Попросите модель возвращать числа латинскими цифрами и сверяйте итоги со строками в своём коде.
  • Невалидный JSON. Просите «JSON only» (только JSON), перед разбором удаляйте ограждения блоков кода и повторите запрос один раз, если разбор не удался.
An Arabic and English invoice beside a phone showing the JSON {"total":125.00,"currency":"AED"}, with the text "From documents to structured data."
Illustrative example; the figures are not real output.

Вопросы и ответы

Какие модели BroadNet умеют читать изображения?

DeepSeek V4.1 Flash, Qwen3.8 27B и BroadNet Gemma 4 VL 26B принимают изображения через chat completions. GLM 5.3 работает только с текстом, а модели транскрибации принимают аудио.

Как отправить локальный файл изображения в API vision-LLM?

Прочитайте файл, закодируйте его в base64 и вставьте в часть содержимого image_url как data URL, например data:image/jpeg;base64, а за ним закодированные байты. MIME-тип в URL должен соответствовать файлу.

Можно ли извлекать данные из счетов на бесплатном гранте?

Да, с BroadNet Gemma 4 VL 26B: она работает на бесплатном стартовом гранте. Qwen3.8 27B и DeepSeek V4.1 Flash становятся доступны после пополнения баланса.

Можно ли отправить счёт в PDF?

Документация BroadNet описывает изображения, отправленные как data URL, а не PDF-файлы. Сначала превратите каждую страницу PDF в JPEG или PNG, например с помощью pdftoppm, и отправьте страницы как изображения.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity