BroadRouter

Đọc hóa đơn và biên lai tiếng Ả Rập bằng model thị giác

Cập nhật

Gửi ảnh dưới dạng data URL base64 trong nội dung message tới một model thị giác như broadnet/qwen3.8-27b hoặc broadnet/gemma-4-26b-a4b, và yêu cầu các trường bạn cần dưới dạng JSON. Hãy ghi đúng MIME type. Với gói trả theo mức dùng, mỗi ảnh được tính là token đầu vào; ảnh càng lớn càng tốn nhiều token.

Ba model chat trên BroadNet Inference nhận hình ảnh: DeepSeek V4.1 Flash, Qwen3.8 27B và BroadNet Gemma 4 VL 26B. GLM 5.3 chỉ xử lý văn bản. Với tài liệu tiếng Ả Rập, Qwen3.8 27B là model BroadNet đã thử nghiệm bằng tiếng Ả Rập: viết trôi chảy, hiểu phương ngữ vùng Vịnh và Ai Cập, dịch Ả Rập–Anh chính xác. Gemma 4 VL 26B rẻ nhất trong ba model trên BroadNet và chạy được bằng tín dụng miễn phí.

Hỏi về một hóa đơn

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
invoice = base64.b64encode(open("invoice.jpg", "rb").read()).decode()

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "ما هو المبلغ الإجمالي في هذه الفاتورة؟"},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + invoice}},
    ]}],
)
print(response.choices[0].message.content)

Câu hỏi trên có nghĩa là “Tổng số tiền trên hóa đơn này là bao nhiêu?” bằng tiếng Ả Rập. Với file PNG, hãy dùng image/png trong data URL: MIME type phải khớp. Để lấy nó từ tên file:

import mimetypes
mime = mimetypes.guess_type("invoice.png")[0]   # "image/png"
url = f"data:{mime};base64," + base64.b64encode(open("invoice.png", "rb").read()).decode()

Nhận lại các trường có cấu trúc

Yêu cầu trả về JSON và nói rõ chính xác bạn muốn những key nào:

prompt = (
    "Read this invoice. Reply with JSON only, keys: vendor, date (YYYY-MM-DD), "
    "currency, total (number), vat (number or null). Keep the vendor name in Arabic if it is written in Arabic."
)
response = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,  # Qwen3.8 27B reasons first
    messages=[{"role": "user", "content": [
        {"type": "text", "text": prompt},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + invoice}},
    ]}],
)

Qwen3.8 27B suy luận trước khi trả lời, nên hãy chừa chỗ cho nó. Xem vì sao model suy luận trả về câu trả lời rỗng. Tài liệu BroadNet ghi hỗ trợ đầu ra có cấu trúc cho Qwen3.8 27B; xem đầu ra có cấu trúc để biết JSON schema hoạt động thế nào nói chung. Phân tích câu trả lời bằng json.loads và kiểm tra các trường trước khi lưu.

Chi phí

Với gói trả theo mức dùng, một ảnh được tính phí như token đầu vào theo giá đầu vào của model, nên hãy thu nhỏ ảnh rất lớn trước; công cụ tính token ảnh cho biết một kích thước nhất định tốn bao nhiêu token. Trên gói DeepSeek V4.1 Flash không giới hạn, hình ảnh nằm trong phần sử dụng không giới hạn.

So sánh giá các model thị giác, hoặc xem model thị giác so với Google, Azure, Textract và Mistral OCR ra sao trong bài so sánh API OCR tiếng Ả Rập.

Xử lý sự cố

  • Câu trả lời rỗng từ Qwen3.8 27B hoặc DeepSeek V4.1 Flash. Phần suy luận đã dùng hết max_tokens. Hãy tăng giá trị này hoặc đặt reasoning_effort là low.
  • 400 hoặc 422 với hình ảnh. Kiểm tra data URL bắt đầu bằng data:image/jpeg;base64, hoặc data:image/png;base64, và MIME type khớp với file.
  • 403 hoặc lỗi về model. GLM 5.3 không nhận hình ảnh, còn Qwen3.8 27B và DeepSeek V4.1 Flash cần nạp tiền. Hãy dùng BroadNet Gemma 4 VL 26B với tín dụng miễn phí.
  • Request quá lớn hoặc lỗi context. Ảnh lớn tốn nhiều token, và Gemma 4 VL 26B có cửa sổ context nhỏ nhất trong ba model (ghi trong pricing.json). Hãy thu nhỏ về độ rộng hợp lý hoặc cắt lấy vùng ghi tổng tiền.
  • Tổng tiền sai hoặc chữ số bị đảo. Chữ số Ả Rập-Ấn (٠١٢٣) và chữ số Latin có thể cùng xuất hiện trên một biên lai. Hãy yêu cầu model trả về số bằng chữ số Latin, và đối chiếu tổng tiền với các dòng hàng trong code của bạn.
  • JSON không hợp lệ. Yêu cầu “JSON only” (Bản dịch: chỉ JSON), bỏ mọi code fence trước khi phân tích, và thử lại một lần nếu phân tích thất bại.
An Arabic and English invoice beside a phone showing the JSON {"total":125.00,"currency":"AED"}, with the text "From documents to structured data."
Illustrative example; the figures are not real output.

Câu hỏi thường gặp

Những model BroadNet nào đọc được hình ảnh?

DeepSeek V4.1 Flash, Qwen3.8 27B và BroadNet Gemma 4 VL 26B nhận hình ảnh qua chat completions. GLM 5.3 chỉ xử lý văn bản, còn các model chép lời nhận âm thanh.

Làm sao gửi một file ảnh cục bộ tới API vision LLM?

Đọc file, mã hóa base64 rồi đặt vào một phần nội dung image_url dưới dạng data URL, như data:image/jpeg;base64, theo sau là các byte đã mã hóa. MIME type trong URL phải khớp với file.

Có thể trích xuất dữ liệu hóa đơn bằng tín dụng miễn phí không?

Có, với BroadNet Gemma 4 VL 26B, model chạy được bằng tín dụng ban đầu miễn phí. Qwen3.8 27B và DeepSeek V4.1 Flash mở sau khi nạp tiền.

Có gửi được hóa đơn PDF không?

Tài liệu BroadNet mô tả việc gửi hình ảnh dưới dạng data URL, không phải file PDF. Hãy chuyển từng trang PDF thành JPEG hoặc PNG trước, ví dụ bằng pdftoppm, rồi gửi các trang đó dưới dạng hình ảnh.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity