BroadRouter

Trích xuất hóa đơn, biên lai, biểu mẫu sang JSON bằng LLM vision

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày

Render mỗi trang thành ảnh, gửi tới model vision cùng một prompt nêu tên từng trường và định dạng của nó, và chỉ yêu cầu JSON. Sau đó kiểm tra bằng code: parse, kiểm tra schema, kiểm tra các dòng hàng cộng lại đúng tổng, và retry một lần kèm thông báo lỗi. Những trường hợp thất bại lặp lại thì chuyển cho người duyệt.

A paper invoice headed "فاتورة" (invoice) with tabs labelled Vendor, Date and Total, and the text "Turn documents into useful data."
Illustrative example.

Hóa đơn, biên lai và biểu mẫu đều có chung một vấn đề: dữ liệu nằm trong ảnh, còn bạn cần nó trong cơ sở dữ liệu. OCR dựa trên template hỏng mỗi khi có bố cục mới từ nhà cung cấp mới. Một vision-language model đọc trang và trả về các trường trực tiếp. Điểm vướng là nó có thể sai một cách đầy tự tin, nên công sức nằm ở pipeline bao quanh nó. Bài này trình bày pipeline chung cho mọi ngôn ngữ. Với tài liệu tiếng Ả Rập, xem đọc hóa đơn tiếng Ả Rập bằng vision để thiết lập, và OCR tiếng Ả Rập so với LLM vision để biết khi nào OCR truyền thống là công cụ tốt hơn.

Pipeline trông như thế nào?

  1. Chuẩn bị từng trang: render PDF thành ảnh, xoay cho đúng, thu nhỏ.
  2. Trích xuất: mỗi tài liệu một request với prompt nêu từng trường, chỉ nhận JSON.
  3. Kiểm tra: parse, kiểm tra schema, kiểm tra phép cộng.
  4. Retry một lần kèm thông báo lỗi nếu kiểm tra thất bại.
  5. Duyệt: những gì vẫn thất bại được chuyển cho người, kèm ảnh và bản nháp.
  6. Đo độ chính xác theo trường trên một mẫu đã gán nhãn, và chạy lại mỗi khi đổi model hoặc prompt.

Chuẩn bị ảnh tài liệu như thế nào?

Render PDF thành ảnh bằng PyMuPDF và giữ chữ nhỏ nhất sắc nét mà không gửi nhiều pixel hơn mức cần:

# pip install pymupdf pillow
import base64, io
import pymupdf  # older code imports it as fitz
from PIL import Image

def pdf_pages_as_data_urls(path, long_edge=1800):
    urls = []
    for page in pymupdf.open(path):
        pix = page.get_pixmap(dpi=200)
        img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
        img.thumbnail((long_edge, long_edge))
        buf = io.BytesIO()
        img.save(buf, format="JPEG", quality=90)
        urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
    return urls

Trên BroadNet Inference, ảnh được đưa vào message dưới dạng URL data: với kiểu MIME chính xác, và khi trả theo mức dùng, ảnh được tính như token đầu vào; ảnh lớn hơn tốn nhiều hơn. Hãy đo số token mỗi trang một lần bằng khối usage và định cỡ batch từ đó; đếm token trước khi gửi chỉ cách làm, và chi phí LLM vision mỗi ảnh quy đổi token thành chi phí mỗi trang. Để ước tính token mỗi trang trước khi gửi bất cứ thứ gì, hãy thả một bản scan mẫu vào máy tính token ảnh.

Nên viết prompt trích xuất thế nào?

Hãy chính xác về key, kiểu, định dạng và giá trị thiếu. Nếu bạn cũng muốn có JSON Schema để kiểm tra, hoặc cho các nhà cung cấp có ép schema, công cụ tạo JSON schema miễn phí sẽ dựng nó từ một hóa đơn mẫu:

PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""

“Never guess” (không bao giờ đoán) cộng với null tường minh là quan trọng nhất. Thiếu nó, model sẽ lấp chỗ trống bằng giá trị nghe hợp lý, điều còn tệ hơn để trống vì nó lọt qua được một phép kiểm tra đơn giản.

Nhận structured output và kiểm tra nó như thế nào?

Structured output có hai cấp. JSON mode đảm bảo JSON hợp lệ. Đầu ra ràng buộc theo schema đảm bảo thêm cả hình dạng. Hướng dẫn của OpenAI nói rõ: cả hai đều tạo ra JSON hợp lệ, nhưng chỉ Structured Outputs đảm bảo tuân thủ schema. Mức hỗ trợ khác nhau theo nhà cung cấp và model, nên hãy kiểm tra bằng code bất kể API hứa gì:

import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

class Line(BaseModel):
    description: str
    quantity: Decimal
    unit_price: Decimal
    line_total: Decimal

class Invoice(BaseModel):
    vendor_name: str
    vendor_tax_id: str | None = None
    invoice_number: str
    invoice_date: str
    currency: str
    line_items: list[Line]
    subtotal: Decimal
    tax: Decimal | None = None
    total: Decimal

    @model_validator(mode="after")
    def sums(self):
        tol = Decimal("0.02")
        if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
            raise ValueError("line_totals do not sum to subtotal")
        if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
            raise ValueError("subtotal + tax != total")
        return self

def extract(image_urls, model="broadnet/qwen3.8-27b"):
    content = [{"type": "text", "text": PROMPT}] + [
        {"type": "image_url", "image_url": {"url": u}} for u in image_urls]
    messages = [{"role": "user", "content": content}]
    for attempt in range(2):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
        raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
        try:
            return Invoice.model_validate(json.loads(raw)), r.usage
        except (json.JSONDecodeError, ValidationError, ValueError) as e:
            messages += [{"role": "assistant", "content": raw},
                         {"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
    return None, r.usage  # send to human review

Dùng Decimal, không dùng float, cho tiền. Giữ max_tokens rộng rãi: Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận tính vào giới hạn; mức trần nhỏ sẽ trả về chuỗi rỗng. Xem vì sao model suy luận trả về câu trả lời trống.

Những kiểm tra nào bắt được nhiều lỗi nhất?

Kiểm tra Bắt được Chi phí
JSON parse được Văn xuôi quanh JSON, bị cắt cụt Miễn phí
Schema hợp lệ Thiếu key, sai kiểu Miễn phí
Các dòng cộng lại bằng tạm tính Đọc sai chữ số, bỏ sót dòng Miễn phí
Tạm tính + thuế = tổng cộng Đọc sai tổng hoặc thuế Miễn phí
Ngày parse được và không ở tương lai Đảo ngày/tháng, nhiễu OCR Miễn phí
Mã số thuế nhà cung cấp khớp danh sách nhà cung cấp Sai nhà cung cấp, gian lận Một lần tra cứu
Trùng số hóa đơn theo nhà cung cấp Thanh toán hai lần Một truy vấn

Kiểm tra phép cộng đáng giá nhất: chỉ một chữ số bị đọc sai gần như luôn làm hỏng tổng. Biên lai thường không có chi tiết từng dòng, nên hãy kiểm tra những gì có, và chấp nhận ít kiểm tra hơn với chúng.

Đo độ chính xác trước khi đưa vào chạy thật như thế nào?

Gán nhãn thủ công 50 đến 100 tài liệu thật, chạy pipeline và chấm điểm theo từng trường, không theo từng tài liệu. Tổng tiền và ngày tháng xứng đáng với ngưỡng chặt hơn phần mô tả. Theo dõi ba con số: độ chính xác theo trường, tỷ lệ tài liệu qua kiểm tra mà không cần retry, và tỷ lệ chuyển sang duyệt. Cách thiết kế bước duyệt đó, kể cả kiểm tra ngẫu nhiên các tài liệu đã qua, nằm trong đưa khâu duyệt của con người vào quy trình AI xử lý tài liệu. Khi thử model khác, hãy chạy cùng bộ dữ liệu; đánh giá LLM trước khi chuyển đổi trình bày phương pháp.

Model vision nào phù hợp trên BroadNet Inference?

Model Ảnh Context Ghi chú
Qwen3.8 27B Có 262.144 Có ghi tool, structured output và suy luận; BroadNet đã thử với tiếng Ả Rập
Gemma 4 VL 26B Có 32.768 Giá BroadNet thấp nhất; dùng được với tín dụng miễn phí và key theo giờ
DeepSeek V4.1 Flash Có 1.048.576 Ảnh được bao gồm trong các gói không giới hạn

Giá mỗi 1M token có trên trang giá; nhân số token mỗi trang bạn đo được với khối lượng hằng tháng trong máy tính chi phí API LLM.

BroadNet Inference phù hợp ở đâu

BroadNet Inference nhận ảnh trên ba model chat qua định dạng message chuẩn của OpenAI, và không lưu giữ prompt, ảnh hay câu trả lời sau request, điều quan trọng với hóa đơn đầy tên người, mã số thuế và thông tin ngân hàng (không lưu giữ dữ liệu). Tài liệu ghi Qwen3.8 27B hỗ trợ structured output nhưng không ghi nhận tham số schema, nên hãy dựa vào lớp kiểm tra ở trên thay vì trông chờ API ép schema. BroadNet không công bố giới hạn kích thước ảnh hay sản phẩm AI tài liệu chuyên dụng, và tài liệu mô tả đầu vào ảnh, không phải tải PDF lên, nên hãy render trang thành ảnh trước. Với các lượt chạy khối lượng lớn trong ngân sách cố định, gói DeepSeek V4.1 Flash không giới hạn bao gồm cả ảnh.

Câu hỏi thường gặp

LLM vision có thay được OCR cho hóa đơn không?

Với nhiều bố cục thì có. Model vision đọc ảnh và gán chữ vào các trường trong một bước, không cần template riêng cho từng nhà cung cấp. Nó vẫn đôi khi đọc sai chữ số, nên hãy giữ bước kiểm tra và hàng đợi duyệt.

Làm sao nhận JSON ổn định từ model vision?

Liệt kê chính xác key, kiểu và định dạng trong prompt, chỉ yêu cầu JSON, và parse bằng code. Nếu model hỗ trợ đầu ra ràng buộc theo schema thì hãy dùng. Dù thế nào, hãy kiểm tra bằng thư viện schema và retry một lần kèm lỗi.

Trích xuất dữ liệu từ hóa đơn PDF nhiều trang như thế nào?

Render từng trang thành ảnh, rồi gửi tất cả các trang của một hóa đơn trong một request nếu vừa context của model, để tổng tiền ở trang cuối khớp được với các dòng ở trang đầu.

Ảnh hóa đơn nên có độ phân giải bao nhiêu?

Đủ cao để những chữ số nhỏ nhất vẫn sắc nét, và không cao hơn. Ảnh lớn hơn tốn nhiều token đầu vào hơn. Cạnh dài khoảng 1.500 đến 2.000 pixel là điểm xuất phát hợp lý cho trang A4; hãy thử trên tài liệu của chính bạn.

Đo độ chính xác trích xuất như thế nào?

Gán nhãn thủ công 50 đến 100 tài liệu thật và chấm điểm theo từng trường. Theo dõi tổng tiền và ngày tháng tách riêng khỏi các trường chữ tự do như tên nhà cung cấp, vì cái giá của lỗi ở mỗi loại khác nhau.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity