---
title: "Trích xuất dữ liệu hóa đơn sang JSON bằng LLM vision"
description: "Pipeline production cho hóa đơn, biên lai, biểu mẫu: chuẩn bị ảnh, prompt theo JSON schema, kiểm tra Pydantic, kiểm tra cộng tổng, retry và hàng đợi duyệt."
url: https://broadrouter.com/vi/blog/extract-data-from-documents-with-vision-llm/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/extract-data-from-documents-with-vision-llm/) (cập nhật ngày 2026-11-14).

# Trích xuất hóa đơn, biên lai, biểu mẫu sang JSON bằng LLM vision

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày 2026-11-14

Render mỗi trang thành ảnh, gửi tới model vision cùng một prompt nêu tên từng trường và định dạng của nó, và chỉ yêu cầu JSON. Sau đó kiểm tra bằng code: parse, kiểm tra schema, kiểm tra các dòng hàng cộng lại đúng tổng, và retry một lần kèm thông báo lỗi. Những trường hợp thất bại lặp lại thì chuyển cho người duyệt.

## Ý chính

-   Model đọc; code của bạn quyết định. Đừng bao giờ ghi dữ liệu trích xuất vào sổ sách khi chưa kiểm tra schema và phép cộng.
-   Nêu tên mọi trường, kiểu và định dạng của nó trong prompt, và nói rõ phải trả về gì khi thiếu trường (null, không bao giờ đoán).
-   Kiểm tra phép cộng bắt được phần lớn lỗi đọc sai: tổng các dòng phải bằng tạm tính, và tạm tính cộng thuế phải bằng tổng cộng.
-   Retry một lần với lỗi kiểm tra đưa vào prompt; các lần thất bại lặp lại chuyển sang hàng đợi duyệt thủ công.
-   Khi trả theo mức dùng, ảnh được tính như token đầu vào và ảnh lớn hơn tốn nhiều hơn, nên hãy thu nhỏ trước khi gửi.

**Trong trang này**

1.  Pipeline trông như thế nào?
2.  Chuẩn bị ảnh tài liệu như thế nào?
3.  Nên viết prompt trích xuất thế nào?
4.  Nhận structured output và kiểm tra nó như thế nào?
5.  Những kiểm tra nào bắt được nhiều lỗi nhất?
6.  Đo độ chính xác trước khi đưa vào chạy thật như thế nào?
7.  Model vision nào phù hợp trên BroadNet Inference?
8.  BroadNet Inference phù hợp ở đâu

_[image: A paper invoice headed "فاتورة" (invoice) with tabs labelled Vendor, Date and Total, and the text "Turn documents into useful data."]_

Illustrative example.

Hóa đơn, biên lai và biểu mẫu đều có chung một vấn đề: dữ liệu nằm trong ảnh, còn bạn cần nó trong cơ sở dữ liệu. OCR dựa trên template hỏng mỗi khi có bố cục mới từ nhà cung cấp mới. Một [vision-language model](https://broadrouter.com/vi/glossary/vision-language-model/) đọc trang và trả về các trường trực tiếp. Điểm vướng là nó có thể sai một cách đầy tự tin, nên công sức nằm ở pipeline bao quanh nó. Bài này trình bày pipeline chung cho mọi ngôn ngữ. Với tài liệu tiếng Ả Rập, xem [đọc hóa đơn tiếng Ả Rập bằng vision](https://broadrouter.com/vi/guides/read-arabic-invoices-with-vision/) để thiết lập, và [OCR tiếng Ả Rập so với LLM vision](https://broadrouter.com/vi/blog/arabic-ocr-vision-llm/) để biết khi nào OCR truyền thống là công cụ tốt hơn.

## Pipeline trông như thế nào?

1.  **Chuẩn bị** từng trang: render PDF thành ảnh, xoay cho đúng, thu nhỏ.
2.  **Trích xuất**: mỗi tài liệu một request với prompt nêu từng trường, chỉ nhận JSON.
3.  **Kiểm tra**: parse, kiểm tra schema, kiểm tra phép cộng.
4.  **Retry** một lần kèm thông báo lỗi nếu kiểm tra thất bại.
5.  **Duyệt**: những gì vẫn thất bại được chuyển cho người, kèm ảnh và bản nháp.
6.  **Đo** độ chính xác theo trường trên một mẫu đã gán nhãn, và chạy lại mỗi khi đổi model hoặc prompt.

## Chuẩn bị ảnh tài liệu như thế nào?

Render PDF thành ảnh bằng PyMuPDF và giữ chữ nhỏ nhất sắc nét mà không gửi nhiều pixel hơn mức cần:

```python
# pip install pymupdf pillow
import base64, io
import pymupdf  # older code imports it as fitz
from PIL import Image

def pdf_pages_as_data_urls(path, long_edge=1800):
    urls = []
    for page in pymupdf.open(path):
        pix = page.get_pixmap(dpi=200)
        img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
        img.thumbnail((long_edge, long_edge))
        buf = io.BytesIO()
        img.save(buf, format="JPEG", quality=90)
        urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
    return urls
```

Trên BroadNet Inference, ảnh được đưa vào message dưới dạng URL `data:` với kiểu MIME chính xác, và khi [trả theo mức dùng](https://broadrouter.com/vi/glossary/pay-as-you-go/), ảnh được tính như token đầu vào; ảnh lớn hơn tốn nhiều hơn. Hãy đo số token mỗi trang một lần bằng khối `usage` và định cỡ batch từ đó; [đếm token trước khi gửi](https://broadrouter.com/vi/blog/count-tokens-before-sending/) chỉ cách làm, và [chi phí LLM vision mỗi ảnh](https://broadrouter.com/vi/blog/cheapest-vision-llm-api/) quy đổi token thành chi phí mỗi trang. Để ước tính token mỗi trang trước khi gửi bất cứ thứ gì, hãy thả một bản scan mẫu vào [máy tính token ảnh](https://broadrouter.com/tools/image-token-calculator/).

## Nên viết prompt trích xuất thế nào?

Hãy chính xác về key, kiểu, định dạng và giá trị thiếu. Nếu bạn cũng muốn có JSON Schema để kiểm tra, hoặc cho các nhà cung cấp có ép schema, [công cụ tạo JSON schema](https://broadrouter.com/tools/json-schema-generator/) miễn phí sẽ dựng nó từ một hóa đơn mẫu:

```python
PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""
```

“Never guess” (không bao giờ đoán) cộng với `null` tường minh là quan trọng nhất. Thiếu nó, model sẽ lấp chỗ trống bằng giá trị nghe hợp lý, điều còn tệ hơn để trống vì nó lọt qua được một phép kiểm tra đơn giản.

## Nhận structured output và kiểm tra nó như thế nào?

[Structured output](https://broadrouter.com/vi/glossary/structured-output/) có hai cấp. JSON mode đảm bảo JSON hợp lệ. Đầu ra ràng buộc theo schema đảm bảo thêm cả hình dạng. Hướng dẫn của OpenAI nói rõ: cả hai đều tạo ra JSON hợp lệ, nhưng chỉ Structured Outputs đảm bảo tuân thủ schema. Mức hỗ trợ khác nhau theo nhà cung cấp và model, nên hãy kiểm tra bằng code bất kể API hứa gì:

```python
import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

class Line(BaseModel):
    description: str
    quantity: Decimal
    unit_price: Decimal
    line_total: Decimal

class Invoice(BaseModel):
    vendor_name: str
    vendor_tax_id: str | None = None
    invoice_number: str
    invoice_date: str
    currency: str
    line_items: list[Line]
    subtotal: Decimal
    tax: Decimal | None = None
    total: Decimal

    @model_validator(mode="after")
    def sums(self):
        tol = Decimal("0.02")
        if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
            raise ValueError("line_totals do not sum to subtotal")
        if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
            raise ValueError("subtotal + tax != total")
        return self

def extract(image_urls, model="broadnet/qwen3.8-27b"):
    content = [{"type": "text", "text": PROMPT}] + [
        {"type": "image_url", "image_url": {"url": u}} for u in image_urls]
    messages = [{"role": "user", "content": content}]
    for attempt in range(2):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
        raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
        try:
            return Invoice.model_validate(json.loads(raw)), r.usage
        except (json.JSONDecodeError, ValidationError, ValueError) as e:
            messages += [{"role": "assistant", "content": raw},
                         {"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
    return None, r.usage  # send to human review
```

Dùng `Decimal`, không dùng `float`, cho tiền. Giữ `max_tokens` rộng rãi: Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận tính vào giới hạn; mức trần nhỏ sẽ trả về chuỗi rỗng. Xem [vì sao model suy luận trả về câu trả lời trống](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/).

## Những kiểm tra nào bắt được nhiều lỗi nhất?

| Kiểm tra | Bắt được | Chi phí |
| --- | --- | --- |
| JSON parse được | Văn xuôi quanh JSON, bị cắt cụt | Miễn phí |
| Schema hợp lệ | Thiếu key, sai kiểu | Miễn phí |
| Các dòng cộng lại bằng tạm tính | Đọc sai chữ số, bỏ sót dòng | Miễn phí |
| Tạm tính + thuế = tổng cộng | Đọc sai tổng hoặc thuế | Miễn phí |
| Ngày parse được và không ở tương lai | Đảo ngày/tháng, nhiễu OCR | Miễn phí |
| Mã số thuế nhà cung cấp khớp danh sách nhà cung cấp | Sai nhà cung cấp, gian lận | Một lần tra cứu |
| Trùng số hóa đơn theo nhà cung cấp | Thanh toán hai lần | Một truy vấn |

Kiểm tra phép cộng đáng giá nhất: chỉ một chữ số bị đọc sai gần như luôn làm hỏng tổng. Biên lai thường không có chi tiết từng dòng, nên hãy kiểm tra những gì có, và chấp nhận ít kiểm tra hơn với chúng.

## Đo độ chính xác trước khi đưa vào chạy thật như thế nào?

Gán nhãn thủ công 50 đến 100 tài liệu thật, chạy pipeline và chấm điểm **theo từng trường**, không theo từng tài liệu. Tổng tiền và ngày tháng xứng đáng với ngưỡng chặt hơn phần mô tả. Theo dõi ba con số: độ chính xác theo trường, tỷ lệ tài liệu qua kiểm tra mà không cần retry, và tỷ lệ chuyển sang duyệt. Cách thiết kế bước duyệt đó, kể cả kiểm tra ngẫu nhiên các tài liệu đã qua, nằm trong [đưa khâu duyệt của con người vào quy trình AI xử lý tài liệu](https://broadrouter.com/vi/blog/document-review-queues/). Khi thử model khác, hãy chạy cùng bộ dữ liệu; [đánh giá LLM trước khi chuyển đổi](https://broadrouter.com/vi/blog/evaluate-llm-before-switching/) trình bày phương pháp.

## Model vision nào phù hợp trên BroadNet Inference?

| Model | Ảnh | Context | Ghi chú |
| --- | --- | --- | --- |
| [Qwen3.8 27B](https://broadrouter.com/vi/models/qwen3.8-27b/) | Có | 262.144 | Có ghi tool, structured output và suy luận; BroadNet đã thử với tiếng Ả Rập |
| [Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/) | Có | 32.768 | Giá BroadNet thấp nhất; dùng được với tín dụng miễn phí và key theo giờ |
| [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/) | Có | 1.048.576 | Ảnh được bao gồm trong các gói không giới hạn |

Giá mỗi 1M token có trên [trang giá](https://broadrouter.com/vi/pricing/); nhân số token mỗi trang bạn đo được với khối lượng hằng tháng trong [máy tính chi phí API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/).

## BroadNet Inference phù hợp ở đâu

BroadNet Inference nhận ảnh trên ba model chat qua định dạng message chuẩn của OpenAI, và không lưu giữ prompt, ảnh hay câu trả lời sau request, điều quan trọng với hóa đơn đầy tên người, mã số thuế và thông tin ngân hàng ([không lưu giữ dữ liệu](https://broadrouter.com/vi/privacy/)). Tài liệu ghi Qwen3.8 27B hỗ trợ structured output nhưng không ghi nhận tham số schema, nên hãy dựa vào lớp kiểm tra ở trên thay vì trông chờ API ép schema. BroadNet không công bố giới hạn kích thước ảnh hay sản phẩm AI tài liệu chuyên dụng, và tài liệu mô tả đầu vào ảnh, không phải tải PDF lên, nên hãy render trang thành ảnh trước. Với các lượt chạy khối lượng lớn trong ngân sách cố định, [gói DeepSeek V4.1 Flash không giới hạn](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/) bao gồm cả ảnh.

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Đầu ra có cấu trúc (structured output)](https://broadrouter.com/vi/glossary/structured-output/)

Đầu ra có cấu trúc (structured output) là tính năng của API LLM buộc câu trả lời của model theo định dạng do lập trình viên chỉ định, thường là JSON Schema, để code parse được tin cậy. Nó chặt hơn JSON mode, vốn chỉ đảm bảo JSON hợp lệ chứ không đảm bảo một cấu trúc cụ thể.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Nhận dạng ký tự quang học (OCR)](https://broadrouter.com/vi/glossary/ocr/)

Nhận dạng ký tự quang học (OCR) là công nghệ phát hiện chữ in hoặc chữ viết tay trong ảnh, bản scan hay PDF và chuyển thành ký tự máy đọc được. OCR cổ điển trả về văn bản và vị trí trên trang; vision-language model có thể đọc chữ và trả lời câu hỏi về nó ngay.

[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[JSON Schema](https://broadrouter.com/vi/glossary/json-schema/)

JSON Schema là một bộ từ vựng viết bằng JSON để mô tả và kiểm tra cấu trúc dữ liệu JSON: kiểu, trường bắt buộc, giá trị cho phép và cách lồng nhau. Phiên bản hiện tại là 2020-12. Các API LLM dùng nó để định nghĩa tham số tool và cấu trúc chính xác mà structured output phải theo.

[Eval (đánh giá LLM)](https://broadrouter.com/vi/glossary/eval/)

Eval (viết tắt của evaluation, đánh giá) là một bài kiểm thử lặp lại được cho model ngôn ngữ hoặc prompt: một tập input cố định, mô tả thế nào là đầu ra tốt, và một bộ chấm điểm (code, con người hoặc một model khác) chấm từng đầu ra để có thể so sánh các phiên bản.

[Gói LLM giá cố định (flat-rate LLM plan)](https://broadrouter.com/vi/glossary/flat-rate-llm-plan/)

Gói LLM giá cố định tính một mức giá cố định cho mỗi kỳ, ví dụ một tháng, để dùng API mô hình ngôn ngữ thay vì tính theo token. Gói này thường giới hạn thứ khác, như số request đồng thời, tốc độ, model hay khung giờ sử dụng, nên giới hạn quan trọng không kém giá.

## Câu hỏi thường gặp

### LLM vision có thay được OCR cho hóa đơn không?

Với nhiều bố cục thì có. Model vision đọc ảnh và gán chữ vào các trường trong một bước, không cần template riêng cho từng nhà cung cấp. Nó vẫn đôi khi đọc sai chữ số, nên hãy giữ bước kiểm tra và hàng đợi duyệt.

### Làm sao nhận JSON ổn định từ model vision?

Liệt kê chính xác key, kiểu và định dạng trong prompt, chỉ yêu cầu JSON, và parse bằng code. Nếu model hỗ trợ đầu ra ràng buộc theo schema thì hãy dùng. Dù thế nào, hãy kiểm tra bằng thư viện schema và retry một lần kèm lỗi.

### Trích xuất dữ liệu từ hóa đơn PDF nhiều trang như thế nào?

Render từng trang thành ảnh, rồi gửi tất cả các trang của một hóa đơn trong một request nếu vừa context của model, để tổng tiền ở trang cuối khớp được với các dòng ở trang đầu.

### Ảnh hóa đơn nên có độ phân giải bao nhiêu?

Đủ cao để những chữ số nhỏ nhất vẫn sắc nét, và không cao hơn. Ảnh lớn hơn tốn nhiều token đầu vào hơn. Cạnh dài khoảng 1.500 đến 2.000 pixel là điểm xuất phát hợp lý cho trang A4; hãy thử trên tài liệu của chính bạn.

### Đo độ chính xác trích xuất như thế nào?

Gán nhãn thủ công 50 đến 100 tài liệu thật và chấm điểm theo từng trường. Theo dõi tổng tiền và ngày tháng tách riêng khỏi các trường chữ tự do như tên nhà cung cấp, vì cái giá của lỗi ở mỗi loại khác nhau.

## Đọc tiếp

-   [OCR tiếng Ả Rập hay vision LLM: đọc tài liệu và hóa đơn tiếng Ả Rập](https://broadrouter.com/vi/blog/arabic-ocr-vision-llm/)
-   [So sánh API OCR tiếng Ả Rập: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/vi/blog/arabic-ocr-api-comparison/)
-   [API LLM vision rẻ nhất: chi phí mỗi ảnh và mỗi trang, tính cụ thể](https://broadrouter.com/vi/blog/cheapest-vision-llm-api/)
-   [JSON mode và json\_schema: đầu ra có cấu trúc đáng tin cậy](https://broadrouter.com/vi/blog/structured-output-json-schema/)
-   [Cách đánh giá LLM trước khi đổi nhà cung cấp](https://broadrouter.com/vi/blog/evaluate-llm-before-switching/)
-   [Cách đếm token trước khi gửi request tới LLM](https://broadrouter.com/vi/blog/count-tokens-before-sending/)
-   [Đưa bước người duyệt vào quy trình AI xử lý tài liệu](https://broadrouter.com/vi/blog/document-review-queues/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Hướng dẫn: Đọc hóa đơn và biên lai tiếng Ả Rập bằng model thị giác](https://broadrouter.com/vi/guides/read-arabic-invoices-with-vision/)
-   [Hướng dẫn: Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)
-   [Hướng dẫn: Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-extract-data-from-documents-with-vision-llm&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu tham chiếu API BroadNet Inference: chat kèm ảnh, kiểu MIME, ảnh trên các gói (truy cập ngày 2026-11-14) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-extract-data-from-documents-with-vision-llm&utm_content=sources#requests)
-   [Giá máy đọc được của BroadNet Inference, model và modality, pricing.json (truy cập ngày 2026-11-14) (tiếng Anh)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-extract-data-from-documents-with-vision-llm&utm_content=sources)
-   [Hướng dẫn Structured Outputs của OpenAI, JSON mode so với tuân thủ schema (truy cập ngày 2026-11-14)](https://developers.openai.com/api/docs/guides/structured-outputs)
-   [Tài liệu Pydantic, model và kiểm tra hợp lệ (truy cập ngày 2026-11-14)](https://docs.pydantic.dev/latest/concepts/models/)
-   [Tài liệu PyMuPDF, render trang thành ảnh (truy cập ngày 2026-11-14)](https://pymupdf.readthedocs.io/en/latest/recipes-images.html)
