---
title: "Hàng đợi người duyệt cho AI tài liệu: quy tắc và lấy mẫu"
description: "Thiết kế bước người duyệt trong pipeline AI tài liệu: quy tắc kiểm tra, tài liệu nào cần gửi cho người, mẫu kiểm toán ngẫu nhiên, nhật ký kiểm toán và tỷ lệ duyệt."
url: https://broadrouter.com/vi/blog/document-review-queues/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/document-review-queues/) (cập nhật ngày 2026-11-16).

# Đưa bước người duyệt vào quy trình AI xử lý tài liệu

Đội ngũ BroadNet Inference · 7 phút đọc · Đăng ngày 2026-11-15 · Cập nhật 2026-11-16

Coi mọi tài liệu đã trích xuất là chưa duyệt cho đến khi qua hết quy tắc. Gửi cho người duyệt khi thiếu trường bắt buộc, tổng không khớp, ngày hoặc nhà cung cấp có vẻ sai, hoặc model không chắc. Duyệt thêm ngẫu nhiên một phần nhỏ tài liệu sạch, ghi mọi chỉnh sửa vào hệ thống của bạn, và theo dõi tỷ lệ duyệt cùng tỷ lệ lỗi kiểm toán.

## Ý chính

-   Quy tắc kiểm tra quyết định người duyệt thấy gì. Độ tự tin do chính model nêu ra chỉ là thêm một tín hiệu, và nghiên cứu đã công bố cho thấy LLM tự tin thái quá khi tự nêu mức này.
-   Mỗi tài liệu trong hàng đợi nên kèm lý do máy đọc được, như arithmetic hay vendor:unknown, để người duyệt biết cần nhìn vào đâu và bạn biết cần sửa quy tắc nào.
-   Kiểm toán một mẫu ngẫu nhiên các tài liệu được tự động duyệt. Không có lỗi nào trong 50 tài liệu kiểm toán vẫn cho phép tỷ lệ lỗi thật lên tới khoảng 7% (khoảng Wilson 95%).
-   Tự lưu nhật ký kiểm toán: hash ảnh, model ID, phiên bản prompt, đầu ra, các quy tắc bị vi phạm và chỉnh sửa của người duyệt. Một API không lưu giữ dữ liệu sẽ không giữ bản sao nội dung nào.
-   Theo dõi ba con số mỗi tuần: tỷ lệ duyệt, các lý do duyệt hàng đầu và tỷ lệ lỗi kiểm toán của tài liệu được tự động duyệt.

**Trong trang này**

1.  Điều gì nên quyết định một tài liệu có cần người duyệt hay không?
2.  Có nên tin vào độ tự tin của model không?
3.  Định tuyến tài liệu vào hàng đợi như thế nào?
4.  Hóa đơn tiếng Ả Rập và tiếng Anh có gì khác?
5.  Người duyệt nên thấy gì?
6.  Vì sao phải lấy mẫu cả những tài liệu đã qua mọi quy tắc?
7.  Lưu nhật ký kiểm toán như thế nào?
8.  Đo tỷ lệ duyệt như thế nào?
9.  BroadNet Inference phù hợp ở đâu

Model vision có thể đọc hóa đơn, nhưng nó cũng có thể đọc sai một chữ số, bỏ sót một dòng hoặc bịa ra một trường không tồn tại. Cách khắc phục không chỉ là một prompt tốt hơn. Đó là một bước duyệt được thiết kế từ ngày đầu: các quy tắc quyết định tài liệu nào người duyệt sẽ thấy, một hàng đợi cho họ biết lý do, và một nhật ký giúp bạn chứng minh tỷ lệ lỗi.

Bài này nói về bước đó. Phần trích xuất (chuẩn bị ảnh, prompt JSON, kiểm tra schema và retry) nằm trong [trích xuất dữ liệu từ tài liệu bằng LLM vision](https://broadrouter.com/vi/blog/extract-data-from-documents-with-vision-llm/), còn cách đọc riêng cho tiếng Ả Rập nằm trong [đọc hóa đơn tiếng Ả Rập bằng vision](https://broadrouter.com/vi/guides/read-arabic-invoices-with-vision/). Ở đây chúng tôi giả định bạn đã nhận được JSON và cần quyết định nên tin vào đâu.

## Điều gì nên quyết định một tài liệu có cần người duyệt hay không?

Những quy tắc bạn kiểm tra được bằng code, không phải cảm giác về model. Hãy bắt đầu với các quy tắc sau, theo thứ tự giá trị:

| Quy tắc | Ví dụ mã lý do | Vì sao quan trọng |
| --- | --- | --- |
| Thiếu trường bắt buộc | `missing:total` | Giá trị null là trung thực; một giá trị đoán mò còn tệ hơn |
| Các tổng không khớp | `arithmetic:subtotal+tax!=total` | Chỉ cần đọc sai một chữ số là phép cộng gần như luôn sai |
| Các dòng hàng cộng lại không khớp | `arithmetic:lines!=subtotal` | Bắt được dòng bị bỏ sót hoặc lặp lại |
| Ngày không đọc được hoặc ngoài phạm vi | `date:unparsed` | Bắt được việc đảo ngày/tháng và nhiễu OCR |
| Mã số thuế nhà cung cấp lạ | `vendor:unknown` | Nhà cung cấp mới và gian lận đều bắt đầu từ đây |
| Loại tiền tệ không mong đợi | `currency:unexpected` | Đọc sai ký hiệu sẽ làm thay đổi số tiền |
| Model nói nó không chắc | `model:not_confident` | Chỉ là gợi ý, không bao giờ là cửa chặn duy nhất |

Có hai lựa chọn thiết kế giúp hàng đợi dùng được. Thứ nhất, mọi quy tắc đều tạo ra một mã lý do ngắn và ổn định, để người duyệt mở tài liệu ra là biết cần kiểm tra gì, và bạn đếm được quy tắc nào kích hoạt nhiều nhất. Thứ hai, một tài liệu hoặc qua mọi quy tắc, hoặc được chuyển cho người. Tránh các điểm số có trọng số mà không ai giải thích được cho kiểm toán viên.

## Có nên tin vào độ tự tin của model không?

Hãy coi đó là một tín hiệu yếu. Bạn có thể yêu cầu model đánh giá mỗi trường ở mức high, medium hoặc low, và nó sẽ làm theo. Nhưng Xiong và cộng sự (ICLR 2024) đã benchmark các cách để LLM nêu độ tự tin và thấy rằng model “tend to be overconfident” (bản dịch: có xu hướng tự tin thái quá) khi nói chúng chắc chắn đến mức nào; prompt và cách lấy mẫu tốt hơn có giúp ích, nhưng không phương pháp nào luôn vượt trội các phương pháp khác. Log-probability của token là một lựa chọn khác trên một số API. Tài liệu tham chiếu API của BroadNet không mô tả `logprobs`, nên đừng thiết kế dựa vào nó ở đó.

Quy tắc thực tế: bất kỳ mức nào dưới “high” từ model, hoặc không có mức đánh giá nào, sẽ đưa tài liệu vào hàng duyệt, nhưng mức “high” không bao giờ được bỏ qua các bước kiểm tra bằng code. Sau vài trăm tài liệu đã duyệt, hãy kiểm tra xem các trường “high” có thật sự ít bị sửa hơn không. Nếu không, hãy bỏ tín hiệu đó.

## Định tuyến tài liệu vào hàng đợi như thế nào?

Router này chạy sau bước trích xuất và kiểm tra. Nó chuẩn hóa chữ số Ả Rập-Ấn Độ, áp dụng các quy tắc ở trên và chọn một trong ba hàng đợi: `review`, `audit_sample` hoặc `auto`. Đây là Python thuần, không gọi API, nên bạn có thể viết unit test cho nó.

```python
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}
```

Chúng tôi đã thử nó trên ba hóa đơn Ả Rập Xê Út tự tạo (nhà cung cấp và mã số thuế là hư cấu). Một hóa đơn sạch, với ngày và tạm tính viết bằng chữ số Ả Rập-Ấn Độ (٢٠٢٦-١١-٠٢ và ١٬٠٠٠٫٠٠), đi vào `auto`. Cũng hóa đơn đó nhưng tổng cộng bị đọc sai thành 1,105.00 thì đi vào `review` với lý do `arithmetic:subtotal+tax!=total`. Một hóa đơn có mã số thuế lạ, tháng 13 và độ tự tin “medium” đi vào `review` với ba lý do: `date:unparsed`, `vendor:unknown` và `model:not_confident`. Ép giá trị ngẫu nhiên xuống dưới 0,05 thì hóa đơn sạch được chuyển vào `audit_sample`.

Có hai giới hạn cần biết. Hàm `money()` giả định dấu thập phân là dấu chấm hoặc dấu thập phân Ả Rập; dạng châu Âu “1.150,00” cần parser riêng dựa trên quốc gia của nhà cung cấp. Và quy tắc ngày giả định model trả về ngày theo chuẩn ISO. Ngày theo lịch Hijri cần chuyển đổi trước, như trong [trích xuất thực thể có tên tiếng Ả Rập](https://broadrouter.com/vi/blog/arabic-named-entity-extraction-llm/).

## Hóa đơn tiếng Ả Rập và tiếng Anh có gì khác?

Hóa đơn song ngữ rất phổ biến ở vùng Vịnh: nhãn tiếng Ả Rập và tiếng Anh đặt cạnh nhau, số tiền viết bằng chữ số phương Tây hoặc Ả Rập-Ấn Độ, và tên nhà cung cấp viết bằng hai hệ chữ. Vài quy tắc hữu ích:

-   **Chuẩn hóa chữ số trước mọi bước kiểm tra.** Ánh xạ ٠–٩ và chữ số Ba Tư ۰–۹ sang 0–9, và dấu thập phân cùng dấu phân cách hàng nghìn tiếng Ả Rập (٫ và ٬) sang dạng ASCII. Sau đó mới so sánh.
-   **Đối chiếu nhà cung cấp theo mã số thuế, không theo tên.** Tên tiếng Ả Rập và tiếng Anh hiếm khi khớp từng ký tự với bản ghi gốc của bạn. Số đăng ký thì khớp.
-   **Cho người duyệt thấy cả hai tên.** Hiển thị tên nhà cung cấp tiếng Ả Rập và tiếng Anh đã trích xuất cạnh bản ghi gốc, với phần tiếng Ả Rập trong một khối tách riêng, viết từ phải sang trái. Bài [thiết kế sản phẩm đa ngôn ngữ](https://broadrouter.com/vi/blog/multilingual-product-design/) nói về hiển thị hai chiều (bidi).
-   **Kiểm tra xem có hóa đơn có cấu trúc không.** ZATCA của Ả Rập Xê Út triển khai hóa đơn điện tử (Fatoorah) theo hai giai đoạn, từ 4 tháng 12 năm 2021 và 1 tháng 1 năm 2023, xoay quanh hóa đơn ở định dạng điện tử có cấu trúc. Nếu nhà cung cấp gửi được cho bạn định dạng đó, hãy parse nó thay vì đọc ảnh chụp, và để dành vision cho giấy tờ, ảnh chụp và phần đuôi dài.

[OCR tiếng Ả Rập bằng LLM vision](https://broadrouter.com/vi/blog/arabic-ocr-vision-llm/) nói về phần đọc: dấu phụ, chữ viết hỗn hợp và bố cục.

## Người duyệt nên thấy gì?

Một màn hình duyệt tốt trả lời một câu hỏi cho mỗi mã lý do. Với `arithmetic`, hiển thị các dòng hàng, tạm tính, thuế và tổng cộng cạnh tổng đã tính. Với `vendor:unknown`, hiển thị mã số thuế đã trích xuất và các bản ghi gốc gần nhất. Với `date:unparsed`, hiển thị chuỗi ngày gốc và vùng ảnh cắt ra nơi nó xuất hiện.

Hiển thị ảnh cạnh các trường, không phải ở tab khác. Cho phép người duyệt sửa một trường, duyệt, hoặc từ chối tài liệu vì không đọc được. Ghi lại hành động họ đã chọn. “Không đọc được” là dữ liệu hữu ích: nếu 10% tài liệu của một nhà cung cấp không đọc được, hãy yêu cầu nhà cung cấp đó gửi PDF, đừng đòi model làm phép màu.

## Vì sao phải lấy mẫu cả những tài liệu đã qua mọi quy tắc?

Vì quy tắc chỉ bắt được những lỗi bạn đã nghĩ tới. Nếu model đọc sai một dòng hàng, tạm tính và tổng cộng cùng một lượng (số 7 bị nhòe đọc thành 1 ở cả ba chỗ), mọi phép cộng vẫn khớp và không quy tắc nào kích hoạt. Cách duy nhất để tìm những lỗi đó là xem những tài liệu không ai đánh dấu.

Hãy lấy mẫu ngẫu nhiên, không chọn tay, và theo dõi bao nhiêu tài liệu cần sửa. Mẫu nhỏ cho ra khoảng rộng. Với khoảng Wilson 95%, mà sổ tay NIST mô tả cho tỷ lệ (dẫn các khuyến nghị của Agresti và Coull, và của Brown, Cai và DasGupta), đoạn code đo lường bên dưới cho kết quả:

| Số tài liệu kiểm toán không phát hiện lỗi | Tỷ lệ lỗi thật vẫn có thể lên tới |
| --- | --- |
| 50 | khoảng 7,1% |
| 300 | khoảng 1,3% |

Vì vậy, “chúng tôi đã kiểm toán 50 tài liệu và không thấy gì” không có nghĩa là tỷ lệ lỗi dưới 1%. Hãy tăng mẫu sau mọi thay đổi về prompt, model hoặc cơ cấu tài liệu, và giảm nó từ từ.

## Lưu nhật ký kiểm toán như thế nào?

Ghi các chỉnh sửa vào hệ thống của chính bạn. Mỗi tài liệu cần một dòng gồm:

-   hash SHA-256 của file gốc (và nơi lưu chính file đó, theo quy định lưu giữ của bạn);
-   model ID, phiên bản prompt và JSON thô mà model trả về;
-   request ID của nhà cung cấp (BroadNet trả về trong header `X-Request-ID`) để hỏi hỗ trợ;
-   kết quả quy tắc và hàng đợi;
-   người duyệt, thời điểm, hành động, và giá trị trước và sau của mọi trường đã sửa.

Điều này càng quan trọng với một API không lưu giữ dữ liệu. Tuyên bố quyền riêng tư của BroadNet cho biết gateway của họ không giữ prompt, ảnh, phản hồi hay bản chép lời, và chỉ giữ các bản ghi tài khoản, thanh toán, lưu lượng và bảo mật không chứa nội dung. Điều đó tốt cho hóa đơn nhạy cảm, nhưng cũng có nghĩa là không ai ở phía nhà cung cấp có thể cho bạn thấy model đã nhìn thấy gì hay nói gì tháng trước. Nhật ký của bạn là bản ghi duy nhất. Đừng giữ trong đó những gì bạn không cần; [ghi log mức sử dụng API LLM](https://broadrouter.com/vi/blog/llm-api-usage-logging/) nói về việc nên ghi gì và nên che gì.

## Đo tỷ lệ duyệt như thế nào?

Chạy đoạn này hằng tuần trên nhật ký định tuyến, có ghép kèm các chỉnh sửa:

```python
import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
```

Trên một tuần giả lập gồm 1.000 tài liệu (760 auto, 190 review, 50 được kiểm toán trong đó 2 cần sửa), nó báo cáo tỷ lệ duyệt 0,19, `vendor` là lý do hàng đầu với 120 lần, và tỷ lệ lỗi kiểm toán từ 1,1% đến 13,5%. Khoảng cuối cùng đó là câu trả lời trung thực cho câu hỏi “tự động hóa chính xác đến đâu?” ở cỡ mẫu này.

Hãy đọc ba con số cùng nhau:

-   **Tỷ lệ duyệt giảm, lỗi kiểm toán không đổi:** một quy tắc đã quá chặt, hoặc model đã tốt hơn. Tốt.
-   **Tỷ lệ duyệt giảm, lỗi kiểm toán tăng:** một quy tắc quá lỏng. Hãy siết lại trước khi lỗi lọt vào sổ sách.
-   **Một lý do áp đảo:** hãy sửa nguyên nhân. Nếu `vendor:unknown` dẫn đầu, hãy cập nhật danh mục nhà cung cấp; nếu `arithmetic` dẫn đầu, hãy xem lại chất lượng ảnh hoặc thử model khác trên cùng tài liệu bằng phương pháp trong [đánh giá LLM trước khi chuyển đổi](https://broadrouter.com/vi/blog/evaluate-llm-before-switching/).

## BroadNet Inference phù hợp ở đâu

BroadRouter là trang web của chính BroadNet. Theo [nguồn dữ liệu giá](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-document-review-queues&utm_content=body), BroadNet Inference cung cấp ba model chat nhận ảnh: [Qwen3.8 27B](https://broadrouter.com/vi/models/qwen3.8-27b/) ($0.175 đầu vào / $2.17 đầu ra trên 1 triệu token, có tài liệu về structured output), [Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/) ($0.10 / $0.22, dùng được với $5 tín dụng ban đầu) và [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/) ($0.175 / $0.52). Khi trả theo mức dùng, ảnh được tính là token đầu vào; [công cụ tính token ảnh](https://broadrouter.com/tools/image-token-calculator/) giúp bạn ước tính. Nội dung inference không được lưu giữ; các metadata cần thiết về tài khoản, thanh toán và bảo mật được lưu giữ như mô tả trong [tuyên bố quyền riêng tư](https://www.broadnet.ai/inference-privacy) của BroadNet. BroadNet không cung cấp hàng đợi duyệt hay nhật ký kiểm toán, nên phần định tuyến và bản ghi ở trên là do bạn tự xây dựng và lưu giữ.

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Đầu ra có cấu trúc (structured output)](https://broadrouter.com/vi/glossary/structured-output/)

Đầu ra có cấu trúc (structured output) là tính năng của API LLM buộc câu trả lời của model theo định dạng do lập trình viên chỉ định, thường là JSON Schema, để code parse được tin cậy. Nó chặt hơn JSON mode, vốn chỉ đảm bảo JSON hợp lệ chứ không đảm bảo một cấu trúc cụ thể.

[Nhận dạng ký tự quang học (OCR)](https://broadrouter.com/vi/glossary/ocr/)

Nhận dạng ký tự quang học (OCR) là công nghệ phát hiện chữ in hoặc chữ viết tay trong ảnh, bản scan hay PDF và chuyển thành ký tự máy đọc được. OCR cổ điển trả về văn bản và vị trí trên trang; vision-language model có thể đọc chữ và trả lời câu hỏi về nó ngay.

[Eval (đánh giá LLM)](https://broadrouter.com/vi/glossary/eval/)

Eval (viết tắt của evaluation, đánh giá) là một bài kiểm thử lặp lại được cho model ngôn ngữ hoặc prompt: một tập input cố định, mô tả thế nào là đầu ra tốt, và một bộ chấm điểm (code, con người hoặc một model khác) chấm từng đầu ra để có thể so sánh các phiên bản.

[Không lưu giữ dữ liệu (zero data retention, ZDR)](https://broadrouter.com/vi/glossary/zero-data-retention/)

Không lưu giữ dữ liệu (ZDR) là chính sách mà nhà cung cấp AI chỉ xử lý prompt và đầu ra để phục vụ request, sau đó không lưu nội dung đó vào log, cache hay dữ liệu huấn luyện. Các bản ghi không chứa nội dung như số token và thời gian xử lý thường vẫn được giữ.

[Nhận dạng thực thể có tên (NER)](https://broadrouter.com/vi/glossary/named-entity-recognition/)

Nhận dạng thực thể có tên (NER) là tác vụ tìm các tên trong văn bản và gán cho mỗi tên một loại, như người, tổ chức hay địa điểm. Hệ thống cổ điển gán nhãn từng token; với LLM, người ta thường yêu cầu trả về danh sách thực thể dạng JSON rồi đối chiếu với văn bản gốc.

[Token đầu vào và đầu ra (input and output tokens)](https://broadrouter.com/vi/glossary/input-and-output-tokens/)

Token đầu vào là token mà model ngôn ngữ đọc trong một request, gồm system prompt, lịch sử hội thoại, định nghĩa tool và hình ảnh. Token đầu ra là token nó sinh ra để trả lời, kể cả phần suy luận. API LLM thường tính giá riêng cho hai loại, và đầu ra thường đắt hơn.

[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

## Câu hỏi thường gặp

### Khi trích xuất hóa đơn, những gì cần đưa cho người duyệt?

Mọi tài liệu không qua một quy tắc: thiếu trường bắt buộc, các dòng hàng hoặc thuế cộng lại không bằng tổng, ngày không đọc được hoặc nằm ngoài phạm vi, nhà cung cấp lạ, loại tiền tệ không mong đợi, hoặc model báo độ tự tin dưới mức "high". Thêm vào đó một mẫu ngẫu nhiên nhỏ các tài liệu đã qua mọi quy tắc.

### Có thể dựa vào điểm tự tin của model để bỏ qua bước duyệt không?

Không nên chỉ dựa vào nó. Nghiên cứu về độ tự tin do model tự nêu (Xiong và cộng sự, ICLR 2024) cho thấy LLM có xu hướng tự tin thái quá. Hãy dùng nó như một tín hiệu bên cạnh các bước kiểm tra bằng code, và đối chiếu với dữ liệu đã gán nhãn xem "high" có thật sự ít lỗi hơn không.

### Nên kiểm toán bao nhiêu tài liệu được tự động duyệt?

Đủ để giới hạn tỷ lệ lỗi mà bạn quan tâm. Khi không tìm thấy lỗi nào, 50 tài liệu kiểm toán giới hạn tỷ lệ thật ở khoảng 7% (cận trên Wilson 95%) và 300 tài liệu giới hạn ở khoảng 1,3%. Hãy tăng mẫu khi một quy tắc, prompt hoặc model thay đổi.

### Tỷ lệ duyệt bao nhiêu là tốt?

Không có con số chung cho mọi trường hợp. Hãy bắt đầu cao, rồi chỉ hạ xuống khi tỷ lệ lỗi kiểm toán của tài liệu tự động duyệt vẫn nằm trong mức chấp nhận được. Tỷ lệ duyệt giảm trong khi tỷ lệ lỗi kiểm toán tăng nghĩa là có một quy tắc quá lỏng.

### Nhật ký kiểm toán nên được lưu ở đâu?

Trong cơ sở dữ liệu của chính bạn. Lưu hash của file gốc, model ID, phiên bản prompt, đầu ra thô, kết quả quy tắc, người duyệt và các giá trị đã sửa. Nếu nhà cung cấp không lưu giữ nội dung request, như BroadNet nói về API inference của mình, thì sau này không ai khác có thể dựng lại được.

## Đọc tiếp

-   [Trích xuất hóa đơn, biên lai, biểu mẫu sang JSON bằng LLM vision](https://broadrouter.com/vi/blog/extract-data-from-documents-with-vision-llm/)
-   [OCR tiếng Ả Rập hay vision LLM: đọc tài liệu và hóa đơn tiếng Ả Rập](https://broadrouter.com/vi/blog/arabic-ocr-vision-llm/)
-   [JSON mode và json\_schema: đầu ra có cấu trúc đáng tin cậy](https://broadrouter.com/vi/blog/structured-output-json-schema/)
-   [Cách đánh giá LLM trước khi đổi nhà cung cấp](https://broadrouter.com/vi/blog/evaluate-llm-before-switching/)
-   [Ghi log sử dụng API LLM: chi phí theo người dùng, tính năng, ẩn PII](https://broadrouter.com/vi/blog/llm-api-usage-logging/)
-   [Sửa JSON không hợp lệ từ LLM: nguyên nhân, sửa lỗi, thử lại](https://broadrouter.com/vi/blog/fix-invalid-json-from-llm/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Hướng dẫn: Đọc hóa đơn và biên lai tiếng Ả Rập bằng model thị giác](https://broadrouter.com/vi/guides/read-arabic-invoices-with-vision/)
-   [Hướng dẫn: Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-document-review-queues&utm_content=page-cta) ·

**Nguồn**

-   [Xiong và cộng sự, Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs, ICLR 2024 (kiểm tra ngày 2026-11-15)](https://arxiv.org/abs/2306.13063)
-   [NIST/SEMATECH e-Handbook of Statistical Methods, 7.2.4: khoảng tin cậy cho một tỷ lệ, phương pháp Wilson (kiểm tra ngày 2026-11-15)](https://www.itl.nist.gov/div898/handbook/prc/section2/prc241.htm)
-   [ZATCA, hóa đơn điện tử (Fatoorah): giai đoạn 1 từ 4 tháng 12 năm 2021, giai đoạn 2 từ 1 tháng 1 năm 2023 (kiểm tra ngày 2026-11-15)](https://zatca.gov.sa/en/E-Invoicing/Pages/default.aspx)
-   [Tài liệu tham chiếu API BroadNet Inference: chat kèm ảnh, structured output, X-Request-ID, xử lý dữ liệu (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-document-review-queues&utm_content=sources)
-   [BroadNet Inference pricing.json: modality và giá của model (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-document-review-queues&utm_content=sources)
-   [Tuyên bố quyền riêng tư và lưu giữ dữ liệu của BroadNet Inference (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference-privacy)
