BroadRouter

Đưa bước người duyệt vào quy trình AI xử lý tài liệu

Đội ngũ BroadNet Inference · 7 phút đọc · Đăng ngày · Cập nhật

Coi mọi tài liệu đã trích xuất là chưa duyệt cho đến khi qua hết quy tắc. Gửi cho người duyệt khi thiếu trường bắt buộc, tổng không khớp, ngày hoặc nhà cung cấp có vẻ sai, hoặc model không chắc. Duyệt thêm ngẫu nhiên một phần nhỏ tài liệu sạch, ghi mọi chỉnh sửa vào hệ thống của bạn, và theo dõi tỷ lệ duyệt cùng tỷ lệ lỗi kiểm toán.

Model vision có thể đọc hóa đơn, nhưng nó cũng có thể đọc sai một chữ số, bỏ sót một dòng hoặc bịa ra một trường không tồn tại. Cách khắc phục không chỉ là một prompt tốt hơn. Đó là một bước duyệt được thiết kế từ ngày đầu: các quy tắc quyết định tài liệu nào người duyệt sẽ thấy, một hàng đợi cho họ biết lý do, và một nhật ký giúp bạn chứng minh tỷ lệ lỗi.

Bài này nói về bước đó. Phần trích xuất (chuẩn bị ảnh, prompt JSON, kiểm tra schema và retry) nằm trong trích xuất dữ liệu từ tài liệu bằng LLM vision, còn cách đọc riêng cho tiếng Ả Rập nằm trong đọc hóa đơn tiếng Ả Rập bằng vision. Ở đây chúng tôi giả định bạn đã nhận được JSON và cần quyết định nên tin vào đâu.

Điều gì nên quyết định một tài liệu có cần người duyệt hay không?

Những quy tắc bạn kiểm tra được bằng code, không phải cảm giác về model. Hãy bắt đầu với các quy tắc sau, theo thứ tự giá trị:

Quy tắc Ví dụ mã lý do Vì sao quan trọng
Thiếu trường bắt buộc missing:total Giá trị null là trung thực; một giá trị đoán mò còn tệ hơn
Các tổng không khớp arithmetic:subtotal+tax!=total Chỉ cần đọc sai một chữ số là phép cộng gần như luôn sai
Các dòng hàng cộng lại không khớp arithmetic:lines!=subtotal Bắt được dòng bị bỏ sót hoặc lặp lại
Ngày không đọc được hoặc ngoài phạm vi date:unparsed Bắt được việc đảo ngày/tháng và nhiễu OCR
Mã số thuế nhà cung cấp lạ vendor:unknown Nhà cung cấp mới và gian lận đều bắt đầu từ đây
Loại tiền tệ không mong đợi currency:unexpected Đọc sai ký hiệu sẽ làm thay đổi số tiền
Model nói nó không chắc model:not_confident Chỉ là gợi ý, không bao giờ là cửa chặn duy nhất

Có hai lựa chọn thiết kế giúp hàng đợi dùng được. Thứ nhất, mọi quy tắc đều tạo ra một mã lý do ngắn và ổn định, để người duyệt mở tài liệu ra là biết cần kiểm tra gì, và bạn đếm được quy tắc nào kích hoạt nhiều nhất. Thứ hai, một tài liệu hoặc qua mọi quy tắc, hoặc được chuyển cho người. Tránh các điểm số có trọng số mà không ai giải thích được cho kiểm toán viên.

Có nên tin vào độ tự tin của model không?

Hãy coi đó là một tín hiệu yếu. Bạn có thể yêu cầu model đánh giá mỗi trường ở mức high, medium hoặc low, và nó sẽ làm theo. Nhưng Xiong và cộng sự (ICLR 2024) đã benchmark các cách để LLM nêu độ tự tin và thấy rằng model “tend to be overconfident” (bản dịch: có xu hướng tự tin thái quá) khi nói chúng chắc chắn đến mức nào; prompt và cách lấy mẫu tốt hơn có giúp ích, nhưng không phương pháp nào luôn vượt trội các phương pháp khác. Log-probability của token là một lựa chọn khác trên một số API. Tài liệu tham chiếu API của BroadNet không mô tả logprobs, nên đừng thiết kế dựa vào nó ở đó.

Quy tắc thực tế: bất kỳ mức nào dưới “high” từ model, hoặc không có mức đánh giá nào, sẽ đưa tài liệu vào hàng duyệt, nhưng mức “high” không bao giờ được bỏ qua các bước kiểm tra bằng code. Sau vài trăm tài liệu đã duyệt, hãy kiểm tra xem các trường “high” có thật sự ít bị sửa hơn không. Nếu không, hãy bỏ tín hiệu đó.

Định tuyến tài liệu vào hàng đợi như thế nào?

Router này chạy sau bước trích xuất và kiểm tra. Nó chuẩn hóa chữ số Ả Rập-Ấn Độ, áp dụng các quy tắc ở trên và chọn một trong ba hàng đợi: review, audit_sample hoặc auto. Đây là Python thuần, không gọi API, nên bạn có thể viết unit test cho nó.

import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}

Chúng tôi đã thử nó trên ba hóa đơn Ả Rập Xê Út tự tạo (nhà cung cấp và mã số thuế là hư cấu). Một hóa đơn sạch, với ngày và tạm tính viết bằng chữ số Ả Rập-Ấn Độ (٢٠٢٦-١١-٠٢ và ١٬٠٠٠٫٠٠), đi vào auto. Cũng hóa đơn đó nhưng tổng cộng bị đọc sai thành 1,105.00 thì đi vào review với lý do arithmetic:subtotal+tax!=total. Một hóa đơn có mã số thuế lạ, tháng 13 và độ tự tin “medium” đi vào review với ba lý do: date:unparsed, vendor:unknown và model:not_confident. Ép giá trị ngẫu nhiên xuống dưới 0,05 thì hóa đơn sạch được chuyển vào audit_sample.

Có hai giới hạn cần biết. Hàm money() giả định dấu thập phân là dấu chấm hoặc dấu thập phân Ả Rập; dạng châu Âu “1.150,00” cần parser riêng dựa trên quốc gia của nhà cung cấp. Và quy tắc ngày giả định model trả về ngày theo chuẩn ISO. Ngày theo lịch Hijri cần chuyển đổi trước, như trong trích xuất thực thể có tên tiếng Ả Rập.

Hóa đơn tiếng Ả Rập và tiếng Anh có gì khác?

Hóa đơn song ngữ rất phổ biến ở vùng Vịnh: nhãn tiếng Ả Rập và tiếng Anh đặt cạnh nhau, số tiền viết bằng chữ số phương Tây hoặc Ả Rập-Ấn Độ, và tên nhà cung cấp viết bằng hai hệ chữ. Vài quy tắc hữu ích:

  • Chuẩn hóa chữ số trước mọi bước kiểm tra. Ánh xạ ٠–٩ và chữ số Ba Tư ۰–۹ sang 0–9, và dấu thập phân cùng dấu phân cách hàng nghìn tiếng Ả Rập (٫ và ٬) sang dạng ASCII. Sau đó mới so sánh.
  • Đối chiếu nhà cung cấp theo mã số thuế, không theo tên. Tên tiếng Ả Rập và tiếng Anh hiếm khi khớp từng ký tự với bản ghi gốc của bạn. Số đăng ký thì khớp.
  • Cho người duyệt thấy cả hai tên. Hiển thị tên nhà cung cấp tiếng Ả Rập và tiếng Anh đã trích xuất cạnh bản ghi gốc, với phần tiếng Ả Rập trong một khối tách riêng, viết từ phải sang trái. Bài thiết kế sản phẩm đa ngôn ngữ nói về hiển thị hai chiều (bidi).
  • Kiểm tra xem có hóa đơn có cấu trúc không. ZATCA của Ả Rập Xê Út triển khai hóa đơn điện tử (Fatoorah) theo hai giai đoạn, từ 4 tháng 12 năm 2021 và 1 tháng 1 năm 2023, xoay quanh hóa đơn ở định dạng điện tử có cấu trúc. Nếu nhà cung cấp gửi được cho bạn định dạng đó, hãy parse nó thay vì đọc ảnh chụp, và để dành vision cho giấy tờ, ảnh chụp và phần đuôi dài.

OCR tiếng Ả Rập bằng LLM vision nói về phần đọc: dấu phụ, chữ viết hỗn hợp và bố cục.

Người duyệt nên thấy gì?

Một màn hình duyệt tốt trả lời một câu hỏi cho mỗi mã lý do. Với arithmetic, hiển thị các dòng hàng, tạm tính, thuế và tổng cộng cạnh tổng đã tính. Với vendor:unknown, hiển thị mã số thuế đã trích xuất và các bản ghi gốc gần nhất. Với date:unparsed, hiển thị chuỗi ngày gốc và vùng ảnh cắt ra nơi nó xuất hiện.

Hiển thị ảnh cạnh các trường, không phải ở tab khác. Cho phép người duyệt sửa một trường, duyệt, hoặc từ chối tài liệu vì không đọc được. Ghi lại hành động họ đã chọn. “Không đọc được” là dữ liệu hữu ích: nếu 10% tài liệu của một nhà cung cấp không đọc được, hãy yêu cầu nhà cung cấp đó gửi PDF, đừng đòi model làm phép màu.

Vì sao phải lấy mẫu cả những tài liệu đã qua mọi quy tắc?

Vì quy tắc chỉ bắt được những lỗi bạn đã nghĩ tới. Nếu model đọc sai một dòng hàng, tạm tính và tổng cộng cùng một lượng (số 7 bị nhòe đọc thành 1 ở cả ba chỗ), mọi phép cộng vẫn khớp và không quy tắc nào kích hoạt. Cách duy nhất để tìm những lỗi đó là xem những tài liệu không ai đánh dấu.

Hãy lấy mẫu ngẫu nhiên, không chọn tay, và theo dõi bao nhiêu tài liệu cần sửa. Mẫu nhỏ cho ra khoảng rộng. Với khoảng Wilson 95%, mà sổ tay NIST mô tả cho tỷ lệ (dẫn các khuyến nghị của Agresti và Coull, và của Brown, Cai và DasGupta), đoạn code đo lường bên dưới cho kết quả:

Số tài liệu kiểm toán không phát hiện lỗi Tỷ lệ lỗi thật vẫn có thể lên tới
50 khoảng 7,1%
300 khoảng 1,3%

Vì vậy, “chúng tôi đã kiểm toán 50 tài liệu và không thấy gì” không có nghĩa là tỷ lệ lỗi dưới 1%. Hãy tăng mẫu sau mọi thay đổi về prompt, model hoặc cơ cấu tài liệu, và giảm nó từ từ.

Lưu nhật ký kiểm toán như thế nào?

Ghi các chỉnh sửa vào hệ thống của chính bạn. Mỗi tài liệu cần một dòng gồm:

  • hash SHA-256 của file gốc (và nơi lưu chính file đó, theo quy định lưu giữ của bạn);
  • model ID, phiên bản prompt và JSON thô mà model trả về;
  • request ID của nhà cung cấp (BroadNet trả về trong header X-Request-ID) để hỏi hỗ trợ;
  • kết quả quy tắc và hàng đợi;
  • người duyệt, thời điểm, hành động, và giá trị trước và sau của mọi trường đã sửa.

Điều này càng quan trọng với một API không lưu giữ dữ liệu. Tuyên bố quyền riêng tư của BroadNet cho biết gateway của họ không giữ prompt, ảnh, phản hồi hay bản chép lời, và chỉ giữ các bản ghi tài khoản, thanh toán, lưu lượng và bảo mật không chứa nội dung. Điều đó tốt cho hóa đơn nhạy cảm, nhưng cũng có nghĩa là không ai ở phía nhà cung cấp có thể cho bạn thấy model đã nhìn thấy gì hay nói gì tháng trước. Nhật ký của bạn là bản ghi duy nhất. Đừng giữ trong đó những gì bạn không cần; ghi log mức sử dụng API LLM nói về việc nên ghi gì và nên che gì.

Đo tỷ lệ duyệt như thế nào?

Chạy đoạn này hằng tuần trên nhật ký định tuyến, có ghép kèm các chỉnh sửa:

import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}

Trên một tuần giả lập gồm 1.000 tài liệu (760 auto, 190 review, 50 được kiểm toán trong đó 2 cần sửa), nó báo cáo tỷ lệ duyệt 0,19, vendor là lý do hàng đầu với 120 lần, và tỷ lệ lỗi kiểm toán từ 1,1% đến 13,5%. Khoảng cuối cùng đó là câu trả lời trung thực cho câu hỏi “tự động hóa chính xác đến đâu?” ở cỡ mẫu này.

Hãy đọc ba con số cùng nhau:

  • Tỷ lệ duyệt giảm, lỗi kiểm toán không đổi: một quy tắc đã quá chặt, hoặc model đã tốt hơn. Tốt.
  • Tỷ lệ duyệt giảm, lỗi kiểm toán tăng: một quy tắc quá lỏng. Hãy siết lại trước khi lỗi lọt vào sổ sách.
  • Một lý do áp đảo: hãy sửa nguyên nhân. Nếu vendor:unknown dẫn đầu, hãy cập nhật danh mục nhà cung cấp; nếu arithmetic dẫn đầu, hãy xem lại chất lượng ảnh hoặc thử model khác trên cùng tài liệu bằng phương pháp trong đánh giá LLM trước khi chuyển đổi.

BroadNet Inference phù hợp ở đâu

BroadRouter là trang web của chính BroadNet. Theo nguồn dữ liệu giá, BroadNet Inference cung cấp ba model chat nhận ảnh: Qwen3.8 27B ($0.175 đầu vào / $2.17 đầu ra trên 1 triệu token, có tài liệu về structured output), Gemma 4 VL 26B ($0.10 / $0.22, dùng được với $5 tín dụng ban đầu) và DeepSeek V4.1 Flash ($0.175 / $0.52). Khi trả theo mức dùng, ảnh được tính là token đầu vào; công cụ tính token ảnh giúp bạn ước tính. Nội dung inference không được lưu giữ; các metadata cần thiết về tài khoản, thanh toán và bảo mật được lưu giữ như mô tả trong tuyên bố quyền riêng tư của BroadNet. BroadNet không cung cấp hàng đợi duyệt hay nhật ký kiểm toán, nên phần định tuyến và bản ghi ở trên là do bạn tự xây dựng và lưu giữ.

Câu hỏi thường gặp

Khi trích xuất hóa đơn, những gì cần đưa cho người duyệt?

Mọi tài liệu không qua một quy tắc: thiếu trường bắt buộc, các dòng hàng hoặc thuế cộng lại không bằng tổng, ngày không đọc được hoặc nằm ngoài phạm vi, nhà cung cấp lạ, loại tiền tệ không mong đợi, hoặc model báo độ tự tin dưới mức "high". Thêm vào đó một mẫu ngẫu nhiên nhỏ các tài liệu đã qua mọi quy tắc.

Có thể dựa vào điểm tự tin của model để bỏ qua bước duyệt không?

Không nên chỉ dựa vào nó. Nghiên cứu về độ tự tin do model tự nêu (Xiong và cộng sự, ICLR 2024) cho thấy LLM có xu hướng tự tin thái quá. Hãy dùng nó như một tín hiệu bên cạnh các bước kiểm tra bằng code, và đối chiếu với dữ liệu đã gán nhãn xem "high" có thật sự ít lỗi hơn không.

Nên kiểm toán bao nhiêu tài liệu được tự động duyệt?

Đủ để giới hạn tỷ lệ lỗi mà bạn quan tâm. Khi không tìm thấy lỗi nào, 50 tài liệu kiểm toán giới hạn tỷ lệ thật ở khoảng 7% (cận trên Wilson 95%) và 300 tài liệu giới hạn ở khoảng 1,3%. Hãy tăng mẫu khi một quy tắc, prompt hoặc model thay đổi.

Tỷ lệ duyệt bao nhiêu là tốt?

Không có con số chung cho mọi trường hợp. Hãy bắt đầu cao, rồi chỉ hạ xuống khi tỷ lệ lỗi kiểm toán của tài liệu tự động duyệt vẫn nằm trong mức chấp nhận được. Tỷ lệ duyệt giảm trong khi tỷ lệ lỗi kiểm toán tăng nghĩa là có một quy tắc quá lỏng.

Nhật ký kiểm toán nên được lưu ở đâu?

Trong cơ sở dữ liệu của chính bạn. Lưu hash của file gốc, model ID, phiên bản prompt, đầu ra thô, kết quả quy tắc, người duyệt và các giá trị đã sửa. Nếu nhà cung cấp không lưu giữ nội dung request, như BroadNet nói về API inference của mình, thì sau này không ai khác có thể dựng lại được.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity