BroadRouter

Menschliche Prüfung als festen Teil Ihres Dokumenten-KI-Workflows

Vom Team von BroadNet Inference · 7 Min. Lesezeit · Veröffentlicht · Aktualisiert

Behandeln Sie jedes extrahierte Dokument als nicht freigegeben, bis alle Regeln bestehen. Geben Sie es an einen Menschen, wenn ein Pflichtfeld fehlt, Summen nicht stimmen, Datum oder Lieferant falsch wirken oder das Modell unsicher ist. Prüfen Sie zusätzlich einen kleinen Zufallsanteil sauberer Dokumente, protokollieren Sie jede Korrektur im eigenen System und verfolgen Sie Prüfquote und auditierte Fehlerquote.

Ein Vision-Modell kann eine Rechnung lesen, aber es kann sich auch bei einer Ziffer verlesen, eine Zeile überspringen oder ein Feld erfinden, das es nicht gibt. Die Lösung ist nicht allein ein besserer Prompt. Es ist ein Prüfschritt, der vom ersten Tag an mitgeplant wird: Regeln, die entscheiden, welche Dokumente ein Mensch sieht, eine Queue, die ihm sagt, warum, und ein Protokoll, mit dem Sie die Fehlerquote belegen können.

Um diesen Schritt geht es hier. Die Extraktion selbst (Bildvorbereitung, JSON-Prompt, Schema-Validierung und Retries) steht in Daten aus Dokumenten mit einem Vision-LLM extrahieren, das Lesen arabischer Dokumente in arabische Rechnungen mit Vision lesen. Wir gehen davon aus, dass Sie bereits JSON zurückbekommen und entscheiden müssen, was Sie davon glauben.

Was sollte entscheiden, ob ein Mensch ein Dokument prüft?

Regeln, die Sie im Code testen können, kein Bauchgefühl über das Modell. Beginnen Sie mit diesen, geordnet nach Nutzen:

Regel Beispiel-Grundcode Warum es wichtig ist
Pflichtfeld fehlt missing:total Ein null ist ehrlich, ein geratener Wert ist schlimmer
Summen stimmen nicht arithmetic:subtotal+tax!=total Eine falsch gelesene Ziffer bricht fast immer eine Summe
Positionen ergeben nicht die Zwischensumme arithmetic:lines!=subtotal Findet übersprungene oder doppelte Zeilen
Datum nicht lesbar oder außerhalb des Bereichs date:unparsed Findet vertauschte Tage/Monate und OCR-Rauschen
Unbekannte Steuernummer des Lieferanten vendor:unknown Neue Lieferanten und Betrug beginnen beide hier
Unerwartete Währung currency:unexpected Ein falsch gelesenes Symbol ändert den Betrag
Modell gibt an, unsicher zu sein model:not_confident Ein Hinweis, nie die einzige Schranke

Zwei Designentscheidungen machen die Queue brauchbar. Erstens erzeugt jede Regel einen kurzen, stabilen Grundcode: Ein Prüfer öffnet das Dokument und weiß, was er kontrollieren muss, und Sie können zählen, welche Regel am häufigsten greift. Zweitens besteht ein Dokument entweder alle Regeln oder geht an einen Menschen. Vermeiden Sie gewichtete Scores, die niemand einem Prüfer oder Auditor erklären kann.

Sollten Sie der Konfidenz des Modells vertrauen?

Behandeln Sie sie als schwaches Signal. Sie können das Modell bitten, jedes Feld mit hoher, mittlerer oder niedriger Konfidenz zu bewerten, und es wird das tun. Xiong et al. (ICLR 2024) haben jedoch Verfahren verglichen, mit denen LLMs ihre Konfidenz angeben, und festgestellt, dass Modelle „tend to be overconfident“ (Übersetzung: „eher übermäßig selbstsicher sind“), wenn sie sagen, wie sicher sie sind. Besseres Prompting und Sampling halfen, aber keine Methode schlug die anderen durchgehend. Token-Log-Probabilities sind bei manchen APIs eine weitere Option. Die API-Referenz von BroadNet dokumentiert logprobs nicht, planen Sie dort also nicht damit.

Die praktische Regel: Alles unter „high“ vom Modell, oder gar keine Bewertung, schickt das Dokument in die Prüfung, ein „high“ überspringt aber nie die Prüfungen im Code. Kontrollieren Sie nach einigen hundert geprüften Dokumenten, ob „high“-Felder wirklich seltener korrigiert wurden. Falls nicht, verwerfen Sie das Signal.

Wie leiten Sie Dokumente in eine Queue?

Dieser Router läuft nach Extraktion und Validierung. Er normalisiert arabisch-indische Ziffern, wendet die Regeln oben an und wählt eine von drei Queues: review, audit_sample oder auto. Es ist reines Python ohne API-Aufruf, Sie können es also per Unit-Test prüfen.

import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}

Wir haben ihn mit drei erfundenen saudischen Rechnungen getestet (Lieferant und Steuernummer sind fiktiv). Eine saubere Rechnung, deren Datum und Zwischensumme in arabisch-indischen Ziffern geschrieben waren (٢٠٢٦-١١-٠٢ und ١٬٠٠٠٫٠٠), ging an auto. Dieselbe Rechnung mit der Gesamtsumme falsch gelesen als 1,105.00 ging an review mit arithmetic:subtotal+tax!=total. Eine mit unbekannter Steuernummer, Monat 13 und Konfidenz „medium“ ging an review mit drei Gründen: date:unparsed, vendor:unknown und model:not_confident. Mit einer erzwungenen Zufallszahl unter 0,05 ging die saubere Rechnung an audit_sample.

Zwei Grenzen sollten Sie kennen. Der Helfer money() setzt einen Punkt oder das arabische Dezimaltrennzeichen voraus; ein europäisches „1.150,00“ braucht einen eigenen Parser, der sich nach dem Land des Lieferanten richtet. Und die Datumsregel setzt voraus, dass das Modell ISO-Daten liefert. Hidschri-Daten müssen vorher umgerechnet werden, wie in arabische Named-Entity-Extraktion beschrieben.

Was ändert sich bei arabischen und englischen Rechnungen?

Zweisprachige Rechnungen sind am Golf üblich: arabische und englische Beschriftungen nebeneinander, Beträge in westlichen oder arabisch-indischen Ziffern, der Lieferantenname in zwei Schriften. Einige Regeln helfen:

  • Ziffern vor jeder Prüfung normalisieren. Bilden Sie ٠–٩ und die persischen ۰–۹ auf 0–9 ab und die arabischen Dezimal- und Tausendertrennzeichen (٫ und ٬) auf ihre ASCII-Formen. Vergleichen Sie erst danach.
  • Lieferanten über die Steuernummer abgleichen, nicht über den Namen. Arabischer und englischer Name stimmen selten Zeichen für Zeichen mit Ihrem Stammsatz überein. Die Registrierungsnummer schon.
  • Beide Namen für den Prüfer anzeigen. Zeigen Sie den extrahierten arabischen und englischen Lieferantennamen neben dem Stammsatz, das Arabische in einem isolierten Rechts-nach-links-Block. Der Beitrag zu mehrsprachigem Produktdesign behandelt die Bidi-Darstellung.
  • Prüfen, ob es eine strukturierte Rechnung gibt. Die saudische Behörde ZATCA führt die elektronische Rechnungsstellung (Fatoorah) in zwei Phasen ein, ab 4. Dezember 2021 und ab 1. Januar 2023, aufgebaut auf Rechnungen in einem strukturierten elektronischen Format. Kann ein Lieferant Ihnen das schicken, parsen Sie es, statt ein Bild davon zu lesen, und behalten Sie Vision für Papier, Fotos und den Long Tail.

Arabisches OCR mit einem Vision-LLM behandelt die Leseseite: Diakritika, gemischte Schriften und Layout.

Was sollte der Prüfer sehen?

Eine gute Prüfansicht beantwortet eine Frage pro Grundcode. Zeigen Sie bei arithmetic Positionen, Zwischensumme, Steuer und Gesamtsumme nebeneinander mit der berechneten Summe. Zeigen Sie bei vendor:unknown die extrahierte Steuernummer und die ähnlichsten Stammsätze. Zeigen Sie bei date:unparsed den rohen Datumstext und den Bildausschnitt, aus dem er stammt.

Zeigen Sie das Bild neben den Feldern, nicht in einem anderen Tab. Lassen Sie den Prüfer ein Feld korrigieren, freigeben oder das Dokument als unlesbar ablehnen. Halten Sie fest, welche Aktion er gewählt hat. „Unlesbar“ ist nützliche Information: Sind 10 % der Dokumente eines Lieferanten unlesbar, bitten Sie diesen Lieferanten um PDFs, nicht Ihr Modell um ein Wunder.

Warum Dokumente stichprobenartig prüfen, die alle Regeln bestanden haben?

Weil Regeln nur die Fehler finden, an die Sie gedacht haben. Liest ein Modell eine Position, die Zwischensumme und die Gesamtsumme um denselben Betrag falsch (eine verschmierte 7, an allen drei Stellen als 1 gelesen), stimmen alle Summen weiterhin und keine Regel greift. Solche Fehler finden Sie nur, wenn Sie sich Dokumente ansehen, die niemand markiert hat.

Ziehen Sie die Stichprobe zufällig, nicht nach Auswahl, und zählen Sie, wie viele Dokumente korrigiert werden mussten. Eine kleine Stichprobe ergibt eine große Spannweite. Mit dem 95-%-Wilson-Intervall, das das NIST-Handbuch für Anteile beschreibt (unter Verweis auf Empfehlungen von Agresti und Coull sowie von Brown, Cai und DasGupta), liefert unser Metrik-Code unten:

Auditierte Dokumente ohne gefundene Fehler Wahre Fehlerquote könnte noch bis zu … betragen
50 etwa 7,1 %
300 etwa 1,3 %

„Wir haben 50 auditiert und nichts gefunden“ heißt also nicht, dass die Fehlerquote unter 1 % liegt. Erhöhen Sie die Stichprobe nach jeder Änderung an Prompt, Modell oder Dokumentenmix, und senken Sie sie nur langsam.

Wie führen Sie einen Audit-Trail?

Erfassen Sie Korrekturen in Ihrem eigenen System. Jedes Dokument braucht einen Datensatz mit:

  • einem SHA-256-Hash der Quelldatei (und dem Ort, an dem die Datei selbst gemäß Ihren Aufbewahrungsregeln liegt);
  • der Modell-ID, der Prompt-Version und dem rohen JSON, das das Modell zurückgegeben hat;
  • der Request-ID des Anbieters (BroadNet liefert sie im Header X-Request-ID) für Supportfragen;
  • den Regelergebnissen und der Queue;
  • dem Prüfer, dem Zeitpunkt, der Aktion und dem Vorher- und Nachher-Wert jedes korrigierten Felds.

Mit einer API ohne Datenspeicherung ist das umso wichtiger. Laut der Datenschutzerklärung von BroadNet speichert sein Gateway keine Prompts, Bilder, Antworten oder Transkripte und behält nur inhaltsfreie Konto-, Abrechnungs-, Traffic- und Sicherheitsdaten. Für sensible Rechnungen ist das gut, es bedeutet aber, dass Ihnen beim Anbieter niemand zeigen kann, was das Modell letzten Monat gesehen oder gesagt hat. Ihr Protokoll ist der einzige Nachweis. Halten Sie es frei von allem, was Sie nicht brauchen; Nutzungsprotokollierung für LLM-APIs beschreibt, was Sie protokollieren und was Sie schwärzen sollten.

Wie messen Sie die Prüfquote?

Lassen Sie dies wöchentlich über das Routing-Protokoll laufen, mit den Korrekturen verknüpft:

import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}

Für eine synthetische Woche mit 1.000 Dokumenten (760 auto, 190 review, 50 auditiert, davon 2 mit Korrekturbedarf) meldete der Code eine Prüfquote von 0,19, vendor als häufigsten Grund mit 120 und eine auditierte Fehlerquote zwischen 1,1 % und 13,5 %. Diese letzte Spanne ist bei dieser Stichprobengröße die ehrliche Antwort auf die Frage „Wie genau ist die Automatisierung?“.

Lesen Sie die drei Zahlen zusammen:

  • Prüfquote sinkt, auditierte Fehler bleiben gleich: Eine Regel war zu streng, oder das Modell wurde besser. Gut.
  • Prüfquote sinkt, auditierte Fehler steigen: Eine Regel ist zu locker. Verschärfen Sie sie, bevor die Fehler in Ihrer Buchhaltung landen.
  • Ein Grund dominiert: Beheben Sie die Ursache. Führt vendor:unknown, aktualisieren Sie die Lieferantenstammdaten; führt arithmetic, prüfen Sie die Bildqualität oder testen Sie ein anderes Modell mit denselben Dokumenten, nach der Methode aus ein LLM vor dem Wechsel evaluieren.

Wo BroadNet Inference ins Bild passt

BroadRouter ist die eigene Website von BroadNet. Laut seinem Preis-Feed bietet BroadNet Inference drei Chat-Modelle, die Bilder verarbeiten: Qwen3.8 27B ($0.175 Input / $2.17 Output pro 1 Mio. Tokens, mit dokumentierter strukturierter Ausgabe), Gemma 4 VL 26B ($0.10 / $0.22, nutzbar mit dem Startguthaben von $5) und DeepSeek V4.1 Flash ($0.175 / $0.52). Bei Pay-as-you-go zählen Bilder als Input-Tokens; der Bild-Token-Rechner hilft bei der Schätzung. Inferenzinhalte werden nicht gespeichert; notwendige Konto-, Abrechnungs- und Sicherheitsmetadaten werden gespeichert, wie in der Datenschutzerklärung von BroadNet beschrieben. BroadNet bietet keine Prüf-Queue und kein Audit-Log; das Routing und die Aufzeichnungen oben bauen und führen Sie selbst.

Häufige Fragen

Was sollte bei der Rechnungsextraktion in die manuelle Prüfung?

Alles, was eine Regel nicht besteht: ein fehlendes Pflichtfeld, Positionen oder Steuer, die nicht zur Gesamtsumme passen, ein nicht lesbares oder unplausibles Datum, ein unbekannter Lieferant, eine unerwartete Währung oder ein Hinweis des Modells auf geringe Konfidenz. Dazu eine kleine Zufallsstichprobe von Dokumenten, die alle Regeln bestanden haben.

Kann ich mit dem Konfidenzwert des Modells die Prüfung überspringen?

Nicht allein damit. Forschung zur angegebenen Konfidenz (Xiong et al., ICLR 2024) fand, dass LLMs eher übermäßig selbstsicher sind. Nutzen Sie den Wert als ein Signal neben Prüfungen im Code, und prüfen Sie an Ihren gelabelten Daten, ob „high“ wirklich weniger Fehler bedeutet.

Wie viele automatisch freigegebene Dokumente sollte ich auditieren?

So viele, dass die Fehlerquote, die Sie interessiert, eingegrenzt ist. Ohne gefundene Fehler begrenzen 50 auditierte Dokumente die wahre Quote auf etwa 7 % (obere 95-%-Wilson-Grenze), 300 auf etwa 1,3 %. Erhöhen Sie die Stichprobe, wenn sich eine Regel, ein Prompt oder ein Modell ändert.

Was ist eine gute Prüfquote?

Es gibt keinen allgemeingültigen Wert. Starten Sie hoch und senken Sie die Quote nur, solange die auditierte Fehlerquote automatisch freigegebener Dokumente in Ihrer Toleranz bleibt. Sinkt die Prüfquote, während die auditierte Fehlerquote steigt, ist eine Regel zu locker.

Wo sollte der Audit-Trail liegen?

In Ihrer eigenen Datenbank. Speichern Sie einen Hash der Quelldatei, die Modell-ID, die Prompt-Version, die Rohausgabe, die Regelergebnisse, den Prüfer und die korrigierten Werte. Speichert Ihr Anbieter keine Anfrageinhalte, wie BroadNet es für seine Inferenz-API angibt, kann sie später niemand sonst rekonstruieren.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen