BroadRouter

Intégrer la relecture humaine à votre workflow d’IA documentaire

Par l’équipe BroadNet Inference · 7 min de lecture · Publié · Mis à jour

Considérez chaque document extrait comme non approuvé tant que les règles ne passent pas. Envoyez-le à une personne si un champ obligatoire manque, si les totaux ne concordent pas, si la date ou le fournisseur semble faux ou si le modèle n’est pas sûr. Relisez aussi une petite part aléatoire de documents propres, journalisez chaque correction dans votre propre système et suivez le taux de relecture et le taux d’erreur audité.

Un modèle de vision sait lire une facture, mais il peut aussi mal lire un chiffre, sauter une ligne ou inventer un champ qui n’existe pas. La solution n’est pas seulement un meilleur prompt. C’est une étape de relecture prévue dès le premier jour : des règles qui décident quels documents une personne voit, une file qui lui dit pourquoi, et un journal qui vous permet de prouver le taux d’erreur.

Cet article traite de cette étape. L’extraction elle-même (préparation de l’image, prompt JSON, validation de schéma et nouvelles tentatives) est décrite dans extraire des données de documents avec un LLM de vision, et la lecture spécifique à l’arabe dans lire des factures arabes avec la vision. Ici, on suppose que vous recevez déjà du JSON et que vous devez décider à quoi vous fier.

Qu’est-ce qui doit décider si une personne relit un document ?

Des règles que vous pouvez tester dans le code, pas une impression sur le modèle. Commencez par celles-ci, par ordre d’utilité :

Règle Exemple de code motif Pourquoi c’est important
Champ obligatoire manquant missing:total Un null est honnête ; une valeur devinée est pire
Les totaux ne concordent pas arithmetic:subtotal+tax!=total Un seul chiffre mal lu casse presque toujours une somme
Les lignes ne donnent pas le sous-total arithmetic:lines!=subtotal Repère les lignes sautées ou dupliquées
Date illisible ou hors plage date:unparsed Repère les inversions jour/mois et le bruit d’OCR
Numéro fiscal du fournisseur inconnu vendor:unknown Les nouveaux fournisseurs comme la fraude commencent ici
Devise inattendue currency:unexpected Un symbole mal lu change le montant
Le modèle dit ne pas être sûr model:not_confident Un indice, jamais le seul filtre

Deux choix de conception rendent la file utilisable. D’abord, chaque règle produit un code motif court et stable : le relecteur ouvre le document en sachant quoi vérifier, et vous pouvez compter quelle règle se déclenche le plus. Ensuite, un document passe toutes les règles ou part chez une personne. Évitez les scores pondérés que personne ne sait expliquer à un auditeur.

Faut-il se fier à la confiance du modèle ?

Traitez-la comme un signal faible. Vous pouvez demander au modèle d’évaluer chaque champ en confiance haute, moyenne ou basse, et il le fera. Mais Xiong et al. (ICLR 2024) ont comparé des méthodes pour faire déclarer leur confiance aux LLM et ont constaté que les modèles « tend to be overconfident » (traduction : « ont tendance à être trop sûrs d’eux ») quand ils disent à quel point ils sont sûrs ; un meilleur prompting et l’échantillonnage aidaient, et aucune méthode ne battait les autres de façon constante. Les log-probabilités des tokens sont une autre option sur certaines API. La référence de l’API de BroadNet ne documente pas logprobs : ne concevez donc rien autour chez BroadNet.

La règle pratique : tout ce qui est inférieur à « high », ou l’absence de note du modèle, envoie le document en relecture, mais un « high » ne dispense jamais des contrôles dans le code. Après quelques centaines de documents relus, vérifiez si les champs « high » ont vraiment été moins corrigés. Sinon, abandonnez ce signal.

Comment router les documents vers une file ?

Ce routeur s’exécute après l’extraction et la validation. Il normalise les chiffres arabes orientaux, applique les règles ci-dessus et choisit l’une de trois files : review, audit_sample ou auto. C’est du Python pur, sans appel d’API : vous pouvez donc le tester unitairement.

import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}

Nous l’avons testé sur trois factures saoudiennes inventées (le fournisseur et le numéro fiscal sont fictifs). Une facture propre, dont la date et le sous-total étaient écrits en chiffres arabes orientaux (٢٠٢٦-١١-٠٢ et ١٬٠٠٠٫٠٠), est allée en auto. La même facture avec le total mal lu en 1,105.00 est allée en review avec arithmetic:subtotal+tax!=total. Une facture avec un numéro fiscal inconnu, un mois 13 et une confiance « medium » est allée en review avec trois motifs : date:unparsed, vendor:unknown et model:not_confident. En forçant le tirage aléatoire sous 0,05, la facture propre est allée en audit_sample.

Deux limites à connaître. La fonction money() suppose un point ou le séparateur décimal arabe ; un « 1.150,00 » européen demande son propre parseur, choisi selon le pays du fournisseur. Et la règle de date suppose que le modèle renvoie des dates ISO. Les dates hégiriennes doivent d’abord être converties, comme dans l’extraction d’entités nommées en arabe.

Qu’est-ce qui change pour les factures en arabe et en anglais ?

Les factures bilingues sont courantes dans le Golfe : libellés arabes et anglais côte à côte, montants en chiffres occidentaux ou arabes orientaux, nom du fournisseur dans deux écritures. Quelques règles aident :

  • Normalisez les chiffres avant tout contrôle. Convertissez ٠–٩ et les chiffres persans ۰–۹ en 0–9, et les séparateurs arabes décimal et de milliers (٫ et ٬) en leurs formes ASCII. Comparez ensuite.
  • Rapprochez les fournisseurs par numéro fiscal, pas par nom. Les noms arabe et anglais correspondent rarement caractère pour caractère à votre fiche fournisseur. Le numéro d’immatriculation, si.
  • Montrez les deux noms au relecteur. Affichez les noms arabe et anglais extraits à côté de la fiche fournisseur, l’arabe dans un bloc isolé de droite à gauche. L’article sur la conception de produits multilingues traite de l’affichage bidirectionnel.
  • Vérifiez s’il existe une facture structurée. En Arabie saoudite, la ZATCA déploie la facturation électronique (Fatoorah) en deux phases, à partir du 4 décembre 2021 et du 1er janvier 2023, autour de factures dans un format électronique structuré. Si un fournisseur peut vous l’envoyer, analysez ce fichier au lieu de lire une image, et gardez la vision pour le papier, les photos et la longue traîne.

L’OCR arabe avec un LLM de vision couvre le côté lecture : diacritiques, écritures mixtes et mise en page.

Que doit voir le relecteur ?

Un bon écran de relecture répond à une question par code motif. Pour arithmetic, montrez les lignes, le sous-total, la taxe et le total côte à côte avec la somme calculée. Pour vendor:unknown, montrez le numéro fiscal extrait et les fiches fournisseurs les plus proches. Pour date:unparsed, montrez le texte brut de la date et le recadrage de l’image dont il provient.

Affichez l’image à côté des champs, pas dans un autre onglet. Laissez le relecteur corriger un champ, approuver, ou rejeter le document comme illisible. Enregistrez l’action choisie. « Illisible » est une donnée utile : si 10 % des documents d’un fournisseur sont illisibles, demandez des PDF à ce fournisseur, pas un miracle à votre modèle.

Pourquoi échantillonner des documents qui ont passé toutes les règles ?

Parce que les règles n’attrapent que les erreurs auxquelles vous avez pensé. Si un modèle lit mal une ligne, le sous-total et le total du même montant (un 7 baveux lu comme un 1 aux trois endroits), toutes les sommes concordent encore et aucune règle ne se déclenche. Le seul moyen de trouver ces erreurs est de regarder des documents que personne n’a signalés.

Tirez l’échantillon au hasard, pas au choix, et comptez combien de documents ont dû être corrigés. Un petit échantillon donne une large fourchette. Avec l’intervalle de Wilson à 95 %, que le manuel du NIST décrit pour les proportions (en citant les recommandations d’Agresti et Coull, et de Brown, Cai et DasGupta), notre code de métriques ci-dessous donne :

Documents audités sans erreur trouvée Le taux d’erreur réel peut encore atteindre
50 environ 7,1 %
300 environ 1,3 %

Donc « nous en avons audité 50 et rien trouvé » ne veut pas dire que le taux d’erreur est sous 1 %. Augmentez l’échantillon après tout changement de prompt, de modèle ou de mix de documents, et baissez-le lentement.

Comment tenir une piste d’audit ?

Enregistrez les corrections dans votre propre système. Chaque document a besoin d’une ligne avec :

  • un hash SHA-256 du fichier source (et l’endroit où le fichier lui-même est stocké, selon vos règles de conservation) ;
  • l’ID du modèle, la version du prompt et le JSON brut renvoyé par le modèle ;
  • l’ID de requête du fournisseur (BroadNet le renvoie dans l’en-tête X-Request-ID) pour les questions au support ;
  • les résultats des règles et la file ;
  • le relecteur, l’heure, l’action et la valeur avant et après de chaque champ corrigé.

C’est encore plus important avec une API sans conservation des données. La déclaration de confidentialité de BroadNet indique que sa passerelle ne conserve ni prompts, ni images, ni réponses, ni transcriptions, et ne garde que des enregistrements de compte, de facturation, de trafic et de sécurité sans contenu. C’est une bonne chose pour des factures sensibles, mais cela signifie que personne chez le fournisseur ne peut vous montrer ce que le modèle a vu ou dit le mois dernier. Votre journal est la seule trace. N’y mettez rien dont vous n’avez pas besoin ; la journalisation de l’usage d’une API LLM explique quoi journaliser et quoi masquer.

Comment mesurer le taux de relecture ?

Exécutez ceci chaque semaine sur le journal de routage, en y joignant les corrections :

import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}

Sur une semaine synthétique de 1 000 documents (760 auto, 190 en relecture, 50 audités dont 2 à corriger), il a indiqué un taux de relecture de 0,19, vendor comme premier motif avec 120, et un taux d’erreur audité entre 1,1 % et 13,5 %. Cette dernière fourchette est la réponse honnête à « quelle est la précision de l’automatisation ? » pour cette taille d’échantillon.

Lisez les trois chiffres ensemble :

  • Le taux de relecture baisse, les erreurs auditées restent stables : une règle était trop stricte, ou le modèle s’est amélioré. Bien.
  • Le taux de relecture baisse, les erreurs auditées montent : une règle est trop lâche. Resserrez-la avant que les erreurs n’atteignent votre comptabilité.
  • Un motif domine : corrigez la cause. Si vendor:unknown arrive en tête, mettez à jour le référentiel fournisseurs ; si c’est arithmetic, regardez la qualité des images ou essayez un autre modèle sur les mêmes documents avec la méthode de évaluer un LLM avant d’en changer.

Où se situe BroadNet Inference

BroadRouter est le site de BroadNet. Selon son flux de prix, BroadNet Inference propose trois modèles de chat qui acceptent des images : Qwen3.8 27B ($0.175 en entrée / $2.17 en sortie par million de tokens, avec sortie structurée documentée), Gemma 4 VL 26B ($0.10 / $0.22, utilisable avec le crédit de départ de $5) et DeepSeek V4.1 Flash ($0.175 / $0.52). En paiement à l’usage, les images comptent comme des tokens d’entrée ; le calculateur de tokens d’image aide à les estimer. Le contenu d’inférence n’est pas conservé ; les métadonnées nécessaires de compte, de facturation et de sécurité sont conservées comme le décrit la déclaration de confidentialité de BroadNet. BroadNet ne fournit ni file de relecture ni journal d’audit : le routage et les enregistrements ci-dessus sont à construire et à tenir de votre côté.

Questions fréquentes

Que faut-il envoyer en relecture humaine lors de l’extraction de factures ?

Tout ce qui échoue à une règle : un champ obligatoire manquant, des lignes ou une taxe qui ne donnent pas le total, une date illisible ou hors plage, un fournisseur inconnu, une devise inattendue ou une confiance du modèle inférieure à « high ». Ajoutez un petit échantillon aléatoire de documents qui ont passé toutes les règles.

Puis-je me fier au score de confiance du modèle pour sauter la relecture ?

Pas à lui seul. La recherche sur la confiance déclarée (Xiong et al., ICLR 2024) a montré que les LLM ont tendance à être trop sûrs d’eux. Utilisez-le comme un signal parmi d’autres, à côté des contrôles dans le code, et vérifiez sur vos données annotées si « high » signifie vraiment moins d’erreurs.

Combien de documents approuvés automatiquement faut-il auditer ?

Assez pour borner le taux d’erreur qui vous importe. Sans erreur trouvée, 50 documents audités bornent le taux réel à environ 7 % (borne supérieure de Wilson à 95 %) et 300 à environ 1,3 %. Augmentez l’échantillon quand une règle, un prompt ou un modèle change.

Quel est un bon taux de relecture ?

Il n’existe pas de chiffre universel. Commencez haut, puis baissez-le seulement tant que le taux d’erreur audité des documents approuvés automatiquement reste dans votre tolérance. Un taux de relecture qui baisse avec un taux d’erreur audité qui monte signale une règle trop lâche.

Où conserver la piste d’audit ?

Dans votre propre base de données. Stockez un hash du fichier source, l’ID du modèle, la version du prompt, la sortie brute, les résultats des règles, le relecteur et les valeurs corrigées. Si votre fournisseur ne conserve pas le contenu des requêtes, comme BroadNet l’indique pour son API d’inférence, personne d’autre ne pourra le reconstituer plus tard.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity