---
title: "डॉक्यूमेंट AI के लिए ह्यूमन रिव्यू queue: नियम और सैंपलिंग"
description: "डॉक्यूमेंट-AI पाइपलाइन का ह्यूमन रिव्यू चरण कैसे बनाएँ: वैलिडेशन नियम, किसे इंसान तक भेजें, रैंडम ऑडिट सैंपल, ऑडिट ट्रेल और रिव्यू दर।"
url: https://broadrouter.com/hi/blog/document-review-queues/
lang: hi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/blog/document-review-queues/) (2026-11-16 को अपडेट किया गया).

# डॉक्यूमेंट AI वर्कफ़्लो में ह्यूमन रिव्यू को शामिल करें

BroadNet Inference टीम · 7 मिनट में पढ़ें · प्रकाशित 2026-11-15 · अपडेट किया गया 2026-11-16

हर निकाले गए दस्तावेज़ को तब तक अस्वीकृत मानें जब तक नियम पास न हों। उसे इंसान के पास भेजें जब कोई ज़रूरी फ़ील्ड ग़ायब हो, जोड़ मेल न खाए, तारीख़ या वेंडर ग़लत लगे, या मॉडल अनिश्चित हो। साफ़ दस्तावेज़ों का भी एक छोटा रैंडम हिस्सा जाँचें, हर सुधार अपने सिस्टम में लॉग करें, और रिव्यू दर व ऑडिट की गई त्रुटि दर ट्रैक करें।

## मुख्य बातें

-   इंसान क्या देखेगा, यह वैलिडेशन नियम तय करते हैं। मॉडल का अपना confidence बस एक और संकेत है, और प्रकाशित रिसर्च के अनुसार LLM अपना confidence बताते समय ज़रूरत से ज़्यादा आश्वस्त होते हैं।
-   queue में गए हर दस्तावेज़ के साथ मशीन-रीडेबल कारण होने चाहिए, जैसे arithmetic या vendor:unknown, ताकि रिव्यूअर को पता हो कहाँ देखना है और आपको पता हो कौन-सा नियम ठीक करना है।
-   अपने-आप मंज़ूर हुए दस्तावेज़ों का रैंडम सैंपल ऑडिट करें। 50 ऑडिट किए गए दस्तावेज़ों में शून्य त्रुटि के बावजूद असली त्रुटि दर लगभग 7% तक हो सकती है (95% Wilson interval)।
-   ऑडिट ट्रेल ख़ुद रखें: इमेज hash, मॉडल ID, प्रॉम्प्ट वर्शन, आउटपुट, नियमों के नतीजे और रिव्यूअर का सुधार। ज़ीरो-रिटेंशन API कंटेंट की कोई कॉपी नहीं रखता।
-   हर हफ़्ते तीन संख्याएँ ट्रैक करें: रिव्यू दर, रिव्यू के मुख्य कारण, और अपने-आप मंज़ूर दस्तावेज़ों की ऑडिट की गई त्रुटि दर।

**इस पेज पर**

1.  कौन तय करे कि किसी दस्तावेज़ को इंसान रिव्यू करेगा?
2.  क्या मॉडल के confidence पर भरोसा करना चाहिए?
3.  दस्तावेज़ों को queue तक कैसे रूट करें?
4.  अरबी और अंग्रेज़ी इनवॉइस के लिए क्या बदलता है?
5.  रिव्यूअर को क्या दिखना चाहिए?
6.  जो दस्तावेज़ हर नियम पास कर गए, उनका सैंपल क्यों लें?
7.  ऑडिट ट्रेल कैसे रखें?
8.  रिव्यू दर कैसे मापें?
9.  BroadNet Inference कहाँ फ़िट होता है

एक vision मॉडल इनवॉइस पढ़ सकता है, लेकिन वह किसी अंक को ग़लत पढ़ सकता है, कोई लाइन छोड़ सकता है या ऐसा फ़ील्ड गढ़ सकता है जो वहाँ है ही नहीं। इसका इलाज सिर्फ़ बेहतर प्रॉम्प्ट नहीं है। इलाज है पहले दिन से डिज़ाइन किया गया रिव्यू चरण: ऐसे नियम जो तय करें कि इंसान कौन-से दस्तावेज़ देखेगा, ऐसी queue जो उसे वजह बताए, और ऐसा लॉग जिससे आप त्रुटि दर साबित कर सकें।

यह पोस्ट उसी चरण के बारे में है। extraction ख़ुद (इमेज की तैयारी, JSON प्रॉम्प्ट, schema वैलिडेशन और retry) [vision LLM से दस्तावेज़ों से डेटा निकालने](https://broadrouter.com/hi/blog/extract-data-from-documents-with-vision-llm/) वाली पोस्ट में है, और अरबी से जुड़ी पढ़ाई [vision से अरबी इनवॉइस पढ़ने](https://broadrouter.com/hi/guides/read-arabic-invoices-with-vision/) वाली गाइड में। यहाँ हम मानकर चलते हैं कि आपको JSON वापस मिल रहा है और अब तय करना है कि किस पर भरोसा करें।

## कौन तय करे कि किसी दस्तावेज़ को इंसान रिव्यू करेगा?

ऐसे नियम जिन्हें आप कोड में टेस्ट कर सकें, मॉडल के बारे में कोई अंदाज़ा नहीं। इन नियमों से शुरू करें, उपयोगिता के क्रम में:

| नियम | उदाहरण reason code | क्यों ज़रूरी है |
| --- | --- | --- |
| ज़रूरी फ़ील्ड ग़ायब | `missing:total` | null ईमानदार है; अंदाज़े से भरी वैल्यू उससे बदतर है |
| जोड़ मेल नहीं खाता | `arithmetic:subtotal+tax!=total` | एक ग़लत पढ़ा अंक लगभग हमेशा जोड़ बिगाड़ देता है |
| लाइन आइटम जोड़कर सही नहीं बैठते | `arithmetic:lines!=subtotal` | छूटी या दोहराई गई लाइनें पकड़ता है |
| तारीख़ पार्स नहीं होती या दायरे से बाहर है | `date:unparsed` | दिन/महीने की अदला-बदली और OCR का शोर पकड़ता है |
| वेंडर का टैक्स ID अनजान | `vendor:unknown` | नए सप्लायर और धोखाधड़ी, दोनों यहीं से शुरू होते हैं |
| अप्रत्याशित करेंसी | `currency:unexpected` | ग़लत पढ़ा गया चिह्न रकम बदल देता है |
| मॉडल कहता है कि वह अनिश्चित है | `model:not_confident` | एक संकेत, कभी अकेला गेट नहीं |

दो डिज़ाइन फ़ैसले queue को काम का बनाते हैं। पहला, हर नियम एक छोटा, स्थिर reason code देता है, ताकि रिव्यूअर दस्तावेज़ खोलते ही जाने कि क्या जाँचना है, और आप गिन सकें कि कौन-सा नियम सबसे ज़्यादा लगता है। दूसरा, दस्तावेज़ या तो हर नियम पास करता है या इंसान के पास जाता है। ऐसे weighted score से बचें जिन्हें कोई ऑडिटर को समझा न सके।

## क्या मॉडल के confidence पर भरोसा करना चाहिए?

इसे कमज़ोर संकेत मानें। आप मॉडल से हर फ़ील्ड को high, medium या low confidence देने को कह सकते हैं, और वह दे भी देगा। लेकिन Xiong et al. (ICLR 2024) ने LLM से confidence बताने के तरीक़ों को बेंचमार्क किया और पाया कि जब मॉडल बताते हैं कि वे कितने पक्के हैं, तो वे “tend to be overconfident” (अनुवाद: ज़रूरत से ज़्यादा आश्वस्त होते हैं); बेहतर प्रॉम्प्टिंग और सैंपलिंग से मदद मिली, और कोई भी तरीक़ा लगातार बाक़ियों से बेहतर नहीं रहा। कुछ API पर टोकन log-probabilities भी एक विकल्प हैं। BroadNet का API रेफ़रंस `logprobs` को डॉक्यूमेंट नहीं करता, इसलिए वहाँ उन पर डिज़ाइन न टिकाएँ।

व्यावहारिक नियम: मॉडल की ओर से “high” से नीचे कुछ भी, या कोई रेटिंग न होना, दस्तावेज़ को रिव्यू में भेजता है, लेकिन “high” कभी कोड चेक नहीं छुड़वाता। कुछ सौ दस्तावेज़ रिव्यू होने के बाद जाँचें कि “high” फ़ील्ड में सच में कम सुधार हुए या नहीं। अगर नहीं हुए, तो यह संकेत हटा दें।

## दस्तावेज़ों को queue तक कैसे रूट करें?

यह router extraction और वैलिडेशन के बाद चलता है। यह Arabic-Indic अंकों को normalise करता है, ऊपर के नियम लगाता है और तीन में से एक queue चुनता है: `review`, `audit_sample` या `auto`। यह सादा Python है, इसमें कोई API कॉल नहीं, इसलिए आप इसे unit-test कर सकते हैं।

```python
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}
```

हमने इसे तीन काल्पनिक सऊदी इनवॉइस पर टेस्ट किया (वेंडर और टैक्स ID काल्पनिक हैं)। एक साफ़ इनवॉइस, जिसमें तारीख़ और subtotal Arabic-Indic अंकों में लिखे थे (٢٠٢٦-١١-٠٢ और ١٬٠٠٠٫٠٠), `auto` में गया। वही इनवॉइस, जिसका टोटल 1,105.00 ग़लत पढ़ा गया, `arithmetic:subtotal+tax!=total` के साथ `review` में गया। एक इनवॉइस, जिसमें अनजान टैक्स ID, 13वाँ महीना और “medium” confidence था, तीन कारणों के साथ `review` में गया: `date:unparsed`, `vendor:unknown` और `model:not_confident`। रैंडम ड्रॉ को 0.05 से नीचे ज़बरदस्ती करने पर साफ़ इनवॉइस `audit_sample` में गया।

दो सीमाएँ जान लें। `money()` helper मानता है कि दशमलव विभाजक डॉट या अरबी विभाजक है; यूरोपीय “1.150,00” के लिए वेंडर के देश के आधार पर अलग parser चाहिए। और तारीख़ वाला नियम मानता है कि मॉडल ने ISO तारीख़ें लौटाईं। हिजरी तारीख़ों को पहले बदलना होगा, जैसा [अरबी named entity extraction](https://broadrouter.com/hi/blog/arabic-named-entity-extraction-llm/) में बताया गया है।

## अरबी और अंग्रेज़ी इनवॉइस के लिए क्या बदलता है?

खाड़ी देशों में द्विभाषी इनवॉइस आम हैं: अरबी और अंग्रेज़ी लेबल साथ-साथ, रकमें Western या Arabic-Indic अंकों में, और वेंडर का नाम दो लिपियों में। कुछ नियम मदद करते हैं:

-   **किसी भी चेक से पहले अंक normalise करें।** ٠–٩ और फ़ारसी ۰–۹ को 0–9 में, और अरबी दशमलव व हज़ार विभाजक (٫ और ٬) को उनके ASCII रूपों में बदलें। फिर तुलना करें।
-   **वेंडर को नाम से नहीं, टैक्स ID से मिलाएँ।** अरबी और अंग्रेज़ी नाम आपके मास्टर रिकॉर्ड से अक्षरशः शायद ही मेल खाते हैं। रजिस्ट्रेशन नंबर मेल खाता है।
-   **रिव्यूअर के लिए दोनों नाम रखें।** निकाले गए अरबी और अंग्रेज़ी वेंडर नाम मास्टर रिकॉर्ड के बगल में दिखाएँ, और अरबी को दाएँ-से-बाएँ, अलग (isolated) ब्लॉक में। bidi डिस्प्ले [मल्टीलिंगुअल प्रोडक्ट डिज़ाइन](https://broadrouter.com/hi/blog/multilingual-product-design/) वाली पोस्ट में है।
-   **देखें कि structured इनवॉइस मौजूद है या नहीं।** सऊदी अरब का ZATCA इलेक्ट्रॉनिक इनवॉइसिंग (Fatoorah) दो चरणों में चलाता है, 4 दिसंबर 2021 और 1 जनवरी 2023 से, जो structured इलेक्ट्रॉनिक फ़ॉर्मैट वाले इनवॉइस पर आधारित है। अगर सप्लायर आपको वह भेज सकता है, तो उसकी तस्वीर पढ़ने के बजाय उसे पार्स करें, और vision को काग़ज़, फ़ोटो और बाक़ी बचे कम-आम मामलों के लिए रखें।

पढ़ने वाला हिस्सा, यानी डायक्रिटिक्स, मिली-जुली लिपियाँ और लेआउट, [vision LLM से अरबी OCR](https://broadrouter.com/hi/blog/arabic-ocr-vision-llm/) में है।

## रिव्यूअर को क्या दिखना चाहिए?

अच्छी रिव्यू स्क्रीन हर reason code के लिए एक सवाल का जवाब देती है। `arithmetic` के लिए लाइन आइटम, subtotal, टैक्स और टोटल को गणना किए गए जोड़ के साथ अगल-बगल दिखाएँ। `vendor:unknown` के लिए निकाला गया टैक्स ID और सबसे क़रीबी मास्टर रिकॉर्ड दिखाएँ। `date:unparsed` के लिए तारीख़ का raw टेक्स्ट और इमेज का वह हिस्सा (crop) दिखाएँ जहाँ से वह आया।

इमेज फ़ील्ड के बगल में दिखाएँ, किसी दूसरे टैब में नहीं। रिव्यूअर को फ़ील्ड ठीक करने, मंज़ूर करने, या दस्तावेज़ को अपठनीय बताकर अस्वीकार करने दें। रिकॉर्ड करें कि उसने कौन-सा एक्शन लिया। “अपठनीय” काम का डेटा है: अगर किसी सप्लायर के 10% दस्तावेज़ अपठनीय हैं, तो उस सप्लायर से PDF माँगें, अपने मॉडल से चमत्कार नहीं।

## जो दस्तावेज़ हर नियम पास कर गए, उनका सैंपल क्यों लें?

क्योंकि नियम सिर्फ़ वही त्रुटियाँ पकड़ते हैं जिनके बारे में आपने सोचा था। अगर मॉडल किसी लाइन आइटम, subtotal और टोटल को एक ही रकम से ग़लत पढ़ ले (तीनों जगह धुंधला 7 को 1 पढ़ लिया), तो हर जोड़ फिर भी मेल खाता है और कोई नियम नहीं लगता। ऐसी त्रुटियाँ खोजने का एक ही तरीक़ा है: उन दस्तावेज़ों को देखना जिन्हें किसी ने फ़्लैग नहीं किया।

उन्हें अपनी पसंद से नहीं, रैंडम चुनें, और ट्रैक करें कि कितनों को सुधार की ज़रूरत पड़ी। छोटा सैंपल चौड़ा दायरा देता है। 95% Wilson interval के साथ, जिसे NIST हैंडबुक अनुपातों के लिए बताती है (Agresti और Coull, तथा Brown, Cai और DasGupta की सिफ़ारिशों का हवाला देते हुए), नीचे का हमारा metrics कोड यह देता है:

| ऑडिट किए गए दस्तावेज़, जिनमें शून्य त्रुटि मिली | असली त्रुटि दर फिर भी इतनी तक हो सकती है |
| --- | --- |
| 50 | लगभग 7.1% |
| 300 | लगभग 1.3% |

तो “हमने 50 ऑडिट किए और कुछ नहीं मिला” का मतलब यह नहीं कि त्रुटि दर 1% से कम है। प्रॉम्प्ट, मॉडल या दस्तावेज़ों के मिश्रण में किसी भी बदलाव के बाद सैंपल बढ़ाएँ, और उसे धीरे-धीरे घटाएँ।

## ऑडिट ट्रेल कैसे रखें?

सुधार अपने सिस्टम में रिकॉर्ड करें। हर दस्तावेज़ के लिए एक पंक्ति चाहिए, जिसमें हो:

-   सोर्स फ़ाइल का SHA-256 hash (और फ़ाइल ख़ुद कहाँ स्टोर है, आपके रिटेंशन नियमों के तहत);
-   मॉडल ID, प्रॉम्प्ट वर्शन और मॉडल का लौटाया raw JSON;
-   सपोर्ट के सवालों के लिए प्रोवाइडर का request ID (BroadNet इसे `X-Request-ID` हेडर में लौटाता है);
-   नियमों के नतीजे और queue;
-   रिव्यूअर, समय, एक्शन, और हर सुधारे गए फ़ील्ड की पहले और बाद की वैल्यू।

ज़ीरो-रिटेंशन API के साथ यह और ज़रूरी हो जाता है। BroadNet का प्राइवेसी स्टेटमेंट कहता है कि उसका गेटवे कोई प्रॉम्प्ट, इमेज, response या ट्रांसक्रिप्ट नहीं रखता, और सिर्फ़ कंटेंट-रहित अकाउंट, बिलिंग, ट्रैफ़िक और सिक्योरिटी रिकॉर्ड रखता है। संवेदनशील इनवॉइस के लिए यह अच्छा है, लेकिन इसका मतलब है कि प्रोवाइडर की तरफ़ कोई आपको नहीं दिखा सकता कि पिछले महीने मॉडल ने क्या देखा या क्या कहा। आपका लॉग ही एकमात्र रिकॉर्ड है। उसमें ऐसा कुछ न रखें जिसकी आपको ज़रूरत नहीं; क्या लॉग करें और क्या redact करें, यह [LLM API usage लॉगिंग](https://broadrouter.com/hi/blog/llm-api-usage-logging/) में है।

## रिव्यू दर कैसे मापें?

इसे हर हफ़्ते routing लॉग पर चलाएँ, सुधारों को join करके:

```python
import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
```

1,000 दस्तावेज़ों के एक synthetic हफ़्ते पर (760 auto, 190 review, 50 ऑडिट जिनमें से 2 को सुधार चाहिए था), इसने 0.19 की रिव्यू दर बताई, 120 के साथ `vendor` को सबसे बड़ा कारण, और ऑडिट की गई त्रुटि दर 1.1% से 13.5% के बीच। यह आख़िरी दायरा ही इस सैंपल साइज़ पर “ऑटोमेशन कितना सटीक है?” का ईमानदार जवाब है।

तीनों संख्याएँ साथ पढ़ें:

-   **रिव्यू दर गिरे, ऑडिट की गई त्रुटियाँ स्थिर रहें:** कोई नियम ज़रूरत से ज़्यादा सख़्त था, या मॉडल बेहतर हुआ। अच्छा है।
-   **रिव्यू दर गिरे, ऑडिट की गई त्रुटियाँ बढ़ें:** कोई नियम बहुत ढीला है। त्रुटियाँ आपके लेजर तक पहुँचें, उससे पहले उसे सख़्त करें।
-   **एक कारण हावी हो:** वजह ठीक करें। अगर `vendor:unknown` सबसे आगे है, तो सप्लायर मास्टर अपडेट करें; अगर `arithmetic` आगे है, तो इमेज क्वालिटी देखें, या [मॉडल बदलने से पहले LLM का मूल्यांकन](https://broadrouter.com/hi/blog/evaluate-llm-before-switching/) वाली विधि से उन्हीं दस्तावेज़ों पर कोई दूसरा मॉडल आज़माएँ।

## BroadNet Inference कहाँ फ़िट होता है

BroadRouter, BroadNet की अपनी साइट है। BroadNet Inference के [pricing फ़ीड](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-document-review-queues&utm_content=body) के अनुसार वह इमेज लेने वाले तीन चैट मॉडल देता है: [Qwen3.8 27B](https://broadrouter.com/hi/models/qwen3.8-27b/) ($0.175 इनपुट / $2.17 आउटपुट प्रति 1M टोकन, structured output डॉक्यूमेंटेड), [Gemma 4 VL 26B](https://broadrouter.com/hi/models/gemma-4-vl-26b/) ($0.10 / $0.22, $5 के शुरुआती क्रेडिट पर इस्तेमाल योग्य) और [DeepSeek V4.1 Flash](https://broadrouter.com/hi/models/deepseek-v4.1-flash/) ($0.175 / $0.52)। उपयोग के अनुसार भुगतान पर इमेज इनपुट टोकन में गिनी जाती हैं; [इमेज टोकन कैलकुलेटर](https://broadrouter.com/tools/image-token-calculator/) उनका अंदाज़ा लगाने में मदद करता है। inference कंटेंट नहीं रखा जाता; ज़रूरी अकाउंट, बिलिंग और सिक्योरिटी मेटाडेटा BroadNet के [प्राइवेसी स्टेटमेंट](https://www.broadnet.ai/inference-privacy) में बताए अनुसार रखा जाता है। BroadNet कोई रिव्यू queue या ऑडिट लॉग नहीं देता, इसलिए ऊपर का routing और रिकॉर्ड आपको ख़ुद बनाने और रखने हैं।

इस विषय के मुफ़्त टूल (अंग्रेज़ी में)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[मुफ़्त टूल (अंग्रेज़ी में)](https://broadrouter.com/tools/)

## इस लेख के शब्द

[टोकन (token)](https://broadrouter.com/hi/glossary/token/)

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

[स्ट्रक्चर्ड आउटपुट (structured output)](https://broadrouter.com/hi/glossary/structured-output/)

स्ट्रक्चर्ड आउटपुट LLM API का एक फ़ीचर है जो मॉडल के जवाब को डेवलपर के तय फ़ॉर्मैट, आम तौर पर JSON Schema, तक सीमित करता है, ताकि कोड उसे भरोसे से पार्स कर सके। यह JSON mode से सख़्त है, जो मान्य JSON की गारंटी देता है, लेकिन किसी ख़ास ढाँचे की नहीं।

[OCR (optical character recognition)](https://broadrouter.com/hi/glossary/ocr/)

OCR (optical character recognition) वह तकनीक है जो किसी इमेज, स्कैन या PDF में छपे या हाथ से लिखे टेक्स्ट को पहचानकर मशीन से पढ़े जा सकने वाले अक्षरों में बदलती है। क्लासिक OCR टेक्स्ट और पेज पर उसकी जगह देता है; vision-language मॉडल टेक्स्ट पढ़कर उसके बारे में सीधे सवालों के जवाब दे सकते हैं।

[इनपुट और आउटपुट टोकन (input and output tokens)](https://broadrouter.com/hi/glossary/input-and-output-tokens/)

इनपुट टोकन वे टोकन हैं जिन्हें लैंग्वेज मॉडल किसी अनुरोध में पढ़ता है, जिनमें सिस्टम प्रॉम्प्ट, बातचीत का इतिहास, टूल डेफ़िनिशन और इमेज शामिल हैं। आउटपुट टोकन वे हैं जो वह जवाब में बनाता है, रीज़निंग समेत। LLM API आम तौर पर दोनों की कीमत अलग रखते हैं, और आउटपुट आम तौर पर महँगा होता है।

[इमेज टोकन (image tokens)](https://broadrouter.com/hi/glossary/image-tokens/)

इमेज टोकन वे इनपुट टोकन हैं जिनसे कोई vision language मॉडल प्रॉम्प्ट में एक इमेज को दर्शाता है। प्रोवाइडर इन्हें इमेज के साइज़ से निकालते हैं, आम तौर पर रीसाइज़ के बाद उसे तय साइज़ के patches या tiles में बाँटकर, और टेक्स्ट इनपुट टोकन की तरह बिल करते हैं, इसलिए बड़ी इमेज ज़्यादा महँगी पड़ती है।

[उपयोग के अनुसार भुगतान (pay-as-you-go)](https://broadrouter.com/hi/glossary/pay-as-you-go/)

उपयोग के अनुसार भुगतान (pay-as-you-go) एक प्राइसिंग मॉडल है जिसमें आप सिर्फ़ उतना देते हैं जितना इस्तेमाल करते हैं, जिसे टोकन, अनुरोध या ऑडियो मिनट जैसी इकाइयों में मापा जाता है, बिना सब्सक्रिप्शन या न्यूनतम प्रतिबद्धता के। ज़्यादातर LLM API इसी तरह बिल बनाते हैं, प्रीपेड बैलेंस या समय-समय पर बनने वाले इनवॉइस से।

[टूल कॉलिंग (tool calling)](https://broadrouter.com/hi/glossary/tool-calling/)

टूल कॉलिंग, जिसे function calling भी कहते हैं, LLM API की वह सुविधा है जिसमें मॉडल डेवलपर के तय किए किसी फ़ंक्शन को चलाने का एक स्ट्रक्चर्ड अनुरोध, JSON आर्ग्युमेंट के साथ, लौटाता है। ऐप्लिकेशन फ़ंक्शन चलाकर नतीजा वापस भेजता है; मॉडल ख़ुद कभी कोड नहीं चलाता।

[नेम्ड एंटिटी रिकग्निशन (NER)](https://broadrouter.com/hi/glossary/named-entity-recognition/)

Named entity recognition (NER) टेक्स्ट में नाम ढूँढने और हर नाम को व्यक्ति, संगठन या जगह जैसे किसी प्रकार का लेबल देने का काम है। पुराने सिस्टम हर टोकन को टैग करते हैं; LLM से अक्सर entities की सूची JSON में माँगी जाती है, जिसे फिर स्रोत टेक्स्ट से मिलाकर जाँचा जाता है।

## अक्सर पूछे जाने वाले सवाल

### इनवॉइस extraction में किन दस्तावेज़ों को ह्यूमन रिव्यू में भेजना चाहिए?

जो भी किसी नियम में फ़ेल हो: ज़रूरी फ़ील्ड ग़ायब हो, लाइन आइटम या टैक्स जोड़कर टोटल न बनें, तारीख़ पार्स न हो या दायरे से बाहर हो, वेंडर अनजान हो, करेंसी अप्रत्याशित हो, या मॉडल का confidence "high" से नीचे हो। साथ में उन दस्तावेज़ों का छोटा रैंडम सैंपल भी जोड़ें जो हर नियम में पास हुए।

### क्या मैं मॉडल के confidence score के भरोसे रिव्यू छोड़ सकता हूँ?

अकेले उसके भरोसे नहीं। बताए गए confidence पर रिसर्च (Xiong et al., ICLR 2024) में पाया गया कि LLM ज़रूरत से ज़्यादा आश्वस्त होते हैं। इसे कोड चेक के साथ एक संकेत की तरह इस्तेमाल करें, और अपने लेबल किए गए डेटा पर जाँचें कि “high” का मतलब सच में कम त्रुटियाँ है या नहीं।

### अपने-आप मंज़ूर हुए कितने दस्तावेज़ ऑडिट करने चाहिए?

इतने कि जिस त्रुटि दर की आपको परवाह है, उसकी सीमा तय हो जाए। शून्य त्रुटि मिलने पर 50 ऑडिट किए गए दस्तावेज़ असली दर की ऊपरी सीमा लगभग 7% (95% Wilson ऊपरी सीमा) तय करते हैं, और 300 दस्तावेज़ लगभग 1.3%। कोई नियम, प्रॉम्प्ट या मॉडल बदले तो सैंपल बढ़ाएँ।

### अच्छी रिव्यू दर कितनी होती है?

कोई सार्वभौमिक आँकड़ा नहीं है। ऊँची दर से शुरू करें, फिर उसे तभी घटाएँ जब अपने-आप मंज़ूर दस्तावेज़ों की ऑडिट की गई त्रुटि दर आपकी सहनशीलता के भीतर बनी रहे। रिव्यू दर गिर रही हो और ऑडिट की गई त्रुटि दर बढ़ रही हो, तो कोई नियम बहुत ढीला है।

### ऑडिट ट्रेल कहाँ रखना चाहिए?

अपने डेटाबेस में। सोर्स फ़ाइल का hash, मॉडल ID, प्रॉम्प्ट वर्शन, raw आउटपुट, नियमों के नतीजे, रिव्यूअर और सुधारी गई वैल्यू स्टोर करें। अगर आपका प्रोवाइडर अनुरोध का कंटेंट नहीं रखता, जैसा BroadNet अपने inference API के बारे में कहता है, तो बाद में कोई और इसे दोबारा नहीं बना सकता।

## आगे पढ़ें

-   [वीज़न LLM से इनवॉइस, रसीद और फ़ॉर्म का डेटा JSON में निकालें](https://broadrouter.com/hi/blog/extract-data-from-documents-with-vision-llm/)
-   [अरबी OCR बनाम vision LLM: अरबी दस्तावेज़ और इनवॉइस पढ़ना](https://broadrouter.com/hi/blog/arabic-ocr-vision-llm/)
-   [JSON mode बनाम json\_schema: भरोसेमंद स्ट्रक्चर्ड आउटपुट](https://broadrouter.com/hi/blog/structured-output-json-schema/)
-   [प्रोवाइडर बदलने से पहले LLM का मूल्यांकन कैसे करें](https://broadrouter.com/hi/blog/evaluate-llm-before-switching/)
-   [LLM API usage लॉगिंग: हर यूज़र और फ़ीचर की लागत, PII हटाकर](https://broadrouter.com/hi/blog/llm-api-usage-logging/)
-   [LLM का अमान्य JSON कैसे ठीक करें: कारण, रिपेयर, रीट्राई](https://broadrouter.com/hi/blog/fix-invalid-json-from-llm/)
-   [BroadNet का GPU हार्डवेयर और सर्विंग का तरीक़ा, BroadNet के शब्दों में](https://broadrouter.com/hi/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API रिस्पॉन्स कैश करके लागत घटाएँ: Python में एक्ज़ैक्ट-मैच कैश](https://broadrouter.com/hi/blog/cache-llm-responses-cut-cost/)
-   [गाइड: विज़न मॉडल से अरबी इनवॉइस और रसीदें पढ़ें](https://broadrouter.com/hi/guides/read-arabic-invoices-with-vision/)
-   [गाइड: BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-document-review-queues&utm_content=page-cta) ·

**स्रोत**

-   [Xiong et al., Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs, ICLR 2024 (2026-11-15 को जाँचा गया)](https://arxiv.org/abs/2306.13063)
-   [NIST/SEMATECH e-Handbook of Statistical Methods, 7.2.4: अनुपात के लिए confidence interval, Wilson विधि (2026-11-15 को जाँचा गया)](https://www.itl.nist.gov/div898/handbook/prc/section2/prc241.htm)
-   [ZATCA, ई-इनवॉइसिंग (Fatoorah): चरण 1, 4 दिसंबर 2021 से; चरण 2, 1 जनवरी 2023 से (2026-11-15 को जाँचा गया)](https://zatca.gov.sa/en/E-Invoicing/Pages/default.aspx)
-   [BroadNet Inference API रेफ़रंस: इमेज के साथ चैट, structured output, X-Request-ID, डेटा हैंडलिंग (2026-11-15 को जाँचा गया) (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-document-review-queues&utm_content=sources)
-   [BroadNet Inference pricing.json: मॉडल के modality और कीमतें (2026-11-15 को जाँचा गया) (अंग्रेज़ी में)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-document-review-queues&utm_content=sources)
-   [BroadNet Inference प्राइवेसी और डेटा रिटेंशन स्टेटमेंट (2026-11-15 को जाँचा गया) (अंग्रेज़ी में)](https://www.broadnet.ai/inference-privacy)
