---
title: "문서 AI 사람 검토 큐: 검증 규칙과 표본 감사 | BroadRouter"
description: "문서 AI 파이프라인의 사람 검토 단계를 설계하는 법: 검증 규칙, 사람에게 보낼 문서, 무작위 감사 표본, 감사 추적, 검토율까지 정리했습니다."
url: https://broadrouter.com/ko/blog/document-review-queues/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/document-review-queues/) (2026-11-16 업데이트).

# 문서 AI 워크플로에 사람의 검토 단계 넣기

BroadNet Inference 팀 · 7분 분량 · 게시 2026-11-15 · 업데이트 2026-11-16

추출한 문서는 규칙을 모두 통과하기 전까지 승인되지 않은 것으로 다루세요. 필수 필드가 없거나, 합계가 맞지 않거나, 날짜나 공급업체가 이상하거나, 모델이 확신하지 못하면 사람에게 보냅니다. 규칙을 통과한 문서도 일부를 무작위로 검토하고, 모든 수정 내역을 자체 시스템에 기록하며, 검토율과 감사 오류율을 추적하세요.

## 핵심 요약

-   사람이 무엇을 볼지는 검증 규칙이 결정합니다. 모델이 스스로 밝히는 신뢰도는 신호 하나일 뿐이며, 발표된 연구에 따르면 LLM은 신뢰도를 말할 때 과신하는 경향이 있습니다.
-   큐에 들어간 문서마다 arithmetic이나 vendor:unknown 같은 기계 판독용 사유를 붙이세요. 검토자는 어디를 봐야 할지 알고, 개발자는 어떤 규칙을 고쳐야 할지 압니다.
-   자동 승인된 문서에서 무작위 표본을 감사하세요. 감사한 문서 50건에서 오류가 0건이어도 실제 오류율은 약 7%까지 가능합니다(95% Wilson 구간).
-   감사 추적은 직접 보관하세요: 이미지 해시, 모델 ID, 프롬프트 버전, 출력, 규칙 위반 결과, 검토자의 수정 내용. 데이터 비보관 API는 콘텐츠 사본을 남기지 않습니다.
-   매주 세 가지 숫자를 추적하세요: 검토율, 주요 검토 사유, 자동 승인 문서의 감사 오류율.

**이 페이지의 내용**

1.  문서를 사람이 검토할지 무엇으로 정해야 하나요?
2.  모델의 신뢰도를 믿어도 되나요?
3.  문서를 큐로 어떻게 라우팅하나요?
4.  아랍어·영어 송장에서는 무엇이 달라지나요?
5.  검토자에게 무엇을 보여 줘야 하나요?
6.  모든 규칙을 통과한 문서는 왜 표본 검사하나요?
7.  감사 추적은 어떻게 남기나요?
8.  검토율은 어떻게 측정하나요?
9.  BroadNet Inference의 역할

비전 모델은 송장을 읽을 수 있지만, 숫자를 잘못 읽거나 줄을 빠뜨리거나 없는 필드를 지어낼 수도 있습니다. 해결책은 더 나은 프롬프트만이 아닙니다. 처음부터 검토 단계를 설계해 두는 것입니다. 어떤 문서를 사람이 볼지 정하는 규칙, 그 이유를 알려 주는 큐, 그리고 오류율을 증명할 수 있게 해 주는 로그가 필요합니다.

이 글은 그 단계를 다룹니다. 추출 자체(이미지 준비, JSON 프롬프트, 스키마 검증, 재시도)는 [비전 LLM으로 문서에서 데이터 추출하기](https://broadrouter.com/ko/blog/extract-data-from-documents-with-vision-llm/)에, 아랍어 문서 읽기는 [비전 모델로 아랍어 송장 읽기](https://broadrouter.com/ko/guides/read-arabic-invoices-with-vision/)에 있습니다. 여기서는 이미 JSON을 받고 있고, 무엇을 믿을지 결정해야 하는 상황을 가정합니다.

## 문서를 사람이 검토할지 무엇으로 정해야 하나요?

모델에 대한 느낌이 아니라 코드로 테스트할 수 있는 규칙으로 정합니다. 효과가 큰 순서대로 다음 규칙부터 시작하세요.

| 규칙 | 사유 코드 예시 | 중요한 이유 |
| --- | --- | --- |
| 필수 필드 누락 | `missing:total` | null은 정직하지만, 추측한 값은 더 나쁩니다 |
| 합계 불일치 | `arithmetic:subtotal+tax!=total` | 숫자 하나만 잘못 읽어도 거의 항상 합계가 깨집니다 |
| 품목 합이 맞지 않음 | `arithmetic:lines!=subtotal` | 빠지거나 중복된 줄을 잡아냅니다 |
| 날짜를 해석할 수 없거나 범위를 벗어남 | `date:unparsed` | 일/월이 뒤바뀐 경우와 OCR 노이즈를 잡아냅니다 |
| 알 수 없는 공급업체 사업자 번호 | `vendor:unknown` | 신규 공급업체와 사기 모두 여기서 시작됩니다 |
| 예상하지 못한 통화 | `currency:unexpected` | 기호를 잘못 읽으면 금액이 달라집니다 |
| 모델이 확신하지 못함 | `model:not_confident` | 힌트일 뿐, 유일한 관문이 되어서는 안 됩니다 |

큐를 쓸 만하게 만드는 설계 선택이 두 가지 있습니다. 첫째, 모든 규칙은 짧고 안정적인 사유 코드를 만듭니다. 그래야 검토자가 무엇을 확인할지 알고 문서를 열며, 개발자는 어떤 규칙이 가장 자주 걸리는지 셀 수 있습니다. 둘째, 문서는 모든 규칙을 통과하거나 사람에게 갑니다. 감사인에게 아무도 설명할 수 없는 가중 점수는 피하세요.

## 모델의 신뢰도를 믿어도 되나요?

약한 신호로 다루세요. 모델에게 각 필드의 신뢰도를 high, medium, low로 평가하라고 하면 모델은 그렇게 합니다. 하지만 Xiong 외(ICLR 2024)는 LLM이 신뢰도를 밝히게 하는 여러 방법을 벤치마크했고, 모델이 얼마나 확신하는지 말할 때 “tend to be overconfident”(번역: 과신하는 경향이 있다)는 결과를 얻었습니다. 더 나은 프롬프트와 샘플링이 도움이 되었지만, 다른 방법보다 일관되게 나은 방법은 없었습니다. 일부 API에서는 토큰 로그 확률도 선택지입니다. BroadNet의 API 레퍼런스는 `logprobs`를 문서화하지 않으므로, 그곳에서는 이를 전제로 설계하지 마세요.

실무 규칙은 이렇습니다. 모델이 “high”보다 낮게 평가하거나 평가를 아예 하지 않으면 문서를 검토로 보내지만, “high”라고 해서 코드 검사를 건너뛰지는 않습니다. 검토한 문서가 수백 건 쌓이면 “high” 필드가 실제로 수정이 더 적었는지 확인하세요. 그렇지 않다면 그 신호는 버리세요.

## 문서를 큐로 어떻게 라우팅하나요?

이 라우터는 추출과 검증 뒤에 실행됩니다. 아랍-인도 숫자를 정규화하고, 위의 규칙을 적용하고, `review`, `audit_sample`, `auto` 세 큐 중 하나를 정합니다. API 호출이 없는 평범한 Python이므로 단위 테스트할 수 있습니다.

```python
import hashlib, json, random, re, time
from datetime import date, datetime
from decimal import Decimal, InvalidOperation

REQUIRED = ["vendor_name", "invoice_number", "invoice_date", "currency", "subtotal", "tax", "total"]
CURRENCIES = {"SAR", "AED", "USD", "EUR"}
KNOWN_VENDORS = {"300000000000003": "Example Trading Co"}   # your supplier master: tax ID -> name
AUTO_SAMPLE_RATE = 0.05          # share of clean documents a person still checks
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹٫٬", "01234567890123456789.,")

def money(v):
    """'١٬٢٥٠٫٥٠' or '1,250.50' -> Decimal('1250.50'); None if it is not a number."""
    if v is None:
        return None
    s = str(v).translate(DIGITS).replace(",", "").strip()
    try:
        return Decimal(s)
    except InvalidOperation:
        return None

def check(doc: dict, today: date) -> list[str]:
    """Return the reasons this document needs a person. Empty list = may auto-approve."""
    reasons = [f"missing:{f}" for f in REQUIRED if doc.get(f) in (None, "")]
    sub, tax, tot = (money(doc.get(k)) for k in ("subtotal", "tax", "total"))
    if None not in (sub, tax, tot) and abs(sub + tax - tot) > Decimal("0.01"):
        reasons.append("arithmetic:subtotal+tax!=total")
    lines = [money(l.get("amount")) for l in doc.get("lines", [])]
    if lines and None not in lines and sub is not None and abs(sum(lines) - sub) > Decimal("0.01"):
        reasons.append("arithmetic:lines!=subtotal")
    try:
        d = datetime.strptime(str(doc.get("invoice_date", "")).translate(DIGITS), "%Y-%m-%d").date()
        if d > today or (today - d).days > 400:
            reasons.append("date:out_of_range")
    except ValueError:
        reasons.append("date:unparsed")
    if doc.get("currency") and doc["currency"] not in CURRENCIES:
        reasons.append("currency:unexpected")
    if doc.get("vendor_tax_id") not in KNOWN_VENDORS:
        reasons.append("vendor:unknown")
    if doc.get("model_confidence", "low") != "high":   # a hint from the prompt, never the only gate
        reasons.append("model:not_confident")
    return reasons

def route(doc_id: str, doc: dict, today: date, rng=random.random) -> dict:
    reasons = check(doc, today)
    if reasons:
        queue = "review"
    elif rng() < AUTO_SAMPLE_RATE:
        queue, reasons = "audit_sample", ["sample:random"]
    else:
        queue = "auto"
    return {"doc": hashlib.sha256(doc_id.encode()).hexdigest()[:16], "queue": queue,
            "reasons": reasons, "ts": int(time.time())}
```

가상의 사우디 송장 세 건으로 테스트했습니다(공급업체와 사업자 번호는 가상입니다). 날짜와 소계를 아랍-인도 숫자(٢٠٢٦-١١-٠٢, ١٬٠٠٠٫٠٠)로 쓴 정상 송장은 `auto`로 갔습니다. 같은 송장에서 합계를 1,105.00으로 잘못 읽은 경우는 `arithmetic:subtotal+tax!=total` 사유와 함께 `review`로 갔습니다. 사업자 번호를 알 수 없고 월이 13이며 신뢰도가 “medium”인 송장은 `date:unparsed`, `vendor:unknown`, `model:not_confident` 세 가지 사유와 함께 `review`로 갔습니다. 무작위 추첨 값을 0.05 아래로 강제하자 정상 송장이 `audit_sample`로 갔습니다.

알아 둘 한계가 두 가지 있습니다. `money()` 헬퍼는 소수점이 점이거나 아랍어 소수 구분 기호라고 가정합니다. 유럽식 “1.150,00”은 공급업체의 국가에 따라 별도의 파서가 필요합니다. 그리고 날짜 규칙은 모델이 ISO 날짜를 반환했다고 가정합니다. 히즈라력 날짜는 [아랍어 개체명 추출](https://broadrouter.com/ko/blog/arabic-named-entity-extraction-llm/)에서처럼 먼저 변환해야 합니다.

## 아랍어·영어 송장에서는 무엇이 달라지나요?

걸프 지역에서는 이중 언어 송장이 흔합니다. 아랍어와 영어 라벨이 나란히 있고, 금액은 서양 숫자나 아랍-인도 숫자로 쓰이며, 공급업체 이름이 두 가지 문자로 적혀 있습니다. 다음 규칙이 도움이 됩니다.

-   **어떤 검사보다 먼저 숫자를 정규화하세요.** ٠–٩와 페르시아 숫자 ۰–۹를 0–9로, 아랍어 소수 구분 기호와 천 단위 구분 기호(٫, ٬)를 ASCII 형태로 바꾼 다음 비교합니다.
-   **공급업체는 이름이 아니라 사업자 번호로 대조하세요.** 아랍어와 영어 이름은 마스터 레코드와 글자 하나하나까지 일치하는 경우가 드뭅니다. 등록 번호는 일치합니다.
-   **검토자에게는 두 이름을 모두 보여 주세요.** 추출한 아랍어와 영어 공급업체 이름을 마스터 레코드 옆에 표시하고, 아랍어는 오른쪽에서 왼쪽으로 쓰는 분리된 블록에 넣으세요. 양방향(bidi) 표시는 [다국어 제품 디자인](https://broadrouter.com/ko/blog/multilingual-product-design/) 글에서 다룹니다.
-   **구조화된 송장이 있는지 확인하세요.** 사우디아라비아의 ZATCA는 전자 세금계산서(Fatoorah)를 2021년 12월 4일과 2023년 1월 1일부터 두 단계로 시행하고 있으며, 구조화된 전자 형식의 송장을 중심으로 합니다. 공급업체가 그 형식으로 보내 줄 수 있다면 사진을 읽는 대신 그것을 파싱하고, 비전은 종이, 사진, 롱테일 문서에 쓰세요.

읽기 쪽, 즉 발음 구별 기호, 혼합 문자, 레이아웃은 [비전 LLM을 이용한 아랍어 OCR](https://broadrouter.com/ko/blog/arabic-ocr-vision-llm/)에서 다룹니다.

## 검토자에게 무엇을 보여 줘야 하나요?

좋은 검토 화면은 사유 코드마다 질문 하나에 답합니다. `arithmetic`이라면 품목, 소계, 세액, 합계를 계산된 합과 나란히 보여 주세요. `vendor:unknown`이라면 추출한 사업자 번호와 가장 가까운 마스터 레코드를 보여 주세요. `date:unparsed`라면 날짜 원문과 그 날짜를 가져온 이미지 영역을 잘라서 보여 주세요.

이미지는 다른 탭이 아니라 필드 옆에 보여 주세요. 검토자가 필드를 고치거나, 승인하거나, 읽을 수 없는 문서로 반려할 수 있게 하고, 어떤 조치를 했는지 기록하세요. “읽을 수 없음”도 유용한 데이터입니다. 어떤 공급업체 문서의 10%를 읽을 수 없다면, 모델에게 기적을 바랄 것이 아니라 그 공급업체에 PDF를 요청하세요.

## 모든 규칙을 통과한 문서는 왜 표본 검사하나요?

규칙은 미리 생각한 오류만 잡기 때문입니다. 모델이 품목, 소계, 합계를 같은 만큼 잘못 읽으면(번진 7을 세 곳 모두에서 1로 읽는 경우) 모든 합계가 여전히 맞고 어떤 규칙도 걸리지 않습니다. 이런 오류를 찾는 유일한 방법은 아무도 표시하지 않은 문서를 직접 보는 것입니다.

골라서가 아니라 무작위로 표본을 뽑고, 몇 건이 수정을 필요로 했는지 추적하세요. 표본이 작으면 범위가 넓습니다. NIST 핸드북이 비율에 대해 설명하는 95% Wilson 구간(Agresti와 Coull, 그리고 Brown, Cai, DasGupta의 권고를 인용)을 쓰면, 아래 지표 코드는 다음 결과를 냅니다.

| 오류 0건으로 감사한 문서 수 | 실제 오류율이 여전히 가능한 최대치 |
| --- | --- |
| 50 | 약 7.1% |
| 300 | 약 1.3% |

따라서 “50건을 감사했는데 아무것도 없었다”는 오류율이 1% 미만이라는 뜻이 아닙니다. 프롬프트, 모델, 문서 구성이 바뀌면 표본을 늘리고, 줄일 때는 천천히 줄이세요.

## 감사 추적은 어떻게 남기나요?

수정 내역은 자체 시스템에 기록하세요. 문서마다 다음 항목을 담은 행이 필요합니다.

-   원본 파일의 SHA-256 해시(그리고 보관 규칙에 따라 파일 자체를 저장한 위치)
-   모델 ID, 프롬프트 버전, 모델이 반환한 원시 JSON
-   지원 문의에 쓸 제공업체의 요청 ID(BroadNet은 `X-Request-ID` 헤더로 반환합니다)
-   규칙 결과와 큐
-   검토자, 시각, 조치, 그리고 수정한 모든 필드의 수정 전후 값

데이터 비보관 API에서는 이것이 더 중요합니다. BroadNet의 개인정보 정책에 따르면 게이트웨이는 프롬프트, 이미지, 응답, 전사본을 보관하지 않으며, 콘텐츠가 없는 계정, 결제, 트래픽, 보안 기록만 보관합니다. 민감한 송장에는 좋은 일이지만, 지난달 모델이 무엇을 보고 무엇을 말했는지 제공업체의 누구도 보여 줄 수 없다는 뜻이기도 합니다. 여러분의 로그가 유일한 기록입니다. 필요 없는 내용은 남기지 마세요. 무엇을 기록하고 무엇을 가릴지는 [LLM API 사용량 로깅](https://broadrouter.com/ko/blog/llm-api-usage-logging/)에서 다룹니다.

## 검토율은 어떻게 측정하나요?

수정 내역을 결합한 라우팅 로그에 대해 매주 다음 코드를 실행하세요.

```python
import math
from collections import Counter

def wilson(errors: int, n: int, z: float = 1.96) -> tuple[float, float]:
    """95% Wilson score interval for an error rate seen in a sample."""
    if n == 0:
        return (0.0, 1.0)
    p = errors / n
    centre = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return (max(0.0, centre - half), min(1.0, centre + half))

def report(log: list[dict]) -> dict:
    queues = Counter(r["queue"] for r in log)
    reasons = Counter(x.split(":")[0] for r in log if r["queue"] == "review" for x in r["reasons"])
    audited = [r for r in log if r["queue"] == "audit_sample"]
    wrong = sum(1 for r in audited if r.get("corrected_fields"))
    lo, hi = wilson(wrong, len(audited))
    return {"documents": len(log),
            "review_rate": round(queues["review"] / len(log), 3),
            "top_reasons": reasons.most_common(3),
            "audited": len(audited), "audited_with_errors": wrong,
            "auto_error_rate_95ci": (round(lo, 4), round(hi, 4))}
```

문서 1,000건으로 된 가상의 1주일(auto 760건, review 190건, 감사 50건 중 2건이 수정 필요)에 대해 이 코드는 검토율 0.19, 최다 사유 `vendor`(120건), 감사 오류율 1.1%~13.5%를 보고했습니다. 마지막 범위가 이 표본 크기에서 “자동화가 얼마나 정확한가?”에 대한 정직한 답입니다.

세 숫자는 함께 읽으세요.

-   **검토율은 떨어지고 감사 오류는 그대로:** 규칙이 너무 엄격했거나 모델이 나아졌습니다. 좋은 신호입니다.
-   **검토율은 떨어지고 감사 오류는 증가:** 규칙이 너무 느슨합니다. 오류가 장부에 들어가기 전에 조이세요.
-   **한 가지 사유가 압도적:** 원인을 고치세요. `vendor:unknown`이 많다면 공급업체 마스터를 갱신하고, `arithmetic`이 많다면 이미지 품질을 살펴보거나 [모델 전환 전 LLM 평가하기](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/)의 방법으로 같은 문서에 다른 모델을 시험해 보세요.

## BroadNet Inference의 역할

BroadRouter는 BroadNet의 자체 웹사이트입니다. BroadNet Inference의 [가격 피드](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-document-review-queues&utm_content=body)에 따르면 이미지를 입력받는 채팅 모델은 세 가지입니다. [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/)(100만 토큰당 입력 $0.175 / 출력 $2.17, 구조화된 출력 문서화됨), [Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/)($0.10 / $0.22, $5 금액의 초기 크레딧으로 사용 가능), [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/)($0.175 / $0.52)입니다. 종량제에서는 이미지가 입력 토큰으로 계산되며, [이미지 토큰 계산기](https://broadrouter.com/tools/image-token-calculator/)로 추정할 수 있습니다. 추론 콘텐츠는 보관되지 않으며, 필요한 계정, 결제, 보안 메타데이터는 BroadNet의 [개인정보 정책](https://www.broadnet.ai/inference-privacy)에 설명된 대로 보관됩니다. BroadNet은 검토 큐나 감사 로그를 제공하지 않으므로, 위의 라우팅과 기록은 직접 만들고 보관해야 합니다.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[광학 문자 인식(OCR)](https://broadrouter.com/ko/glossary/ocr/)

광학 문자 인식(OCR)은 이미지, 스캔본, PDF 속 인쇄되거나 손으로 쓴 글자를 찾아 기계가 읽을 수 있는 문자로 변환하는 기술입니다. 전통적인 OCR은 텍스트와 페이지 내 위치를 출력하고, 비전-언어 모델은 텍스트를 읽고 그에 관한 질문에 바로 답할 수 있습니다.

[PII(개인 식별 정보)](https://broadrouter.com/ko/glossary/pii/)

PII(개인 식별 정보)는 이름, 신분 번호, 생체 기록처럼 개인의 신원을 구별하거나 추적하는 데 쓸 수 있는 정보와, 그 사람과 연결되거나 연결될 수 있는 기타 정보입니다. GDPR은 더 넓은 용어인 개인 데이터를 씁니다. LLM 작업에서 PII 마스킹은 프롬프트가 내 시스템을 떠나기 전에 이를 제거합니다.

[개체명 인식(NER, named entity recognition)](https://broadrouter.com/ko/glossary/named-entity-recognition/)

개체명 인식(NER)은 텍스트에서 이름을 찾아 사람, 조직, 장소 같은 유형을 붙이는 작업입니다. 전통적인 시스템은 모든 토큰에 태그를 붙이고, LLM에는 보통 개체 목록을 JSON으로 반환하게 한 뒤 원문과 대조해 확인합니다.

[구조화된 출력(Structured output)](https://broadrouter.com/ko/glossary/structured-output/)

구조화된 출력(structured output)은 모델의 응답을 개발자가 지정한 형식, 주로 JSON Schema에 맞추도록 제한해 코드가 안정적으로 파싱할 수 있게 하는 LLM API 기능입니다. 유효한 JSON만 보장하고 특정 구조는 보장하지 않는 JSON 모드보다 더 엄격합니다.

[데이터 비보관(Zero data retention, ZDR)](https://broadrouter.com/ko/glossary/zero-data-retention/)

데이터 비보관(ZDR)은 AI 제공업체가 프롬프트와 출력을 요청 처리에만 사용하고, 처리 후에는 그 내용을 로그, 캐시, 학습 데이터 어디에도 저장하지 않는 데이터 처리 정책입니다. 토큰 수나 처리 시간처럼 내용이 없는 기록은 보통 계속 보관됩니다.

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[RTL 텍스트(오른쪽에서 왼쪽 쓰기, right-to-left text)](https://broadrouter.com/ko/glossary/rtl-text/)

RTL(right-to-left) 텍스트는 아랍어나 히브리어처럼 오른쪽에서 왼쪽으로 표시되는 문자입니다. 컴퓨터는 이를 읽는 순서인 논리 순서로 저장하며, RTL 텍스트가 왼쪽에서 오른쪽으로 쓰는 텍스트, 숫자, 모델 이름, 코드와 섞이면 유니코드 양방향 알고리즘이 표시 순서를 정합니다.

## 자주 묻는 질문

### 송장 데이터 추출에서 어떤 문서를 사람이 검토해야 하나요?

규칙을 하나라도 통과하지 못한 문서입니다. 필수 필드 누락, 품목이나 세액을 더해도 합계와 맞지 않는 경우, 해석할 수 없거나 범위를 벗어난 날짜, 알 수 없는 공급업체, 예상하지 못한 통화, "high"보다 낮은 모델 신뢰도가 여기에 해당합니다. 모든 규칙을 통과한 문서에서도 소량의 무작위 표본을 더하세요.

### 모델의 신뢰도 점수만 보고 검토를 건너뛰어도 되나요?

그것만으로는 안 됩니다. 모델이 밝히는 신뢰도에 관한 연구(Xiong 외, ICLR 2024)에 따르면 LLM은 과신하는 경향이 있습니다. 코드 검사와 함께 쓰는 신호 하나로 활용하고, 라벨링한 데이터로 "high"가 실제로 오류가 더 적은지 확인하세요.

### 자동 승인된 문서는 몇 건이나 감사해야 하나요?

관심 있는 오류율의 상한을 정할 수 있을 만큼입니다. 오류가 0건일 때 감사 문서 50건이면 실제 오류율의 상한은 약 7%(95% Wilson 상한), 300건이면 약 1.3%입니다. 규칙, 프롬프트, 모델이 바뀌면 표본을 늘리세요.

### 적절한 검토율은 얼마인가요?

모든 상황에 맞는 수치는 없습니다. 높게 시작한 뒤, 자동 승인 문서의 감사 오류율이 허용 범위 안에 머무를 때만 낮추세요. 검토율은 떨어지는데 감사 오류율이 오른다면 규칙이 너무 느슨하다는 뜻입니다.

### 감사 추적은 어디에 보관해야 하나요?

자체 데이터베이스에 보관하세요. 원본 파일의 해시, 모델 ID, 프롬프트 버전, 원시 출력, 규칙 결과, 검토자, 수정된 값을 저장합니다. BroadNet이 자사 추론 API에 대해 밝힌 것처럼 제공업체가 요청 콘텐츠를 보관하지 않는다면, 나중에 다른 누구도 이를 재구성할 수 없습니다.

## 이어서 읽기

-   [비전 LLM으로 송장·영수증·양식 데이터를 JSON으로 추출하기](https://broadrouter.com/ko/blog/extract-data-from-documents-with-vision-llm/)
-   [아랍어 OCR vs 비전 LLM: 아랍어 문서와 청구서 읽기](https://broadrouter.com/ko/blog/arabic-ocr-vision-llm/)
-   [JSON 모드 vs json\_schema: 믿고 쓸 수 있는 구조화된 출력](https://broadrouter.com/ko/blog/structured-output-json-schema/)
-   [제공업체를 바꾸기 전에 LLM을 평가하는 방법](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/)
-   [LLM API 사용량 로깅: 사용자·기능별 비용 추적과 개인정보 마스킹](https://broadrouter.com/ko/blog/llm-api-usage-logging/)
-   [LLM이 잘못된 JSON을 반환할 때 해결법: 원인, 복구, 재시도](https://broadrouter.com/ko/blog/fix-invalid-json-from-llm/)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시](https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/)
-   [가이드: 비전 모델로 아랍어 인보이스와 영수증 읽기](https://broadrouter.com/ko/guides/read-arabic-invoices-with-vision/)
-   [가이드: BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-document-review-queues&utm_content=page-cta) ·

**출처**

-   [Xiong 외, Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs, ICLR 2024 (2026-11-15 확인)](https://arxiv.org/abs/2306.13063)
-   [NIST/SEMATECH e-Handbook of Statistical Methods, 7.2.4: 비율의 신뢰구간, Wilson 방법 (2026-11-15 확인)](https://www.itl.nist.gov/div898/handbook/prc/section2/prc241.htm)
-   [ZATCA, 전자 세금계산서(Fatoorah): 1단계 2021년 12월 4일부터, 2단계 2023년 1월 1일부터 (2026-11-15 확인)](https://zatca.gov.sa/en/E-Invoicing/Pages/default.aspx)
-   [BroadNet Inference API 레퍼런스: 이미지 채팅, 구조화된 출력, X-Request-ID, 데이터 처리 (2026-11-15 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-document-review-queues&utm_content=sources)
-   [BroadNet Inference pricing.json: 모델 모달리티와 가격 (2026-11-15 확인) (영어)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-document-review-queues&utm_content=sources)
-   [BroadNet Inference 개인정보 및 데이터 보관 정책 (2026-11-15 확인) (영어)](https://www.broadnet.ai/inference-privacy)
