---
title: "비전 LLM으로 송장 데이터 JSON 추출하기 | BroadRouter"
description: "송장, 영수증, 양식을 위한 프로덕션 파이프라인입니다. 이미지 준비, JSON 스키마 프롬프트, Pydantic 검증, 합계 검사, 재시도, 사람 검토 큐를 다룹니다."
url: https://broadrouter.com/ko/blog/extract-data-from-documents-with-vision-llm/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/extract-data-from-documents-with-vision-llm/) (2026-11-14 업데이트).

# 비전 LLM으로 송장·영수증·양식 데이터를 JSON으로 추출하기

BroadNet Inference 팀 · 4분 분량 · 게시 2026-11-14

각 페이지를 이미지로 렌더링하고, 모든 필드와 형식을 명시한 프롬프트와 함께 비전 모델에 보내 JSON만 요청하세요. 그런 다음 코드로 검증합니다. 파싱하고, 스키마를 확인하고, 품목 금액의 합이 총액과 맞는지 확인하고, 실패하면 오류를 넣어 한 번 재시도하세요. 반복해서 실패하면 사람에게 넘기세요.

## 핵심 요약

-   모델은 읽고, 판단은 코드가 합니다. 스키마와 합계 검사 없이 추출한 데이터를 장부에 기록하지 마세요.
-   프롬프트에 모든 필드, 타입, 형식을 명시하고, 필드가 없을 때 무엇을 반환할지 정하세요(추측하지 말고 null).
-   합계 검사는 대부분의 오독을 잡아냅니다. 품목 금액의 합은 소계와 같아야 하고, 소계와 세금의 합은 총액과 같아야 합니다.
-   검증 오류를 프롬프트에 넣어 한 번 재시도하고, 반복되는 실패는 사람 검토 큐로 보내세요.
-   종량제에서 이미지는 입력 토큰으로 과금되며 큰 이미지일수록 더 많이 쓰므로, 보내기 전에 크기를 줄이세요.

**이 페이지의 내용**

1.  파이프라인은 어떻게 구성되나요?
2.  문서 이미지는 어떻게 준비하나요?
3.  추출 프롬프트는 어떻게 작성해야 하나요?
4.  구조화된 출력은 어떻게 받고 어떻게 검증하나요?
5.  어떤 검사가 가장 많은 오류를 잡아내나요?
6.  운영 전에 정확도는 어떻게 측정하나요?
7.  BroadNet Inference에서는 어떤 비전 모델이 맞나요?
8.  BroadNet Inference가 맞는 경우

_[image: A paper invoice headed "فاتورة" (invoice) with tabs labelled Vendor, Date and Total, and the text "Turn documents into useful data."]_

Illustrative example.

송장, 영수증, 양식에는 모두 같은 문제가 있습니다. 데이터는 이미지 속에 있는데, 필요한 곳은 데이터베이스입니다. 템플릿 기반 OCR은 새 거래처 레이아웃이 나올 때마다 깨집니다. [비전-언어 모델](https://broadrouter.com/ko/glossary/vision-language-model/)은 페이지를 읽고 필드를 바로 반환합니다. 문제는 자신 있게 틀릴 수 있다는 점이므로, 핵심 작업은 모델을 둘러싼 파이프라인에 있습니다. 이 글은 언어와 상관없이 쓸 수 있는 일반적인 파이프라인을 다룹니다. 아랍어 문서라면 설정은 [비전 모델로 아랍어 송장 읽기](https://broadrouter.com/ko/guides/read-arabic-invoices-with-vision/)를, 기존 OCR이 더 나은 경우는 [아랍어 OCR과 비전 LLM 비교](https://broadrouter.com/ko/blog/arabic-ocr-vision-llm/)를 참고하세요.

## 파이프라인은 어떻게 구성되나요?

1.  각 페이지를 **준비**합니다. PDF를 이미지로 렌더링하고, 회전을 바로잡고, 크기를 조정합니다.
2.  **추출**합니다. 문서마다 필드별 프롬프트로 요청 하나를 보내고 JSON만 받습니다.
3.  **검증**합니다. 파싱, 스키마 검사, 합계 검사를 합니다.
4.  검증에 실패하면 오류 메시지를 넣어 한 번 **재시도**합니다.
5.  **검토**합니다. 그래도 실패하면 이미지와 초안을 함께 사람에게 보냅니다.
6.  레이블을 단 샘플로 필드 정확도를 **측정**하고, 모델이나 프롬프트를 바꿀 때마다 다시 실행합니다.

## 문서 이미지는 어떻게 준비하나요?

PyMuPDF로 PDF를 이미지로 렌더링하고, 가장 작은 텍스트는 선명하게 유지하되 필요 이상의 픽셀은 보내지 마세요.

```python
# pip install pymupdf pillow
import base64, io
import pymupdf  # older code imports it as fitz
from PIL import Image

def pdf_pages_as_data_urls(path, long_edge=1800):
    urls = []
    for page in pymupdf.open(path):
        pix = page.get_pixmap(dpi=200)
        img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
        img.thumbnail((long_edge, long_edge))
        buf = io.BytesIO()
        img.save(buf, format="JPEG", quality=90)
        urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
    return urls
```

BroadNet Inference에서 이미지는 정확한 MIME 타입을 붙인 `data:` URL로 메시지에 넣으며, [종량제](https://broadrouter.com/ko/glossary/pay-as-you-go/)에서는 입력 토큰으로 과금됩니다. 큰 이미지일수록 더 많이 씁니다. `usage` 블록으로 페이지당 토큰을 한 번 측정하고 그에 맞춰 배치 크기를 정하세요. 방법은 [보내기 전에 토큰 세기](https://broadrouter.com/ko/blog/count-tokens-before-sending/)에 있고, [비전 LLM 이미지당 비용](https://broadrouter.com/ko/blog/cheapest-vision-llm-api/)은 토큰을 페이지당 비용으로 환산합니다. 아무것도 보내기 전에 페이지당 토큰을 추정하려면 샘플 스캔을 [이미지 토큰 계산기](https://broadrouter.com/tools/image-token-calculator/)에 넣어 보세요.

## 추출 프롬프트는 어떻게 작성해야 하나요?

키, 타입, 형식, 누락 값을 정확하게 지정하세요. 검증용이나 스키마를 강제하는 제공업체용으로 JSON Schema도 필요하다면, 무료 [JSON 스키마 생성기](https://broadrouter.com/tools/json-schema-generator/)가 샘플 송장으로 스키마를 만들어 줍니다.

```python
PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""
```

가장 중요한 것은 “Never guess”(추측 금지)와 명시적인 `null`입니다. 이것이 없으면 모델은 빈칸을 그럴듯한 값으로 채우는데, 이는 단순한 검사를 통과해 버리므로 빈칸보다 더 나쁩니다.

## 구조화된 출력은 어떻게 받고 어떻게 검증하나요?

[구조화된 출력](https://broadrouter.com/ko/glossary/structured-output/)에는 두 단계가 있습니다. JSON 모드는 유효한 JSON을 보장합니다. 스키마 제약 출력은 형태까지 보장합니다. OpenAI 가이드는 분명하게 말합니다. 둘 다 유효한 JSON을 만들지만, 스키마 준수를 보장하는 것은 Structured Outputs뿐입니다. 어느 쪽을 지원하는지는 제공업체와 모델마다 다르므로, API가 무엇을 약속하든 코드에서 검증하세요.

```python
import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

class Line(BaseModel):
    description: str
    quantity: Decimal
    unit_price: Decimal
    line_total: Decimal

class Invoice(BaseModel):
    vendor_name: str
    vendor_tax_id: str | None = None
    invoice_number: str
    invoice_date: str
    currency: str
    line_items: list[Line]
    subtotal: Decimal
    tax: Decimal | None = None
    total: Decimal

    @model_validator(mode="after")
    def sums(self):
        tol = Decimal("0.02")
        if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
            raise ValueError("line_totals do not sum to subtotal")
        if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
            raise ValueError("subtotal + tax != total")
        return self

def extract(image_urls, model="broadnet/qwen3.8-27b"):
    content = [{"type": "text", "text": PROMPT}] + [
        {"type": "image_url", "image_url": {"url": u}} for u in image_urls]
    messages = [{"role": "user", "content": content}]
    for attempt in range(2):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
        raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
        try:
            return Invoice.model_validate(json.loads(raw)), r.usage
        except (json.JSONDecodeError, ValidationError, ValueError) as e:
            messages += [{"role": "assistant", "content": raw},
                         {"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
    return None, r.usage  # send to human review
```

금액에는 `float`가 아니라 `Decimal`을 쓰세요. `max_tokens`는 넉넉하게 두세요. Qwen3.8 27B는 답하기 전에 추론하며, 추론은 한도에 포함됩니다. 상한이 작으면 빈 문자열이 반환됩니다. [추론 모델이 빈 응답을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)를 참고하세요.

## 어떤 검사가 가장 많은 오류를 잡아내나요?

| 검사 | 잡아내는 오류 | 비용 |
| --- | --- | --- |
| JSON 파싱 | JSON 주변의 설명 문장, 잘림 | 무료 |
| 스키마 검증 | 누락된 키, 잘못된 타입 | 무료 |
| 품목 합계와 소계 일치 | 잘못 읽은 숫자, 빠진 품목 | 무료 |
| 소계 + 세금 = 총액 | 잘못 읽은 총액이나 세금 | 무료 |
| 날짜 파싱 가능, 미래 날짜 아님 | 일/월 뒤바뀜, OCR 노이즈 | 무료 |
| 거래처 사업자 번호가 공급업체 목록과 일치 | 잘못된 거래처, 사기 | 조회 1회 |
| 거래처별 송장 번호 중복 | 이중 지급 | 쿼리 1회 |

합계 검사가 가장 효과적입니다. 숫자 하나만 잘못 읽어도 거의 항상 합이 맞지 않습니다. 영수증에는 품목 단위 정보가 없는 경우가 많으니, 있는 정보로 검사하고 영수증은 검사 수가 적은 것을 받아들이세요.

## 운영 전에 정확도는 어떻게 측정하나요?

실제 문서 50~100개에 직접 레이블을 달고, 파이프라인을 실행하고, 문서 단위가 아니라 **필드 단위**로 채점하세요. 총액과 날짜는 설명 필드보다 더 엄격한 기준이 필요합니다. 필드 정확도, 재시도 없이 검증을 통과한 문서의 비율, 검토로 보낸 비율 세 가지를 추적하세요. 통과한 문서의 무작위 감사를 포함해 검토 단계를 설계하는 방법은 [문서 AI 워크플로에 사람의 검토 포함하기](https://broadrouter.com/ko/blog/document-review-queues/)에 있습니다. 다른 모델을 시도할 때는 같은 세트를 돌리세요. 방법은 [모델을 바꾸기 전에 LLM 평가하기](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/)에서 다룹니다.

## BroadNet Inference에서는 어떤 비전 모델이 맞나요?

| 모델 | 이미지 | 컨텍스트 | 비고 |
| --- | --- | --- | --- |
| [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/) | 예 | 262,144 | 도구, 구조화된 출력, 추론 지원 표시, BroadNet이 아랍어로 테스트 |
| [Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/) | 예 | 32,768 | BroadNet 최저가, 무료 크레딧과 시간제 키로 사용 가능 |
| [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/) | 예 | 1,048,576 | 무제한 플랜에 이미지 포함 |

100만 토큰당 가격은 [가격 페이지](https://broadrouter.com/ko/pricing/)에 있습니다. 측정한 페이지당 토큰에 월간 처리량을 곱한 계산은 [LLM API 비용 계산기](https://broadrouter.com/tools/llm-api-cost-calculator/)로 하세요.

## BroadNet Inference가 맞는 경우

BroadNet Inference는 표준 OpenAI 메시지 형식으로 채팅 모델 세 개에서 이미지를 받으며, 요청이 끝난 뒤 프롬프트, 이미지, 답변을 보관하지 않습니다. 이름, 사업자 번호, 은행 정보로 가득한 송장에서는 중요한 점입니다([데이터 비보관](https://broadrouter.com/ko/privacy/)). 문서에는 Qwen3.8 27B가 구조화된 출력을 지원한다고 나오지만 스키마 파라미터는 문서화되어 있지 않으므로, 스키마 강제를 API에 맡기지 말고 위의 검증 계층에 의존하세요. BroadNet은 이미지 크기 제한이나 전용 문서 AI 제품을 공개하지 않으며, 문서에는 PDF 업로드가 아니라 이미지 입력만 설명되어 있으니 먼저 페이지를 이미지로 렌더링하세요. 고정 예산으로 대량 처리를 하려면 [DeepSeek V4.1 Flash 무제한 플랜](https://broadrouter.com/ko/guides/unlimited-llm-api-sessions/)에 이미지가 포함됩니다.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[구조화된 출력(Structured output)](https://broadrouter.com/ko/glossary/structured-output/)

구조화된 출력(structured output)은 모델의 응답을 개발자가 지정한 형식, 주로 JSON Schema에 맞추도록 제한해 코드가 안정적으로 파싱할 수 있게 하는 LLM API 기능입니다. 유효한 JSON만 보장하고 특정 구조는 보장하지 않는 JSON 모드보다 더 엄격합니다.

[광학 문자 인식(OCR)](https://broadrouter.com/ko/glossary/ocr/)

광학 문자 인식(OCR)은 이미지, 스캔본, PDF 속 인쇄되거나 손으로 쓴 글자를 찾아 기계가 읽을 수 있는 문자로 변환하는 기술입니다. 전통적인 OCR은 텍스트와 페이지 내 위치를 출력하고, 비전-언어 모델은 텍스트를 읽고 그에 관한 질문에 바로 답할 수 있습니다.

[데이터 비보관(Zero data retention, ZDR)](https://broadrouter.com/ko/glossary/zero-data-retention/)

데이터 비보관(ZDR)은 AI 제공업체가 프롬프트와 출력을 요청 처리에만 사용하고, 처리 후에는 그 내용을 로그, 캐시, 학습 데이터 어디에도 저장하지 않는 데이터 처리 정책입니다. 토큰 수나 처리 시간처럼 내용이 없는 기록은 보통 계속 보관됩니다.

[비전-언어 모델(VLM)](https://broadrouter.com/ko/glossary/vision-language-model/)

비전-언어 모델(VLM)은 이미지와 텍스트를 함께 입력받아 텍스트를 출력하는 모델입니다. 그래서 그림을 설명하고, 그림에 관한 질문에 답하고, 문서, 차트, 스크린샷을 읽을 수 있습니다. VLM은 image-text-to-text 모델 또는 멀티모달 모델이라고도 합니다.

[JSON Schema(JSON 스키마)](https://broadrouter.com/ko/glossary/json-schema/)

JSON Schema는 JSON으로 작성하는 어휘로, 타입, 필수 필드, 허용 값, 중첩 같은 JSON 데이터의 구조를 기술하고 검증합니다. 현재 버전은 2020-12입니다. LLM API는 이를 사용해 도구 파라미터와 구조화된 출력이 따라야 할 정확한 형태를 정의합니다.

## 자주 묻는 질문

### 비전 LLM이 송장 OCR을 대체할 수 있나요?

많은 레이아웃에서는 가능합니다. 비전 모델은 이미지를 읽고 텍스트를 필드에 매핑하는 일을 한 단계로, 거래처별 템플릿 없이 처리합니다. 그래도 가끔 숫자를 잘못 읽으므로 검증과 검토 큐는 유지하세요.

### 비전 모델에서 안정적으로 JSON을 받으려면 어떻게 하나요?

프롬프트에 정확한 키, 타입, 형식을 나열하고, JSON만 요청하고, 코드에서 파싱하세요. 모델이 스키마 제약 출력을 지원하면 사용하세요. 어느 쪽이든 스키마 라이브러리로 검증하고, 실패하면 오류를 넣어 한 번 재시도하세요.

### 여러 페이지로 된 PDF 송장에서 데이터를 추출하려면 어떻게 하나요?

각 페이지를 이미지로 렌더링한 뒤, 모델의 컨텍스트에 들어간다면 송장 하나의 모든 페이지를 요청 하나로 보내세요. 그래야 마지막 페이지의 총액을 첫 페이지의 품목과 맞춰 볼 수 있습니다.

### 송장 이미지 해상도는 어느 정도가 적당한가요?

가장 작은 숫자가 선명할 만큼 높되, 그 이상은 필요 없습니다. 이미지가 클수록 입력 토큰을 더 씁니다. A4 페이지라면 긴 변 약 1,500~2,000픽셀이 무난한 출발점이며, 자신의 문서로 테스트하세요.

### 추출 정확도는 어떻게 측정하나요?

실제 문서 50~100개에 직접 레이블을 달고 필드별로 채점하세요. 총액과 날짜는 거래처명 같은 자유 텍스트 필드와 따로 추적하세요. 오류의 비용이 다르기 때문입니다.

## 이어서 읽기

-   [아랍어 OCR vs 비전 LLM: 아랍어 문서와 청구서 읽기](https://broadrouter.com/ko/blog/arabic-ocr-vision-llm/)
-   [아랍어 OCR API 비교: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/ko/blog/arabic-ocr-api-comparison/)
-   [가장 저렴한 비전 LLM API: 이미지 1장, 문서 1페이지당 비용 계산](https://broadrouter.com/ko/blog/cheapest-vision-llm-api/)
-   [JSON 모드 vs json\_schema: 믿고 쓸 수 있는 구조화된 출력](https://broadrouter.com/ko/blog/structured-output-json-schema/)
-   [제공업체를 바꾸기 전에 LLM을 평가하는 방법](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/)
-   [LLM 요청 전에 토큰 수 계산하는 방법](https://broadrouter.com/ko/blog/count-tokens-before-sending/)
-   [문서 AI 워크플로에 사람의 검토 단계 넣기](https://broadrouter.com/ko/blog/document-review-queues/)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시](https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/)
-   [가이드: 비전 모델로 아랍어 인보이스와 영수증 읽기](https://broadrouter.com/ko/guides/read-arabic-invoices-with-vision/)
-   [가이드: 추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)
-   [가이드: BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-extract-data-from-documents-with-vision-llm&utm_content=page-cta) ·

**출처**

-   [BroadNet Inference API 레퍼런스: 이미지를 포함한 채팅, MIME 타입, 플랜에서의 이미지(2026-11-14 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-extract-data-from-documents-with-vision-llm&utm_content=sources#requests)
-   [BroadNet Inference 기계 판독용 가격, 모델, 모달리티(pricing.json, 2026-11-14 확인) (영어)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-extract-data-from-documents-with-vision-llm&utm_content=sources)
-   [OpenAI Structured Outputs 가이드, JSON 모드와 스키마 준수 비교(2026-11-14 확인)](https://developers.openai.com/api/docs/guides/structured-outputs)
-   [Pydantic 문서, 모델과 검증(2026-11-14 확인)](https://docs.pydantic.dev/latest/concepts/models/)
-   [PyMuPDF 문서, 페이지를 이미지로 렌더링(2026-11-14 확인)](https://pymupdf.readthedocs.io/en/latest/recipes-images.html)
