비전-언어 모델을 쓰면 텍스트에 질문하듯 이미지에 대해 질문할 수 있습니다.
작동 방식
Hugging Face는 이 모델들을 간단히 이렇게 설명합니다. “take in an image and text prompt and output text.”(번역: 이미지와 텍스트 프롬프트를 받아 텍스트를 출력한다) 이미지-텍스트 쌍으로 학습하기 때문에, 눈에 보이는 것과 언어를 연결하는 법을 익힙니다.
OpenAI 호환 API에서는 이미지가 메시지 안에 콘텐츠 파트로 들어갑니다. 공개 URL이나 base64 데이터 URL을 쓸 수 있습니다.
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
모델은 이미지를 입력 토큰으로 바꾸고, 텍스트와 함께 읽은 뒤 답을 작성합니다.
왜 중요한가
- 문서. 청구서, 영수증, 양식, 신분증을 모델에 바로 넘길 수 있고, 필드를 JSON으로 돌려받기 위해 구조화된 출력과 함께 쓰는 경우가 많습니다.
- 화면과 차트. 에이전트는 스크린샷과 대시보드를 읽을 수 있고, 고객 지원 도구는 사용자가 보낸 사진을 읽을 수 있습니다.
- 비용과 한도. 이미지마다 입력 토큰이 늘고 컨텍스트 윈도우의 일부를 차지합니다. 한 요청에 이미지를 여러 장 넣으면 금세 불어납니다.
결과는 반드시 확인하세요. VLM은 작거나 흐릿한 글자를 잘못 읽을 수 있고, 틀린 숫자를 자신 있게 말하기도 합니다. 돈이 오가는 작업이라면 합계를 코드로 검증하세요.
BroadNet Inference에서는
이미지를 받는 채팅 모델은 세 가지입니다.
| 모델 | 입력 | 컨텍스트 |
|---|---|---|
| DeepSeek V4.1 Flash | 텍스트와 이미지 | 1,048,576 토큰 |
| Qwen3.8 27B | 텍스트와 이미지 | 262,144 토큰 |
| BroadNet Gemma 4 VL 26B | 텍스트와 이미지 | 32,768 토큰 |
GLM 5.3은 텍스트 전용입니다. BroadNet Gemma 4 VL 26B는 입력 100만 토큰당 $0.10 요금이며, 무료 초기 크레딧($5)으로도 쓸 수 있습니다. Qwen3.8 27B는 BroadNet이 아랍어로 테스트했고 구조화된 출력도 지원합니다. 종량제에서는 이미지가 입력 토큰으로 계산되며, 이미지가 클수록 토큰을 더 씁니다.
아랍어 청구서 가이드에서 추출 전체 과정을 단계별로 볼 수 있습니다. 데이터 URL의 MIME 타입은 정확하게 지정하고, 추론 모델에서는 max_tokens에 여유를 두세요.