많은 LLM 작업은 지금 당장 답이 필요하지 않습니다. 배치 API는 응답 속도를 포기하는 대신 더 낮은 가격과 더 많은 처리량을 얻습니다.
작동 방식
요청을 여러 개 준비해 한꺼번에 제출하고, 나중에 결과를 받습니다. 문서가 가장 잘 갖춰진 두 가지는 다음과 같습니다.
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| 입력 | 한 줄에 요청 하나씩 담은 .jsonl 파일 |
Messages 요청 목록 |
| 가격 | “50% cost discount compared to synchronous APIs”(번역: 동기 API 대비 50% 비용 할인) | “50 percent discount on all usage”(번역: 모든 사용량에 50% 할인) |
| 처리 시간 | “Each batch completes within 24 hours (and often more quickly)“(번역: 각 배치는 24시간 안에, 대개 더 빨리 완료) | 대부분 1시간 이내, 24시간 안에 끝나지 않으면 만료 |
| 크기 제한 | 요청 50,000개, 입력 파일 200 MB | 배치당 요청 100,000개 또는 256 MB |
| 레이트 리밋 | 모델별 한도와 별도 | 대기 중인 배치 요청에도 적용 |
OpenAI에서는 파일을 업로드하고, completion_window: "24h"로 배치를 만들고, 상태를 폴링한 뒤 출력 파일을 내려받습니다. 결과가 입력과 다른 순서로 돌아올 수 있어서 두 API 모두 요청마다 고유한 custom_id를 요구합니다. Anthropic은 결과를 29일 동안 보관하며, 배치 할인과 프롬프트 캐싱 할인을 함께 받을 수 있습니다.
왜 중요한가
평가, 대규모 데이터셋 분류, 대량 요약, 과거 데이터 백필 같은 작업에 잘 맞습니다. OpenAI 가이드도 평가 실행과 대규모 데이터셋 분류를 대표적인 용도로 꼽습니다. 사용자가 기다리고 있는 작업에는 맞지 않습니다.
절약 효과는 확실하지만 한계가 있습니다. 해당 제공업체에서 배치는 토큰 가격을 절반으로 줄여 줄 뿐, 보내는 입력 토큰과 출력 토큰의 양을 줄이지는 않습니다. 프롬프트를 줄이는 일은 여전히 중요합니다.
배치는 레이트 리밋 문제도 피해 갑니다. 429 오류와 백오프를 직접 관리하는 대신 제공업체가 작업을 스케줄링합니다.
BroadNet Inference에서는
BroadNet 문서에는 배치 API, 파일 엔드포인트, 배치 할인이 없습니다. BroadNet에서 대량 작업을 하려면 키의 한도 안에서 동기 요청을 병렬로 실행해야 합니다. 종량제 키는 분당 요청 30개, 동시 요청 4개까지 허용합니다. 오류와 재시도 가이드처럼 429와 5xx 응답은 상한을 둔 지수 백오프로 처리하세요.
DeepSeek V4.1 Flash로 긴 작업을 돌린다면, 정액 플랜 세션은 토큰 미터 없이 한 번에 요청 하나씩 실행하므로 비용이 처리량이 아니라 시간으로 정해집니다. 작업 규모에 따라 두 방식을 비교하려면 정액제와 토큰당 요금 계산기를, 내 한도에서의 실행 시간과 마감에 필요한 세션 수를 알아보려면 LLM 배치 작업 플래너를 쓰세요.