BroadRouter
시작하기

배치 API(Batch API)

업데이트

배치 API는 많은 요청을 보통 파일 형태로 한 번에 받아, 즉시가 아니라 정해진 시간 창 안에 처리한 뒤 결과를 함께 돌려주는 비동기 LLM 엔드포인트입니다. OpenAI와 Anthropic 같은 제공업체는 배치 요청을 표준 API보다 할인된 가격으로 제공합니다.

다른 이름: 배치 처리 API, 일괄 처리 API, 배치 추론, 비동기 배치 요청, batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests

많은 LLM 작업은 지금 당장 답이 필요하지 않습니다. 배치 API는 응답 속도를 포기하는 대신 더 낮은 가격과 더 많은 처리량을 얻습니다.

작동 방식

요청을 여러 개 준비해 한꺼번에 제출하고, 나중에 결과를 받습니다. 문서가 가장 잘 갖춰진 두 가지는 다음과 같습니다.

OpenAI Batch API Anthropic Message Batches API
입력 한 줄에 요청 하나씩 담은 .jsonl 파일 Messages 요청 목록
가격 “50% cost discount compared to synchronous APIs”(번역: 동기 API 대비 50% 비용 할인) “50 percent discount on all usage”(번역: 모든 사용량에 50% 할인)
처리 시간 “Each batch completes within 24 hours (and often more quickly)“(번역: 각 배치는 24시간 안에, 대개 더 빨리 완료) 대부분 1시간 이내, 24시간 안에 끝나지 않으면 만료
크기 제한 요청 50,000개, 입력 파일 200 MB 배치당 요청 100,000개 또는 256 MB
레이트 리밋 모델별 한도와 별도 대기 중인 배치 요청에도 적용

OpenAI에서는 파일을 업로드하고, completion_window: "24h"로 배치를 만들고, 상태를 폴링한 뒤 출력 파일을 내려받습니다. 결과가 입력과 다른 순서로 돌아올 수 있어서 두 API 모두 요청마다 고유한 custom_id를 요구합니다. Anthropic은 결과를 29일 동안 보관하며, 배치 할인과 프롬프트 캐싱 할인을 함께 받을 수 있습니다.

왜 중요한가

평가, 대규모 데이터셋 분류, 대량 요약, 과거 데이터 백필 같은 작업에 잘 맞습니다. OpenAI 가이드도 평가 실행과 대규모 데이터셋 분류를 대표적인 용도로 꼽습니다. 사용자가 기다리고 있는 작업에는 맞지 않습니다.

절약 효과는 확실하지만 한계가 있습니다. 해당 제공업체에서 배치는 토큰 가격을 절반으로 줄여 줄 뿐, 보내는 입력 토큰과 출력 토큰의 양을 줄이지는 않습니다. 프롬프트를 줄이는 일은 여전히 중요합니다.

배치는 레이트 리밋 문제도 피해 갑니다. 429 오류와 백오프를 직접 관리하는 대신 제공업체가 작업을 스케줄링합니다.

BroadNet Inference에서는

BroadNet 문서에는 배치 API, 파일 엔드포인트, 배치 할인이 없습니다. BroadNet에서 대량 작업을 하려면 키의 한도 안에서 동기 요청을 병렬로 실행해야 합니다. 종량제 키는 분당 요청 30개, 동시 요청 4개까지 허용합니다. 오류와 재시도 가이드처럼 429와 5xx 응답은 상한을 둔 지수 백오프로 처리하세요.

DeepSeek V4.1 Flash로 긴 작업을 돌린다면, 정액 플랜 세션은 토큰 미터 없이 한 번에 요청 하나씩 실행하므로 비용이 처리량이 아니라 시간으로 정해집니다. 작업 규모에 따라 두 방식을 비교하려면 정액제와 토큰당 요금 계산기를, 내 한도에서의 실행 시간과 마감에 필요한 세션 수를 알아보려면 LLM 배치 작업 플래너를 쓰세요.

자주 묻는 질문

배치 API는 얼마나 더 저렴한가요?

OpenAI와 Anthropic 모두 표준 API 대비 50% 할인을 문서화하고 있습니다. Anthropic의 할인은 입력, 출력, 특수 토큰 모두에 적용됩니다.

배치 작업은 얼마나 걸리나요?

OpenAI는 각 배치가 24시간 안에, 대개 그보다 빨리 완료된다고 밝힙니다. Anthropic은 대부분의 배치가 1시간 안에 끝나며, 24시간 안에 처리가 끝나지 않으면 만료된다고 설명합니다.

BroadNet에 배치 API가 있나요?

BroadNet 문서에는 없습니다. 키의 한도 안에서 요청을 병렬로 보내거나, DeepSeek V4.1 Flash 정액 플랜을 이용해 대량 작업을 실행할 수 있습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기