BroadRouter

LLM API 비용 줄이는 방법: 순서대로 따라 하는 10단계 체크리스트

BroadNet Inference 팀 · 8분 분량 · 게시

LLM API 비용을 줄이려면 먼저 요청별 토큰을 기록한 뒤 다음 순서로 진행하세요. 프롬프트 앞부분을 고정해 캐시되게 하고, 프롬프트를 다듬고, 출력과 추론에 상한을 두고, 테스트를 통과하는 가장 작은 모델을 쓰고, 급하지 않은 작업은 배치로 돌리거나 시간대를 옮기고, 반복되는 답변은 캐시하고, 재시도를 제한하고, 사용량이 손익분기점을 넘으면 정액 플랜으로 옮기세요.

“LLM 요금 70% 절감” 같은 목록은 대개 좋은 조언과 아무도 측정하지 않은 숫자가 뒤섞여 있습니다. 이 체크리스트는 먼저 할 일부터 순서대로 정리했고, 모든 수치는 가격 파일이나 제공업체의 공식 문서에서 가져왔습니다. 이 사이트에 더 자세한 글이 있는 단계에는 링크를 달았습니다. 아래 BroadNet 가격은 2026-11-14 기준으로 동기화한 가격 파일에서 가져왔습니다.

LLM API 요금은 무엇으로 결정되나요?

거의 모든 청구서는 네 가지 숫자로 결정됩니다.

  1. 새 입력 토큰. 프롬프트에서 캐시로 읽은 부분을 뺀 나머지입니다.
  2. 캐시된 입력 토큰. 반복되는 접두부로, 더 낮은 단가로 과금됩니다.
  3. 출력 토큰. 답변이며, 사고형 모델에서는 추론 토큰도 포함됩니다.
  4. 요청 수. 재시도를 포함한 모든 호출이 각각 과금됩니다.

가장 비싼 단위는 출력입니다. BroadNet 채팅 모델의 100만 토큰당 가격:

모델 입력 캐시된 입력 출력
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
Qwen3.8 27B $0.175 $0.0435 $2.17
GLM 5.3 $0.78 $0.173 $3.46
Gemma 4 VL 26B $0.10 공개되지 않음 $0.22

따라서 비용을 줄이는 방법은 새 토큰을 덜 보내고, 캐시에서 더 많이 읽고, 덜 생성하고, 호출을 줄이는 것입니다. 각 단위는 LLM API 가격 구조에서 자세히 설명합니다.

체크리스트 한눈에 보기

단계 바꾸는 것 줄어드는 것 난이도
1. 측정 로깅만 아직 없음. 어디를 줄일지 보여 줌 낮음
2. 접두부 캐싱 프롬프트 순서 입력 단가 낮음
3. 프롬프트 다듬기 프롬프트 내용 입력 토큰 중간
4. 출력과 추론 상한 요청 설정 출력 토큰 낮음
5. 알맞은 모델 선택 모델 선택 모든 단가 중간
6. 배치 또는 시간대 이동 스케줄링 토큰당 가격(제공되는 경우) 중간
7. 답변 캐싱 앱 코드 요청 전체 중간
8. 재시도와 루프 제한 앱 코드 낭비되는 요청 낮음
9. 지출 한도 설정 계정과 키 폭주하는 청구서 낮음
10. 정액 플랜 손익분기점 확인 과금 방식 대량 사용 시 총 청구액 낮음

1. 무엇이든 줄이기 전에 왜 먼저 측정해야 하나요?

청구서만 봐서는 원인이 보이지 않기 때문입니다. 똑같아 보이는 두 요청의 토큰 수가 10배 차이 날 수도 있습니다. 모든 chat completion은 prompt_tokens, completion_tokens, 그리고 제공업체가 보고하는 경우 캐시된 토큰이 담긴 usage 블록을 반환합니다. 프롬프트 텍스트는 빼고 이 값들을 기능별, 사용자별로 기록하세요. 일주일이 지나면 어떤 기능이 가장 많이 쓰는지, 그 원인이 입력인지 캐시 미스인지 출력인지 알 수 있습니다.

로그 스키마는 개인정보를 가린 사용량 로깅에 있습니다. 출시 전에 기능의 규모를 가늠하려면 LLM API 비용 계산기나 출시 전 비용 추정의 방법을 사용하세요.

2. 프롬프트 캐싱은 어떻게 비용을 줄이나요?

제공업체는 정확히 반복되는 프롬프트의 앞부분을 캐시합니다. 다음 호출은 그 접두부를 캐시 단가로 읽습니다. OpenAI는 지원 모델에서 1,024토큰부터 캐싱을 기본으로 켜 두며, 캐시된 입력은 “discounted up to 95%“(번역: 최대 95% 할인)라고 밝힙니다(2026-11-15 확인). BroadNet에서 DeepSeek V4.1 Flash의 캐시된 입력은 100만 토큰당 $0.0055 요금으로, 새 입력의 $0.175 요금과 비교됩니다.

규칙은 간단합니다. 고정된 내용은 앞에, 바뀌는 내용은 뒤에 둡니다. 시스템 프롬프트, 도구 스키마, 공통 문서, 대화 이력, 새 질문 순서입니다. 맨 위에 타임스탬프가 있거나 도구 목록의 순서가 바뀌면 그 뒤의 모든 내용에서 캐시가 깨집니다.

3. 어떤 프롬프트 축소가 안전한가요?

모델이 쓰지 않는 것을 줄이세요. 흔히 효과를 보는 곳은 산문으로 길게 쓴 시스템 프롬프트, 작업에 필요한 것보다 많은 few-shot 예시, 해당 단계에서 호출하지도 않는 도구의 스키마, 간결한 표로 충분한데 장황하게 쓴 JSON, 요약으로 충분한데 통째로 보내는 대화 이력입니다. 검색(retrieval)도 점점 비대해지기 쉽습니다. 청크 2개로 답할 수 있는 질문에 10개를 보내는 것은 비용 문제이자 품질 문제입니다.

더 저렴한 프롬프트가 조용히 답변을 망가뜨리지 않도록, 줄일 때마다 고정된 입력 세트로 테스트하세요. 프롬프트 토큰 줄이기에 각 항목을 실제로 줄여 측정한 결과가 있습니다. 언어도 영향을 줍니다. 대부분의 토크나이저에서 아랍어 텍스트는 영어보다 단어당 토큰을 더 많이 씁니다. 아랍어와 영어의 단어당 토큰 수를 참고하세요.

4. 출력과 추론에는 어떻게 상한을 두나요?

덜 요청하고, 범위를 정하세요. 산문 대신 JSON 필드를, “설명해 줘” 대신 단어 수 제한을 요청하고, 질문을 되풀이하지 말라고 하세요. 그런 다음 max_tokens를 설정해 답변이 끝없이 길어지면 멈추게 합니다.

사고형 모델은 주의가 필요합니다. BroadNet 문서에 따르면 추론은 max_tokens에 포함되므로, 상한이 낮으면 빈 답변이 반환될 수 있습니다. 1,000토큰 이상을 유지하고, 단순한 단계에서는 reasoning_effort를 low로 설정하세요. 토큰당 과금 키에서는 추론이 출력으로 과금됩니다. 추론 토큰: 보이는 것보다 더 많이 내는 이유와 빈 답변 해결 방법에서 양쪽을 모두 다룹니다.

5. 품질을 잃지 않고 더 저렴한 모델을 고르려면 어떻게 하나요?

토큰당 가격이 아니라 성공한 작업당 비용을 비교하세요. 기대 출력이 있는 실제 입력 50~100개를 만들고, 후보 모델마다 실행한 뒤 지출액을 통과 수로 나눕니다. 토큰당으로는 저렴해도 세 번에 한 번 실패하는 모델은 재시도와 사람의 검토까지 계산하면 더 비쌀 수 있습니다.

기능부터 확인하세요. BroadNet에서 도구와 구조화된 출력이 문서화된 모델은 GLM 5.3과 Qwen3.8 27B뿐입니다. Gemma 4 VL 26B는 BroadNet의 더 작은 텍스트·이미지 모델이므로, 단순한 작업용으로는 위 표에서 가격을 확인하세요. 많은 앱이 쉬운 단계에는 작은 모델을, 어려운 단계에는 큰 모델을 씁니다. 모델 선택은 자신의 코드에서 합니다. 테스트 계획은 모델을 바꾸기 전에 LLM을 평가하는 방법에 있습니다.

지금 쓰는 모델이 저렴해지기를 기다리지 마세요. 제공업체가 기존 모델의 가격을 내리는 경우는 드물고, 절감은 보통 새 버전과 함께 옵니다. OpenAI, Anthropic, Google API 가격 변동 이력과 LLM API 대폭 인하 사례를 참고하세요.

6. 급하지 않은 작업은 배치로 돌리거나 시간대를 옮길 수 있나요?

제공업체가 지원한다면 가능하며, 할인 폭도 큽니다. 모두 2026-11-15에 확인했습니다.

제공업체 할인 조건
OpenAI Batch API 동기 호출 대비 50% 24시간 안에 완료, 별도의 속도 제한
Anthropic Message Batches API 50% 비동기, 대부분의 배치는 1시간 안에 완료
DeepSeek API, 비혼잡 시간대 비혼잡 시간대 요금은 혼잡 시간대의 절반 혼잡 시간은 월금 UTC 01:0004:00, 06:00~10:00

BroadNet Inference에는 Batch API도, 비혼잡 시간대 요금도 없습니다. BroadNet에서 야간 작업을 돌리려면 키의 한도 안에서 일반 엔드포인트로 재개 가능한 실행기를 사용하세요. 코드는 Batch API 없이 LLM 배치 처리하기에 있습니다. 작업이 몇 시간씩 돈다면 토큰당 비용보다 정액 세션이 더 저렴할 수 있습니다(10단계).

7. 답변 전체는 언제 캐시해야 하나요?

같은 입력으로 같은 질문이 다시 들어올 때입니다. FAQ 봇, 반복되는 항목의 분류, 장애 후 파이프라인 재실행은 모두 같은 작업을 되풀이합니다. 모델, 프롬프트, 설정을 키로 하는 완전 일치 캐시는 저장된 답변을 돌려주고 호출을 건너뜁니다. 답변이 오래되지 않도록 만료 시간을 정하세요. 간단한 구현은 Python으로 LLM 응답 캐싱하기에 있습니다.

8. 재시도와 루프는 어떻게 돈을 낭비하나요?

재시도한 요청은 새로운 추론이므로 토큰당 과금 키에서는 다시 과금됩니다. 429와 5xx 오류에서만 지수 백오프와 지터를 두고 재시도하며, 시도 횟수에 상한을 두세요. 400은 절대 재시도하지 마세요. 같은 잘못된 요청은 같은 방식으로 실패합니다.

에이전트에는 두 번째 위험이 있습니다. 모델을 계속 호출하는 루프입니다. 작업당 단계 수에 상한을 두고, 같은 도구 호출이 반복되면 멈추세요. 429 오류 처리와 코딩 에이전트 비용을 줄이는 10가지 방법에서 둘 다 다룹니다.

9. 청구서가 폭주하지 않게 하려면 어떻게 하나요?

알림은 일이 벌어진 뒤에 알려 주지만, 한도는 그 일을 막습니다. 선불 잔액을 쓰고, 다른 앱을 멈추지 않고 하나만 폐기할 수 있도록 앱마다 키를 하나씩 두고, 서버 키에는 IP 허용 목록을 적용하세요. 코드에서는 작업별 예산을 정하고 다 쓰면 멈추게 하세요. 계정부터 요청까지 단계별 장치는 LLM API 지출 관리에 정리되어 있습니다.

10. 정액 플랜은 언제 토큰당 과금보다 유리한가요?

에이전트가 하루 대부분 동안 돌아갈 때입니다. BroadNet은 DeepSeek V4.1 Flash를 토큰당 또는 세션 단위로 판매합니다. Full Moon은 월 $60, Orbit은 주 $15, Meteor는 시간당 $1 요금이며 토큰 계량이 없습니다. 세션 하나는 한 번에 요청 1개를 처리합니다.

BroadNet이 제시한 토큰당 과금 기준 예시 시나리오:

워크로드 토큰당 과금 시 월 비용 더 저렴한 선택
사이드 프로젝트 $14.23 종량제
일상 업무 어시스턴트 $42.67 종량제
전업 코딩 에이전트 $65.40 Full Moon
상시 동작 에이전트 $196.20 Full Moon

캐시 적중률 80%, 출력 토큰 1개당 입력 토큰 20개 기준으로 손익분기점은 월 입력 약 9.17억 토큰, 출력 약 4,600만 토큰입니다. 가볍게 쓴다면 토큰당 과금이 계속 더 저렴합니다. 손익분기점 전체 계산을 보거나, 정액제 대 토큰당 과금 계산기에 자신의 사용량을 넣어 보세요.

건너뛰어야 할 단계는 무엇인가요?

널리 알려진 조언 중에는 아끼는 것보다 비용이 더 드는 것도 있습니다.

  • 망가질 때까지 프롬프트 압축하기. 답변 품질이 떨어져 사용자가 다시 시도하면 입력에서 아낀 비용이 사라집니다.
  • 매 턴마다 대화 이력 요약하기. 요약할 때마다 호출이 하나 더 생기고, 접두부가 바뀌어 캐시 미스가 납니다. 요약은 가끔만 하고 나머지는 뒤에 이어 붙이세요.
  • 토큰당 최저가만 좇기. 속도 제한, 빠진 기능, 실패율이 모두 비용을 늘립니다.
  • 소규모 워크로드를 직접 호스팅하기. GPU는 바쁘든 한가하든 시간 단위로 과금됩니다. 손익분기점은 직접 호스팅 대 API 비용에서 볼 수 있습니다.

BroadNet Inference는 어디에 적합한가요?

BroadRouter는 BroadNet의 자체 웹사이트이므로, 이 점을 감안해 이 섹션을 읽어 주세요. BroadNet Inference는 OpenAI 호환 API로, 토큰당 과금되는 채팅 모델 4개(그중 3개는 캐시된 입력 지원)와 꾸준한 에이전트 사용을 위한 DeepSeek V4.1 Flash 정액 플랜을 제공합니다. Batch API나 비혼잡 시간대 요금은 없으므로, 기다릴 수 있는 대규모 작업에는 OpenAI나 Anthropic의 배치 할인, 또는 DeepSeek의 비혼잡 시간대가 더 저렴할 수 있습니다. 신규 계정에는 $5 상당의 초기 크레딧이 제공되며, Gemma 4 VL 26B, 두 Transcribe 모델, Gemma 시간제 키에 사용할 수 있습니다. DeepSeek, GLM, Qwen은 충전이 필요합니다. 셀프서비스 이용에는 SLA가 없습니다. 가격 보기 또는 플랜 비교.

자주 묻는 질문

LLM API 비용을 가장 빨리 줄이는 방법은 무엇인가요?

프롬프트 캐싱부터 시작하세요. 시스템 프롬프트, 도구 스키마, 공통 문서를 앞에 두고 호출 간에 바이트 단위까지 똑같이 유지합니다. 캐시된 입력은 새 입력 가격의 일부만 과금되며, 모델이나 기능은 바꿀 필요가 없습니다. 그다음 출력에 상한을 두세요. 출력 토큰이 입력 토큰보다 비싸기 때문입니다.

Batch API를 쓰면 정말 가격이 절반이 되나요?

OpenAI와 Anthropic에서는 그렇습니다. OpenAI의 Batch API는 24시간 완료 기간 조건으로 50% 할인을 제공하고, Anthropic의 Message Batches API는 비용을 50% 낮춥니다(둘 다 2026-11-15 확인). BroadNet Inference에는 Batch API가 없으므로, 일반 엔드포인트에서 재개 가능한 실행기로 작업을 돌리세요.

추론 토큰도 청구서에 포함되나요?

네, 토큰당 과금 키에서는 포함됩니다. 추론은 completion 토큰으로 보고되고 출력 단가로 과금됩니다. 단순한 단계에서는 reasoning_effort를 low로 설정하되, 답변이 잘리지 않도록 max_tokens는 1,000 이상으로 유지하세요.

작은 모델이 항상 더 저렴한가요?

토큰당으로는 대개 그렇지만, 작업당으로는 항상 그렇지는 않습니다. 재시도가 두 번 필요하거나 프롬프트가 더 길어야 하는 작은 모델은 한 번에 맞히는 큰 모델보다 비쌀 수 있습니다. 자체 테스트 세트로 성공한 작업당 비용을 비교하세요.

정액 플랜이 토큰당 결제보다 저렴한 경우는 언제인가요?

사용량이 많고 꾸준할 때입니다. BroadNet에서 DeepSeek V4.1 Flash용 Full Moon 세션 하나는 월 $60 요금입니다. 캐시 적중률 80% 기준으로 월 입력 약 9.17억 토큰, 출력 약 4,600만 토큰에서 손익분기점에 이릅니다. 그보다 적게 쓰면 토큰당 과금이 더 저렴합니다.

재시도에도 비용이 드나요?

네. 재시도한 요청은 새로운 추론이므로 토큰당 과금 키에서는 다시 과금됩니다. 429와 5xx 오류에서만 백오프를 두고 재시도하고, 시도 횟수에 상한을 두세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기