---
title: "추론 제공업체란? LLM 호스팅 쉽게 이해하기 | BroadRouter"
description: "추론 제공업체는 자체 또는 임차한 GPU에서 AI 모델을 실행하고 API로 판매하는 회사입니다. 모델 개발사, 라우터와의 차이와 확인할 점을 정리했습니다."
url: https://broadrouter.com/ko/glossary/inference-provider/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/inference-provider/) (2026-11-15 업데이트).

# 추론 제공업체(Inference provider)

업데이트 2026-11-15

추론 제공업체(inference provider)는 머신러닝 모델, 주로 오픈 웨이트 LLM을 자체 소유, 장기 임차 또는 단기 임대한 GPU에서 실행하고, API로 이용 권한을 판매하는 회사입니다. 요금은 보통 토큰, 요청, 시간 단위로 매기며, 서빙과 확장, 하드웨어 관리를 맡습니다.

다른 이름: 추론 제공업체, 추론 서비스 제공업체, LLM API 제공업체, LLM 호스팅 업체, 모델 호스팅 제공업체, inference provider, LLM inference provider, LLM API provider, model hosting provider, AI inference provider

오픈 웨이트 모델이 공개되어도 누군가는 그 모델을 실행해야 합니다. 추론 제공업체가 바로 그 일을 하는 회사입니다.

## 작동 방식

제공업체는 모델 가중치를 GPU에 올리고, 요청을 배치로 묶고 메모리를 관리하는 서빙 소프트웨어를 실행하고, 그 앞에 API를 둡니다. 대부분 [OpenAI 호환 API](https://broadrouter.com/ko/glossary/openai-compatible-api/)를 제공하므로 base URL, 키, 모델 ID만 바꾸면 제공업체를 전환할 수 있습니다.

이 용어는 몇 가지 사업 형태를 포괄합니다.

-   **모델 개발사**: 자사 모델을 직접 제공합니다.
-   **독립 호스팅 업체**: 여러 개발사의 오픈 웨이트 모델을 제공합니다.
-   **클라우드**: GPU나 관리형 엔드포인트를 대여하며, [GPU 시간](https://broadrouter.com/ko/glossary/gpu-hour/) 단위로 과금하기도 합니다.
-   **애그리게이터.** Hugging Face의 Inference Providers는 토큰 하나로 “hundreds of machine learning models, powered by world-class inference providers”(번역: 세계적인 추론 제공업체가 구동하는 수백 개의 머신러닝 모델)에 접근할 수 있게 해 줍니다. [LLM 라우터](https://broadrouter.com/ko/glossary/llm-router/)도 같은 방식으로 작동합니다.

API 형식이 공통이므로 같은 코드가 어느 제공업체에서나 실행됩니다. 바뀌는 값은 세 가지뿐입니다.

```python
import os
from openai import OpenAI

msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",          # the provider
    api_key=os.environ["BROADNET_API_KEY"],  # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs)  # its model ID
```

위 코드에서 base\_url은 제공업체, api\_key는 그 업체의 키, model은 그 업체의 모델 ID입니다. 가격 체계도 토큰당, 오디오 분당, 시간당, 세션당 정액 등으로 제공업체마다 다릅니다.

## 왜 중요한가

제공업체를 고르는 일은 대부분 모델 이름만으로는 보이지 않는 트레이드오프를 고르는 일입니다.

-   **데이터 처리.** 보관, 로깅, 학습 활용 여부가 업체마다 다릅니다. 문서로 명시된 [데이터 비보관](https://broadrouter.com/ko/glossary/zero-data-retention/) 정책이 있는지 확인하세요.
-   **실행 위치.** 리전과 하위 처리자는 규정 준수에 중요합니다.
-   **한도.** 동시 실행 수, 속도 제한, 컨텍스트 길이가 모델의 최대치보다 낮을 수 있습니다.
-   **서빙 방식.** 정밀도와 서빙 설정은 속도에, 때로는 출력에도 영향을 줍니다.
-   **가격 체계.** 어떤 체계가 맞는지는 트래픽에 따라 다릅니다. [제공업체 가격 비교](https://broadrouter.com/ko/blog/llm-inference-provider-pricing-compared/)를 참고하세요.
-   **가격 수준.** 같은 오픈 모델도 제공업체에 따라 가격이 몇 배 차이 날 수 있습니다. [같은 모델, 다른 호스팅 가격](https://broadrouter.com/ko/blog/same-llm-different-host-prices/)을 참고하세요.

## BroadNet Inference에서는

BroadNet Inference는 추론 제공업체입니다. 개인정보 처리 방침에 따르면 자체 모델과 호스팅하는 오픈 웨이트 모델은 “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup”(번역: 미국 내 BroadNet 소유 또는 임차 하드웨어에서 실행되며, 파트너 용량을 백업으로 사용한다), 파트너가 제공하는 모델은 미국 추론 파트너와의 데이터 비보관 조건에 따라 실행됩니다. 요청과 응답 내용은 보관되지 않습니다.

[DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/)와 GLM 5.3을 포함한 채팅 모델, 그리고 음성 인식 모델 두 개를 `https://inference.broadnet.ai/v1` 주소의 OpenAI 호환 API로 제공합니다. 과금은 토큰당 또는 오디오 분당 종량제, 시간제 키, DeepSeek V4.1 Flash용 정액 플랜 중에서 고를 수 있습니다. [제공업체 체크리스트](https://broadrouter.com/ko/blog/choose-llm-api-provider-checklist/)로 자신의 기준에 따라 다른 업체와 비교해 보세요.

## 자주 묻는 질문

### 추론 제공업체와 LLM 라우터는 어떻게 다른가요?

제공업체는 자체 소유, 장기 임차 또는 단기 임대한 하드웨어에서 모델을 직접 실행합니다. 라우터는 하나의 API와 하나의 청구서로 요청을 여러 제공업체 중 한 곳에 전달합니다. 두 가지를 모두 하는 회사도 있습니다.

### 같은 오픈 모델을 제공하는 두 업체의 답변은 같은가요?

항상 같지는 않습니다. 정밀도, 컨텍스트 한도, 기본 설정, 서빙 소프트웨어가 다를 수 있으므로 출력도 달라질 수 있습니다. 전환하기 전에 자신의 프롬프트로 테스트하세요.

### 추론 제공업체를 바꾸려면 어떻게 하나요?

OpenAI 호환 API라면 base URL, API 키, 모델 ID 세 가지 값만 바꾸면 됩니다. 그다음 평가(eval)를 다시 실행하세요. 같은 모델도 제공업체가 바뀌면 다르게 동작할 수 있습니다.

## 함께 보기

-   [LLM 라우터(LLM router)](https://broadrouter.com/ko/glossary/llm-router/) (용어)
-   [오픈 웨이트 모델(open-weight model)](https://broadrouter.com/ko/glossary/open-weight-model/) (용어)
-   [OpenAI 호환 API(OpenAI-compatible API)](https://broadrouter.com/ko/glossary/openai-compatible-api/) (용어)
-   [서버리스 추론(serverless inference)](https://broadrouter.com/ko/glossary/serverless-inference/) (용어)
-   [데이터 비보관(Zero data retention, ZDR)](https://broadrouter.com/ko/glossary/zero-data-retention/) (용어)
-   [SLA(서비스 수준 협약, service level agreement)](https://broadrouter.com/ko/glossary/sla/) (용어)
-   [모델 지원 중단(model deprecation)](https://broadrouter.com/ko/glossary/model-deprecation/) (용어)
-   [curl로 BroadNet Inference에 첫 요청 보내기](https://broadrouter.com/ko/guides/curl-quickstart/) (가이드)
-   [LiteLLM을 BroadNet Inference에 연결하기(SDK와 프록시)](https://broadrouter.com/ko/guides/litellm-proxy-custom-provider/) (가이드)
-   [LLM API 제공업체 선택 가이드: 20가지 체크리스트](https://broadrouter.com/ko/blog/choose-llm-api-provider-checklist/) (글)
-   [오픈 모델 API 가격 비교: 추론 제공업체 6곳의 과금 방식](https://broadrouter.com/ko/blog/llm-inference-provider-pricing-compared/) (글)
-   [같은 모델, 다른 호스트: LLM API 가격은 얼마나 다를까](https://broadrouter.com/ko/blog/same-llm-different-host-prices/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-inference-provider&utm_content=page-cta) ·

**출처**

-   [Hugging Face, Inference Providers 문서](https://huggingface.co/docs/inference-providers/index)
-   [BroadNet, Inference API 개인정보 및 데이터 보관 방침(모델 실행 위치) (영어)](https://www.broadnet.ai/inference-privacy)
-   [BroadNet Inference API 레퍼런스 (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-inference-provider&utm_content=sources)
