---
title: "LLM 전용 엔드포인트 계획: 먼저 정해야 할 것 | BroadRouter"
description: "LLM 전용 엔드포인트를 문의하기 전에 정해야 할 것: 워크로드, 초당 토큰, 동시성, 컨텍스트, 리전, 라이선스, 예산, 그리고 받은 엔드포인트를 테스트하는 방법."
url: https://broadrouter.com/ko/blog/private-endpoint-planning/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/private-endpoint-planning/) (2026-11-15 업데이트).

# 전용 엔드포인트는 분명한 워크로드 정의에서 시작합니다

BroadNet Inference 팀 · 7분 분량 · 게시 2026-11-15

전용 엔드포인트를 문의하기 전에 워크로드를 적어 두세요. 하루 요청 수와 피크 요청 수, 입력·출력 토큰, 거기서 나오는 동시성, 필요한 컨텍스트, 처리 리전, 모델과 라이선스, 예산입니다. 리전과 한도는 서면으로 합의하고, 실제 데이터를 보내기 전에 발급받은 엔드포인트로 스모크 테스트를 하세요.

## 핵심 요약

-   용량 요청은 그 숫자만큼만 좋습니다. 피크 초당 요청 수, 입력·출력 토큰, 허용할 수 있는 지연 시간이 필요합니다.
-   동시성은 리틀의 법칙(Little's law)에서 나옵니다. 진행 중인 요청 수 = 도착률 × 요청당 시간입니다. 요청당 시간은 먼저 체험판으로 측정하세요.
-   BroadNet은 전용 엔드포인트를 트래픽에 맞춰 가격을 매기는 예약 GPU 용량으로, 자체 키, 한도, 리전을 갖고 비공개 모델 ID로 접근하는 것이라고 공개적으로 설명합니다. 그 밖의 모든 것은 BroadNet과 합의합니다.
-   BroadNet 서비스 약관은 셀프서비스에는 가용성 약정이 없으며, 전용 엔드포인트와 예약 용량은 별도의 서면 계약을 따른다고 명시합니다.
-   프로덕션 전에 발급받은 엔드포인트를 테스트하세요. 모델 ID, 스트리밍, 합의한 동시성, 잘못된 모델 ID에 대한 오류입니다.

**이 페이지의 내용**

1.  전용 엔드포인트는 언제 의미가 있나요?
2.  워크로드에 대해 무엇을 정해야 하나요?
3.  사용량을 초당 토큰과 동시성으로 어떻게 바꾸나요?
4.  리전, 레지던시, 한도는 어떻게 하나요?
5.  어떤 모델을, 어떤 라이선스로 쓰나요?
6.  예산은 어떻게 정하나요?
7.  문의는 어떻게 보내나요?
8.  받은 엔드포인트는 어떻게 검증하나요?
9.  BroadNet Inference는 어디에 맞나요?

“전용 엔드포인트가 필요합니다”는 대화의 시작이지 명세가 아닙니다. 제공업체는 여러분의 숫자 없이는 용량의 규모, 위치, 가격을 정할 수 없고, 여러분도 그 숫자 없이는 제공업체의 답을 판단할 수 없습니다. 이 글은 청구서 추출이라는 계산 예시를 통해 문의 전에 정해야 할 것을 정리하고, 받은 엔드포인트를 검사하는 스크립트로 마무리합니다.

어떤 제공업체에도 적용됩니다. BroadNet의 제공 내용을 설명하는 부분은 2026년 11월 15일에 확인한, BroadNet이 공개적으로 밝힌 내용만 다룹니다. 그 이상은 BroadNet에 물어봐야 할 질문입니다.

## 전용 엔드포인트는 언제 의미가 있나요?

대개 다음 네 가지 이유 중 하나입니다.

-   **셀프서비스 한도를 넘는 트래픽.** BroadNet API 레퍼런스는 종량제 키에 대해 분당 요청 30개, 동시 요청 4개를 공개합니다. 이를 꾸준히 넘는 워크로드는 재시도가 아니라 용량의 문제입니다. (짧은 버스트는 [429 처리하기](https://broadrouter.com/ko/blog/handle-llm-api-429-rate-limits/)에서 다룹니다.)
-   **공개 목록에 없는 모델.** BroadNet 카탈로그에는 Qwen3-VL 30B-A3B, Qwen3-VL 8B, BroadNet이 파인튜닝한 Cohere Transcribe Arabic 등 “available on request”(문의 시 제공)로 표시된 모델이 있습니다. 차이는 [모델 카탈로그 읽는 법](https://broadrouter.com/ko/blog/understand-model-status/)에서 설명합니다.
-   **직접 통제해야 하는 처리 위치.** [사우디·UAE PDPL 체크리스트](https://broadrouter.com/ko/blog/saudi-uae-pdpl-llm-api-checklist/)에 나오는 것 같은 데이터 레지던시 규정은 서면으로 합의한 리전을 요구할 수 있습니다.
-   **예측 가능한 지연 시간.** 공유 용량은 다른 사용자의 부하에 따라 달라집니다. 예약 용량은 그 변수를 없애지만, 네트워크 거리나 자체 프롬프트 크기까지 없애지는 않습니다.

어느 것도 해당하지 않는다면 셀프서비스 키가 더 간단합니다. 그리고 사용량이 매우 많고 꾸준하다면 직접 운영하는 경우와 비교해 보세요. 방법은 [셀프 호스팅 vs API 비용](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/)에 있습니다.

## 워크로드에 대해 무엇을 정해야 하나요?

한 페이지짜리 요약서를 쓰세요. 제공업체에 필요한 숫자는 다음과 같습니다.

| 항목 | 적을 내용 | 예시 |
| --- | --- | --- |
| 작업 | 모델이 하는 일을 한 문장으로 | 청구서 사진을 읽고 JSON 필드 반환 |
| 사용량 | 하루 요청 수와 가장 바쁜 1시간의 비중 | 하루 40,000건, 피크 1시간에 15% |
| 토큰 | 입력·출력 토큰의 평균과 95번째 백분위수 | 입력 1,800(페이지 이미지 1장 + 프롬프트), 출력 350 |
| 컨텍스트 | 단일 요청의 최대 크기(프롬프트 + 답변) | 4,000토큰 |
| 지연 시간 | 허용 가능한 첫 토큰까지의 시간과 전체 답변까지의 시간 | 전체 답변 10초 이내 |
| 스트리밍 | 필요 여부 | 불필요(배치 방식) |
| 입력 | 텍스트, 이미지, 오디오, 형식과 크기 | JPEG, PNG, 각 1페이지 |
| 언어 | 어떤 언어와 각각의 비중 | 아랍어와 영어, 60/40 |
| 성장 | 6개월, 12개월 후 예상 사용량 | 12개월 후 두 배 |

토큰 수는 추측이 아니라 실제 샘플로 측정하세요. 아랍어는 같은 텍스트에 영어보다 토큰이 더 필요한 경우가 많습니다. 토크나이저별로 얼마나 다른지는 [아랍어 토큰 카운터](https://broadrouter.com/tools/arabic-token-counter/)와 [언어별 실제 비용](https://broadrouter.com/data/real-cost-by-language/)에서 볼 수 있습니다. 이미지는 [이미지 토큰 계산기](https://broadrouter.com/tools/image-token-calculator/)로 1차 추정치를 얻으세요.

## 사용량을 초당 토큰과 동시성으로 어떻게 바꾸나요?

피크 초당 요청 수는 가장 바쁜 1시간의 사용량을 3,600으로 나눈 값입니다. 동시에 진행 중인 요청 수인 동시성은 [리틀의 법칙](https://en.wikipedia.org/wiki/Little%27s_law)에서 나옵니다. 시스템 안의 평균 개수는 도착률에 각각이 머무는 평균 시간을 곱한 값과 같습니다. API에서는 초당 요청 수 × 요청당 초입니다.

```python
import math

def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
         in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
    """Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
    peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
    seconds_per_request = out_tokens / out_tok_per_s_per_stream        # ignores queueing and prompt time
    concurrency = peak_rps * seconds_per_request                      # Little's law: L = λ × W
    return {
        "peak_requests_per_second": round(peak_rps, 2),
        "seconds_per_request": round(seconds_per_request, 1),
        "concurrent_requests_at_peak": math.ceil(concurrency),
        "peak_input_tokens_per_second": round(peak_rps * in_tokens),
        "peak_output_tokens_per_second": round(peak_rps * out_tokens),
        "monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
    }

# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
```

출력 결과는 피크 초당 요청 1.67개, 요청당 약 5.8초, 동시 요청 10개, 초당 입력 토큰 3,000개와 출력 토큰 583개, 월 25억 8,000만(2,580 million) 토큰이었습니다. 초당 60토큰은 예시를 위한 가정입니다. 속도는 모델, 프롬프트 길이, 부하에 따라 달라지므로, 실제로 쓸 모델에서 직접 측정하세요. 무엇을 측정할지는 [지연 시간, TTFT, 처리량](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/) 글에서 설명합니다.

주의할 점이 두 가지 있습니다. 이 공식은 프롬프트 처리 시간을 무시하므로, 긴 프롬프트나 큰 이미지는 실제 요청을 느리게 만들어 동시성을 끌어올립니다. 그리고 평균은 버스트를 가립니다. 평균만이 아니라 95번째 백분위수 요청 크기와 짧은 버스트 패턴을 제공업체에 주세요. 이 예시의 피크(분당 약 100건, 동시 10건)는 종량제 키 하나에 공개된 셀프서비스 한도를 훌쩍 넘으며, 바로 이럴 때 용량 상담을 할 가치가 있습니다.

## 리전, 레지던시, 한도는 어떻게 하나요?

규제 대상 데이터를 옮기기 전에 명시적으로, 서면으로 합의하세요. BroadNet 약관(§7.3a)은 “Contact us to agree processing locations for your deployment before sending data with residency requirements”(번역: 레지던시 요건이 있는 데이터를 보내기 전에 배포의 처리 위치를 합의하려면 문의하세요)라고 하며, 파트너 호스팅과 백업 처리에는 다른 처리자가 관여하고 최신 하위 처리자 목록은 요청 시 고객에게 제공된다고 밝힙니다. 개인정보 방침에 따르면 BroadNet 자체 모델과 호스팅하는 오픈 웨이트 모델은 미국에 있는 BroadNet 소유 또는 임차 하드웨어에서 실행되고, 파트너 용량이 백업이며, 개요 페이지에 따르면 MENA나 유럽에서의 지역 처리는 문의 시 가능합니다.

따라서 어떤 제공업체에든 물어야 할 질문은 다음과 같습니다.

1.  어느 리전이 요청을 처리하고, 어느 리전에 백업 용량이 있나요?
2.  장애 조치나 초과 트래픽을 포함해, 어떤 하위 처리자가 트래픽에 접근할 수 있나요?
3.  엔드포인트의 속도, 동시성, 토큰 한도는 무엇이며, 그것을 넘으면 어떻게 되나요?
4.  어떤 가용성 및 지원 조건이 적용되며, 어디에 명시되어 있나요? BroadNet 약관(§7.4)은 셀프서비스에는 가용성 약정이 없으며, 전용 엔드포인트와 예약 용량은 별도의 서면 계약을 따른다고 밝힙니다. 다른 제공업체의 서면 SLA가 무엇을 보장하는지는 [LLM API SLA 비교](https://broadrouter.com/ko/blog/llm-api-sla-uptime-compared/)를 읽어 보세요.
5.  무엇이 보관되나요? BroadNet 추론 API에 대해 공개된 입장은 이렇습니다. 추론 콘텐츠는 보관되지 않으며, 필요한 계정, 결제, 보안 메타데이터는 [개인정보 방침](https://www.broadnet.ai/inference-privacy)에 설명된 대로 보관됩니다. 여러분의 엔드포인트에도 같은 내용이 적용되는지 확인하세요.

## 어떤 모델을, 어떤 라이선스로 쓰나요?

정확한 모델과 버전을 명시하고, 라이선스가 여러분의 용도와 API 제공을 허용하는지 확인하세요. BroadNet 모델 페이지에는 Gemma 4 26B, Qwen3-VL 30B-A3B, Cohere Transcribe 기본 가중치가 Apache-2.0으로, BroadNet이 파인튜닝한 Cohere Transcribe Arabic은 “under contract”(계약에 따름)로 나와 있습니다. 약관은 모델이 각자의 라이선스를 따르며, DeepSeek V4.1 Flash는 파트너 호스팅일 때도 그 라이선스가 적용된다고 밝힙니다.

컨텍스트 윈도도 합의하세요. 컨텍스트 한도는 기본 모델의 최대치만이 아니라 모델과 배포 방식에 따라 정해집니다. BroadNet은 공개 API의 Gemma 4 VL 26B를 32K 토큰으로, 문의 시 제공되는 Qwen3-VL 30B-A3B를 16K로 안내합니다. [컨텍스트 윈도 계산기](https://broadrouter.com/tools/context-window-calculator/)는 평균 요청이 아니라 가장 큰 요청으로 확인하세요.

## 예산은 어떻게 정하나요?

BroadNet은 전용 엔드포인트 가격을 공개하지 않습니다. 개요 페이지에는 “Reserved GPU, priced to your traffic. Ask for a quote.”(번역: 예약 GPU, 트래픽에 맞춘 가격. 견적을 요청하세요.)라고 되어 있습니다. 그러니 먼저 자체 상한을 정하세요. 규모 산정 스크립트의 월 토큰 수로 [LLM API 비용 계산기](https://broadrouter.com/tools/llm-api-cost-calculator/)에서 같은 워크로드의 셀프서비스 가격을 계산하고, 예측 가능한 용량, 리전, 비공개 모델에 얼마를 더 낼 가치가 있는지 정하세요. 셀프서비스 금액보다 낮은 견적은 덤이고, 훨씬 높은 견적이라면 요구 사항 목록에서 그 이유가 나와야 합니다.

## 문의는 어떻게 보내나요?

BroadNet API 레퍼런스는 이렇게 말합니다. “Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.”(번역: 전용 엔드포인트, 아랍어 파인튜닝 모델, 기타 문의 시 제공 모델은 엔드포인트와 함께 발급되는 비공개 ID로 접근합니다.) 개요 페이지는 “your model, languages and traffic requirements”(번역: 모델, 언어, 트래픽 요구 사항)를 알려 달라고 합니다. 한 페이지 요약서를 API 키나 고객 데이터 없이 [문의 페이지](https://broadrouter.com/ko/contact/#private)로 보내세요. 규모 산정 결과, 리전, 모델과 라이선스, 목표 지연 시간, 예산 상한, 일정을 포함하세요.

## 받은 엔드포인트는 어떻게 검증하나요?

프로덕션 트래픽을 보내기 전에, 합의한 내용대로 엔드포인트를 테스트하세요. 이 스크립트는 Python 표준 라이브러리만 씁니다. 비공개 모델 ID가 작동하는지, 스트리밍이 BroadNet 문서에 나온 `data: [DONE]` 표시로 끝나는지, 합의한 동시성에서 429 없이 실행되는지, 잘못된 모델 ID가 거부되는지 확인합니다.

```python
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor

BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/")    # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"]                # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))

def post(payload: dict, stream=False):
    req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
        headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
    t0 = time.monotonic()
    try:
        with urllib.request.urlopen(req, timeout=120) as r:
            body = r.read().decode()
            return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0

def main() -> int:
    msg = [{"role": "user", "content": "Reply with the word OK."}]
    results = {}
    code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
    ok = code == 200 and "usage" in json.loads(body)
    results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
    code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
                             "stream_options": {"include_usage": True}})
    results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
    with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
        codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
                              range(AGREED_CONCURRENCY)))
    results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
    code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
    results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
    for name, (passed, note) in results.items():
        print(f"{'PASS' if passed else 'FAIL'}  {name}: {note}")
    return 0 if all(p for p, _ in results.values()) else 1

if __name__ == "__main__":
    sys.exit(main())
```

동시 요청 8개를 허용하는 로컬 모의 서버(실제 엔드포인트 아님)에 대해 실행했습니다. `AGREED_CONCURRENCY=8`에서는 네 가지 검사가 모두 통과했습니다. 12로 하면 동시성 검사가 200 여덟 개와 429 네 개로 실패했는데, 이는 출시 후가 아니라 출시 전에 보고 싶은 결과입니다. `max_tokens=1000`은 답하기 전에 예산 일부를 쓰는 추론 모델을 위한 여유입니다.

스모크 테스트 후에는 측정한 피크 수준에서 실제 크기의 프롬프트로 짧은 부하 테스트를 돌리고, 엔드포인트의 첫 토큰까지의 시간과 전체 답변 지연 시간을 기록하세요. 요청 ID도 보관하세요. BroadNet 문서는 지원 요청 시 `X-Request-ID`, 타임스탬프, 경로, 상태를 요구합니다.

## BroadNet Inference는 어디에 맞나요?

BroadRouter는 BroadNet의 자체 사이트입니다. BroadNet Inference는 공개 모델에 대한 셀프서비스 이용을 토큰, 오디오 분, 세션 플랜, 시간제 키 단위로 판매하며, 가격은 [가격 페이지](https://broadrouter.com/ko/pricing/)에 있습니다. 전용 엔드포인트, 지역 처리, 파인튜닝 모델, “on request”(문의 시 제공)로 표시된 모델은 셀프서비스가 아닙니다. BroadNet이 견적을 내고 서면으로 합의하는 문의 대상입니다. 이 글은 BroadNet이 여러분의 워크로드에 무엇을 제안할지 알려 줄 수 없습니다. 분명한 요약서가 그것을 알아내는 방법입니다.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/)

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[입력 토큰과 출력 토큰(input and output tokens)](https://broadrouter.com/ko/glossary/input-and-output-tokens/)

입력 토큰은 언어 모델이 요청에서 읽는 토큰으로, 시스템 프롬프트, 대화 기록, 도구 정의, 이미지가 포함됩니다. 출력 토큰은 모델이 응답으로 생성하는 토큰으로, 추론도 포함됩니다. LLM API는 보통 둘에 따로 가격을 매기며, 대개 출력이 더 비쌉니다.

[파인튜닝(fine-tuning)](https://broadrouter.com/ko/glossary/fine-tuning/)

파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 언어 모델을 예시 대화 같은 작고 작업에 특화된 데이터셋으로 계속 학습시키는 과정입니다. 가중치가 바뀌므로, 모델은 프롬프트마다 긴 지시문이나 예시를 넣지 않아도 해당 작업이나 스타일을 더 안정적으로 수행합니다.

[PDPL(사우디·UAE 개인정보 보호법)](https://broadrouter.com/ko/glossary/pdpl/)

PDPL(Personal Data Protection Law)은 칙령 M/19로 공포되고 SDAIA가 집행하는 사우디아라비아 개인정보 보호법과, UAE의 2021년 연방 법령 제45호를 함께 부르는 통칭입니다. 두 법 모두 개인정보 처리를 규율하고, 해외 LLM API로 보내는 프롬프트를 포함한 국외 이전에 조건을 둡니다.

[PII(개인 식별 정보)](https://broadrouter.com/ko/glossary/pii/)

PII(개인 식별 정보)는 이름, 신분 번호, 생체 기록처럼 개인의 신원을 구별하거나 추적하는 데 쓸 수 있는 정보와, 그 사람과 연결되거나 연결될 수 있는 기타 정보입니다. GDPR은 더 넓은 용어인 개인 데이터를 씁니다. LLM 작업에서 PII 마스킹은 프롬프트가 내 시스템을 떠나기 전에 이를 제거합니다.

[데이터 레지던시(data residency)](https://broadrouter.com/ko/glossary/data-residency/)

데이터 레지던시(data residency)는 데이터를 특정 국가나 지역 안에서 저장하고 처리해야 한다는 요건 또는 약속입니다. LLM API에서는 추론 중 프롬프트가 처리되는 위치와 저장된 콘텐츠가 있는 위치를 다루며, 계정과 결제 데이터는 제외되는 경우가 많습니다.

## 자주 묻는 질문

### LLM 전용 엔드포인트란 무엇인가요?

모든 셀프서비스 사용자와 공유하는 용량이 아니라, 한 고객을 위해 예약된 용량으로 운영되는 API 엔드포인트입니다. BroadNet은 이를 선택한 모델이 올라간 예약 GPU나 노드에 자체 키와 한도, 필요한 리전을 갖추고, 비공개 모델 ID로 접근하는 것이라고 설명합니다.

### 필요한 동시성은 어떻게 추정하나요?

리틀의 법칙을 쓰세요. 동시 요청 수 = 피크 초당 요청 수 × 요청당 초입니다. 초당 1.67개 요청이 각각 약 5.8초 걸린다면 진행 중인 요청은 약 10개입니다. 요청당 시간은 실제 모델과 실제 프롬프트로 측정하세요.

### BroadNet 전용 엔드포인트를 셀프서비스로 구매할 수 있나요?

아닙니다. BroadNet은 전용 엔드포인트, 지역 처리, 목록에 없는 모델을 문의 방식으로 제공합니다. 워크로드를 설명하면 BroadNet이 견적을 냅니다. 약관에 따르면 전용 엔드포인트와 예약 용량은 별도의 서면 계약을 따릅니다.

### 전용 엔드포인트에는 SLA가 포함되나요?

서면 계약에 명시된 경우에만 그렇습니다. BroadNet 약관은 셀프서비스에는 가용성 약정이 없고, 서비스 수준은 별도의 서면 계약에만 존재한다고 밝힙니다. 의존하기 전에 정확한 조건을 요청하세요.

### 데이터는 어디서 처리되나요?

데이터를 보내기 전에 합의하세요. BroadNet 약관은 레지던시 요건이 있는 고객에게 처리 위치를 먼저 합의하도록 요청하며, 파트너 호스팅과 백업 처리에는 다른 처리자가 관여하고, 하위 처리자 목록은 요청 시 고객에게 제공된다고 밝힙니다.

## 이어서 읽기

-   [LLM 자체 호스팅 vs API: 실제 비용과 손익분기점](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/)
-   [LLM 지연 시간: TTFT, 초당 토큰 수, 엔드투엔드 시간의 차이](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/)
-   [사우디·UAE 개인정보보호법(PDPL)과 LLM API: 국외 이전 체크리스트](https://broadrouter.com/ko/blog/saudi-uae-pdpl-llm-api-checklist/)
-   [LLM API 제공업체 선택 가이드: 20가지 체크리스트](https://broadrouter.com/ko/blog/choose-llm-api-provider-checklist/)
-   [기능 출시 전에 LLM API 비용을 예상하는 방법](https://broadrouter.com/ko/blog/estimate-llm-api-cost-before-launch/)
-   [LLM API 429 오류 처리 방법: 백오프, 지터, 동시 처리 제한](https://broadrouter.com/ko/blog/handle-llm-api-429-rate-limits/)
-   [라이브, 문의 시 제공, 연구용: 모델 카탈로그 제대로 읽는 법](https://broadrouter.com/ko/blog/understand-model-status/)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시](https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/)
-   [가이드: BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/)
-   [가이드: IP 허용 목록으로 API 키를 내 서버에만 묶기](https://broadrouter.com/ko/guides/api-keys-ip-allow-lists/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-private-endpoint-planning&utm_content=page-cta) ·

**출처**

-   [BroadNet Inference 개요: 전용 엔드포인트 "Reserved GPU, priced to your traffic"(번역: 예약 GPU, 트래픽에 맞춘 가격), 문의 시 지역 처리(2026-11-15 확인) (영어)](https://www.broadnet.ai/inference)
-   [BroadNet 모델 카탈로그: 문의 시 제공, 고객별 규모의 멀티 GPU 전용 엔드포인트(2026-11-15 확인) (영어)](https://www.broadnet.ai/inference/models)
-   [BroadNet 모델 페이지, Qwen3-VL 30B-A3B Instruct: 문의 시 제공, 고객별 비공개 ID 발급, 16K 컨텍스트(2026-11-15 확인) (영어)](https://www.broadnet.ai/inference/models/qwen3-vl-30b-a3b)
-   [BroadNet 모델 페이지, Gemma 4 VL 26B: 자체 키, 한도, 리전을 갖춘 전용 엔드포인트(2026-11-15 확인) (영어)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [BroadNet 서비스 약관, §7.3a 호스팅 및 처리 위치, §7.4 가용성, 최종 수정 2026년 9월 23일(2026-11-15 확인) (영어)](https://www.broadnet.ai/terms)
-   [BroadNet Inference API 레퍼런스: 비공개 ID, 종량제 한도, 스트리밍, 오류(2026-11-15 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-private-endpoint-planning&utm_content=sources)
-   [BroadNet Inference 개인정보 및 데이터 보관 방침: 처리 위치(2026-11-15 확인) (영어)](https://www.broadnet.ai/inference-privacy)
-   [리틀의 법칙(Little's law), L = λW(Wikipedia, 2026-11-15 확인)](https://en.wikipedia.org/wiki/Little%27s_law)
