BroadRouter

BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용

BroadNet Inference 팀 · 5분 분량 · 게시 · 업데이트

BroadNet에 따르면 서빙 스택 하나를 세 가지 하드웨어 계층에서 운영합니다. A100부터 B300까지의 데이터센터 GPU, 상시 가동되는 공개 API를 담당하는 RTX·DGX Spark 워크스테이션 계층, 고객사 현장의 어플라이언스입니다. NVIDIA와 AMD를 합쳐 13개 GPU 계열에서 약 270개 모델을 실행했다고 보고합니다. 일부 API 모델은 대신 미국 추론 파트너가 서빙합니다.

BroadNet은 추론 하드웨어를 이례적으로 자세하게 공개합니다. 모델 카탈로그에는 운영한다고 밝힌 GPU, 카드별로 측정한 처리량, 같은 모델을 여러 GPU에서 실행하며 얻은 교훈이 나와 있습니다. 이 페이지는 BroadNet이 밝힌 내용을 요약하며, 중요한 부분은 BroadNet의 표현을 그대로 옮깁니다. 저희가 하드웨어를 직접 확인하지는 않았으며, 측정값은 2026년 9월 BroadNet 자체 측정입니다.

BroadNet은 어떤 하드웨어를 운영한다고 밝히나요?

BroadNet은 “one fleet, three tiers, one stack”(번역: 하나의 플릿, 세 계층, 하나의 스택)을 운영한다고 말합니다. 데이터센터 가속기부터 고객사 현장의 어플라이언스까지 같은 엔진, 양자화, 게이트웨이를 쓴다는 뜻입니다.

계층 BroadNet이 밝힌 GPU BroadNet의 용도
데이터센터 B300, B200, H200, H100, A100 80 GB 플래그십 서빙, 양자화와 보정, 파인튜닝, 전용 엔드포인트, 데이터 레지던시 배치
워크스테이션 RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 상시 가동 공개 API, CUDA·ROCm 벤치마크, 모델 개발
고객사 현장 DGX Spark GB10, 소형 AMD 어플라이언스 동일한 스택의 온프레미스 및 에어갭 배포

BroadNet은 전체적으로 약 270개 모델 실행, 약 200개 체크포인트 로드, 약 40개 모델 계열, 12개 이상의 양자화 형식, 13개 GPU 계열을 보고합니다. 또한 “a single H100 serves the entire current public catalogue with headroom”(번역: H100 한 장으로 현재 공개 카탈로그 전체를 여유 있게 서빙합니다)이라고 말합니다.

어떤 API 모델이 이 하드웨어에서 실행되나요?

전부는 아닙니다. BroadNet의 개인정보 처리방침에 따르면 자체 모델과 BroadNet이 호스팅하는 오픈 웨이트 모델은 미국에 있는 BroadNet 소유 또는 임차 하드웨어에서 실행되며 파트너 용량을 백업으로 두고, 파트너가 서빙하는 모델은 미국 추론 파트너에서 데이터 비보관 조건으로 실행됩니다. 서비스 약관은 DeepSeek V4.1 Flash를 파트너 호스팅 모델로 명시합니다.

BroadNet 자체 페이지에 모델별로 나온 내용입니다.

API 모델 BroadNet이 밝힌 하드웨어
Gemma 4 VL 26B 핫 백업을 갖춘 NVIDIA Blackwell급 GPU
Transcribe Arabic과 Transcribe BroadNet이 미국에서 운영하는 NVIDIA GPU
DeepSeek V4.1 Flash 파트너 호스팅(서비스 약관 §7.3)
GLM 5.3, Qwen3.8 27B API 트래픽에 대해서는 명시되지 않음

데이터가 어디서 처리되는지가 중요하다면 보내기 전에 BroadNet에 문의하세요. 추론 페이지에 따르면 MENA나 유럽 리전 처리는 문의 시 제공됩니다.

GPU별 속도는 어느 정도인가요?

BroadNet은 모델 하나, Qwen3-VL 30B A3B Instruct를 동시 요청 32개로 실행했을 때의 GPU별 합산 출력 처리량을 공개합니다.

GPU 계층 메모리 대역폭 합산 토큰/초
B300 데이터센터 8,000 GB/s 14,500
B200 데이터센터 8,000 GB/s 14,000
H200 데이터센터 4,800 GB/s 8,400
H100 데이터센터 3,350 GB/s 5,800
A100 80 GB 데이터센터 2,039 GB/s 3,500
RTX PRO 6000 Blackwell 워크스테이션 1,792 GB/s 3,100
RTX 3090 워크스테이션 936 GB/s 1,630
DGX Spark GB10 워크스테이션 273 GB/s 1,597
Radeon AI PRO R9700 워크스테이션 640 GB/s 1,087

BroadNet은 데이터센터 수치가 카드마다 직접 측정한 값이 아니라 “planning numbers from our measured per-GPU curve”(번역: 측정한 GPU별 곡선에서 도출한 계획용 수치)라고 밝힙니다. 대부분의 행은 디코딩에서 흔한 병목인 메모리 대역폭에 따라 올라가지만, 모두 그렇지는 않습니다. DGX Spark GB10(273 GB/s)은 RTX 3090(936 GB/s)과 거의 같고, Radeon AI PRO R9700(640 GB/s)은 둘 다보다 뒤처집니다.

BroadNet은 하드웨어에서 무엇을 배웠다고 하나요?

카탈로그에는 “measured on our own hardware”(번역: 자체 하드웨어에서 측정)라고 표시된 결과 여덟 가지가 나와 있습니다. API 구매자에게 가장 중요한 것은 다음과 같습니다.

  • CUDA와 ROCm. 같은 모델을 NVIDIA CUDA와 AMD ROCm에서 실행했을 때 CUDA가 메모리 대역폭을 약 두 배 더 토큰으로 바꿨고, BroadNet은 이에 맞춰 워크로드를 배치합니다.
  • 부하 상태의 추측 디코딩. EAGLE3는 동시 요청 32개에서 처리량의 69%를 잃었기 때문에, BroadNet은 다중 토큰 예측(MTP) 드래프터를 유지했습니다. Uno 서빙 연구는 다른 방법에서 같은 효과를 측정합니다.
  • 서빙은 가중치만큼 중요합니다. 같은 Gemma 4 26B 가중치를 호스팅 제공업체가 서빙했을 때 BroadNet이 “our own serving”(번역: 자체 서빙)이라고 부르는 환경보다 평균 0.13 낮은 점수를 받았습니다. BroadNet의 원칙은 도전 모델과 기준 모델을 같은 서빙 환경에 두고 비교하는 것입니다.
  • 활성 파라미터가 작은 모델이 이길 수 있습니다. 26B 전문가 혼합 모델은 활성 파라미터가 약 8분의 1이면서도 밀집 모델인 Gemma 4 31B를 파이프라인 6단계 중 5단계에서 앞섰습니다.
  • 한 파이프라인에서 프런티어 모델과 동등. 트레이스 240개의 블라인드 평가에서 BroadNet이 서빙한 Gemma 4는 측정한 6단계 중 5단계에서 Claude Sonnet과 대등했고, 단계별 응답은 1.2~6.5배 빨랐습니다.
  • 요청당 속도. BroadNet 측정에 따르면 Qwen3-VL 30B A3B는 BroadNet이 자체 서빙이라고 설명하는 환경에서 요청당 초당 36.5110토큰으로 실행되었고, BroadNet이 측정한 OpenRouter 제공업체 네 곳에서는 719토큰이었습니다.
  • 아키텍처가 모델 선택보다 중요합니다. 로컬 비전 모델 두 개의 판단이 엇갈린 어려운 세트에서, 호스팅된 판정 모델로 넘기자 정확도가 12개 중 1개에서 12개 중 11개로 올라갔습니다.

Sonnet 비교가 가장 강한 주장이지만 범위는 좁습니다. BroadNet Gemma 4 페이지에 따르면, 한 회사의 챗봇 파이프라인을 테넌트 11곳의 실제 운영 대화 240개로 심사자 세 명이 블라인드 평가한 결과입니다. Gemma 4가 일반적으로 Sonnet과 대등하다는 뜻은 아닙니다. BroadNet은 연구 페이지에 이 평가의 전체 보고서를 공개하지 않았습니다.

Gemma 4 모델은 어떻게 서빙되나요?

모델 페이지에 따르면 BroadNet의 Gemma 4 VL 26B는 서빙 선택을 가장 잘 보여 주는 사례입니다.

  • 가중치: Google의 Gemma 4 26B A4B를 BroadNet이 4비트 AWQ로 양자화했습니다. BroadNet은 NVFP4도 테스트했지만 직접 비교 후 폐기했습니다.
  • 디코딩: 드래프트 토큰 2개(k=2)의 다중 토큰 예측 추측 디코딩과 fp8 KV 캐시.
  • 템플릿: BroadNet이 대화형 워크플로에 맞춰 조정한 채팅 템플릿.
  • 복원력: 자동 장애 조치를 갖춘 핫 백업.
  • 결과: 단일 스트림에서 초당 약 136토큰, BroadNet 내부 품질 테스트에서 90.86점.

용어는 양자화와 추측 디코딩을 참고하세요.

사용자에게는 어떤 의미인가요?

종량제 사용자에게 BroadNet의 서빙 선택은 공개된 속도(플랜 모델 기준 일반적으로 초당 약 100토큰)와 한도(키당 분당 요청 30개, 동시 처리 요청 4개)로 나타납니다. BroadNet 약관에 따르면 셀프서비스에는 가용성 약정이 없으며, 서비스 수준은 서면 계약이 있을 때만 적용됩니다. 다른 제공업체의 SLA 비교를 참고하세요.

더 큰 수요에는 BroadNet이 예약 GPU 기반 전용 엔드포인트(모델, 키, 한도, 리전 선택)와 같은 스택의 온프레미스 어플라이언스를 제공합니다. 직접 GPU를 임차하는 것과 비교하고 있다면 자체 호스팅과 API 비용 가이드에서 계산해 볼 수 있으며, BroadNet이 탈락시킨 모델은 BroadNet이 서빙할 모델을 어떻게 골랐는지 보여 줍니다.

자주 묻는 질문

BroadNet은 자체 GPU를 운영하나요?

BroadNet은 자체 NVIDIA 및 AMD GPU 플릿을 운영한다고 밝힙니다. 개인정보 처리방침에 따르면 자체 모델과 BroadNet이 호스팅하는 오픈 웨이트 모델은 미국에 있는 BroadNet 소유 또는 임차 하드웨어에서 실행되며, 파트너 용량을 백업으로 둡니다. DeepSeek V4.1 Flash처럼 파트너가 서빙하는 모델은 미국 추론 파트너에서 실행됩니다.

공개 API는 어떤 GPU에서 서빙되나요?

BroadNet 카탈로그는 "the always-on public API"(상시 가동 공개 API)를 워크스테이션 계층(RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700)에 둡니다. Gemma 4 페이지는 핫 백업을 갖춘 NVIDIA Blackwell급 GPU를 명시합니다.

공개된 가동 시간 SLA가 있나요?

셀프서비스에는 없습니다. BroadNet 서비스 약관에 따르면 셀프서비스에는 가용성 약정이 없으며, 서비스 수준은 전용 엔드포인트 계약처럼 별도의 서면 계약이 있을 때만 적용됩니다.

전용 GPU를 받을 수 있나요?

네. BroadNet은 예약된 GPU나 노드에서 원하는 모델, 자체 키와 한도, 필요한 리전으로 전용 엔드포인트를 제공합니다. 가격은 트래픽에 맞춰 문의 시 제공됩니다.

BroadNet이 우리 회사 현장에서 모델을 실행할 수 있나요?

BroadNet에 따르면 고객사 현장 계층은 온프레미스 및 에어갭 배포를 위해 DGX Spark GB10과 소형 AMD 어플라이언스에서 같은 스택을 실행합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기