BroadRouter
시작하기

OpenAI-API-compatible 플러그인으로 Dify에 BroadNet Inference 추가하기

업데이트

Dify의 Integrations > Model Provider에서 OpenAI-API-compatible 플러그인을 설치하고 Add Model을 클릭하세요. 유형은 LLM으로 고르고 broadnet/glm-5.3 같은 BroadNet 모델 ID, BroadNet 키, API Base URL https://inference.broadnet.ai/v1을 입력합니다. Completion mode는 Chat, 컨텍스트 크기는 실제 값, 출력 한도는 추론할 여유가 있게 잡고, Tool Call은 GLM 5.3이나 Qwen3.8 27B에서만 선택하세요.

Dify는 LLM 앱과 워크플로를 만드는 오픈 소스 플랫폼입니다. Dify가 이름으로 지원하지 않는 제공업체는 Dify 팀(langgenius)이 배포하는 OpenAI-API-compatible 모델 제공자 플러그인으로 추가합니다. BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 표준 chat completions를 제공하므로 이 플러그인에 맞습니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 아래 필드 이름은 플러그인 버전 0.0.83 기준입니다.

설정

  1. 키를 받습니다. BroadNet 콘솔에서 종량제 키를 만드세요.

  2. 플러그인을 설치합니다. Dify에서 Integrations > Model Provider로 이동해 설치 가능한 제공자 목록에서 OpenAI-API-compatible을 찾거나 Marketplace에서 열고 설치하세요. 워크스페이스 소유자나 관리자여야 합니다.

  3. 모델을 추가합니다. 제공자 카드에서 Add Model을 클릭하고 다음과 같이 입력하세요.

    필드 값
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key BroadNet 키
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. 저장합니다. Dify는 모델을 추가하기 전에 자격 증명을 확인합니다.

  5. 테스트합니다. Chatbot 앱을 만들고 모델 선택기에서 GLM 5.3 (BroadNet) 모델을 고른 뒤 미리보기 창에서 메시지를 보내 보세요.

쓰고 싶은 BroadNet 모델마다 Add Model을 반복하세요. 모델 이름은 broadnet/ 접두사까지 포함해 BroadNet ID와 정확히 같아야 합니다.

모델별 입력값

Model Name 컨텍스트 크기 Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support (테스트하지 않음) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

이렇게 고른 이유는 다음과 같습니다.

  • 컨텍스트 크기는 플러그인 기본값이 4,096입니다. 그대로 두면 Dify가 메모리와 검색된 컨텍스트를 모델이 받을 수 있는 양보다 훨씬 적게 잘라 냅니다.
  • Upper bound for max tokens도 기본값이 4,096입니다. 네 모델 중 세 개는 답하기 전에 추론하며 추론도 이 한도에 포함되므로 여유를 주세요. 16,000은 저희 제안값이며 BroadNet의 한도가 아닙니다.
  • Token parameter name을 max_tokens로 설정하면 BroadNet API 레퍼런스의 필드와 일치합니다. 플러그인 기본값은 모델 이름으로 추측하는 방식입니다.
  • API Type은 Chat Completions로 둡니다. BroadNet은 Responses API를 제공한다고 표기하지 않습니다.

음성 전사

이 플러그인으로 음성 인식(speech-to-text) 모델도 추가할 수 있습니다. BroadNet은 /v1/audio/transcriptions에서 아랍어용 broadnet/cohere-transcribe-arabic 모델과 14개 언어용 broadnet/cohere-transcribe 모델을 제공합니다. 플러그인 README에 따르면 speech-to-text에서는 플러그인이 버전 경로를 직접 붙이므로, 예제는 /v1 없이 호스트만 씁니다(여기서는 https://inference.broadnet.ai). 저희는 이 경로를 Dify에서 테스트하지 않았으니, 먼저 짧은 WAV 파일로 확인하세요. 아랍어 음성 인식 가이드를 참고하세요.

문제 해결

  • 자격 증명 확인이 실패함. 키, API Base URL(LLM이라면 /v1로 끝남), 모델 이름을 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은 broadnet/gemma-4-26b-a4b 모델과 Transcribe 모델 두 개에만 쓸 수 있습니다.
  • 워크플로에서 빈 답변이 나옴. LLM 노드의 max tokens가 추론 모델에 비해 너무 낮습니다. 값을 늘리세요. 답변이 비어서 오는 이유를 참고하세요.
  • Agent 노드가 도구를 호출하지 않음. Function Call Type을 Tool Call로 설정한 GLM 5.3이나 Qwen3.8 27B를 쓰세요.
  • 부하가 걸리면 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 병렬 브랜치와 반복(iteration) 노드는 이를 넘길 수 있으니 병렬 수준을 낮추세요. 오류와 재시도를 참고하세요.

자주 묻는 질문

셀프 호스팅 Dify뿐 아니라 Dify Cloud에서도 BroadNet을 쓸 수 있나요?

네. BroadNet Inference는 공개 HTTPS 엔드포인트이므로 Dify Cloud에서도 접근할 수 있습니다. Dify 문서에 따르면 모델 제공자는 워크스페이스 소유자와 관리자만 관리할 수 있고, 추가한 키는 워크스페이스 전체에서 작동합니다.

API Base URL에 /v1을 넣어야 하나요?

LLM 모델이라면 넣어야 합니다. 플러그인 자체 예제도 채팅 모델에는 /v1로 끝나는 Base URL을 쓰며, README는 일부 다른 모델 유형에서는 플러그인이 버전 경로를 직접 붙인다고 경고합니다.

Function Call Type은 무엇을 골라야 하나요?

BroadNet이 도구 지원을 표기한 GLM 5.3과 Qwen3.8 27B에는 Tool Call을 고르세요. DeepSeek V4.1 Flash는 직접 도구 호출을 테스트해 보지 않았다면 Not Support를 고르세요.

Dify AI 크레딧을 BroadNet 모델에 쓸 수 있나요?

아니요. Dify 문서에 따르면 AI 크레딧은 본인 계정으로 연결한 제공자에는 적용되지 않습니다. 요금은 입력한 키를 기준으로 BroadNet이 청구합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기