BroadRouter
시작하기

Haystack 파이프라인과 에이전트를 BroadNet Inference로 실행하기

업데이트

haystack-ai를 설치하고 OpenAIChatGenerator를 만들 때 api_base_url은 https://inference.broadnet.ai/v1, api_key는 BROADNET_API_KEY에서 읽는 Secret, model은 broadnet/glm-5.3 같은 BroadNet ID로 지정하세요. 이 생성기를 파이프라인이나 Haystack Agent에서 쓰면 됩니다. max_tokens는 generation_kwargs로 넘기고, 생성기에 도구를 붙일 때는 GLM 5.3이나 Qwen3.8 27B를 쓰세요.

Haystack은 deepset이 만든 RAG 파이프라인 및 에이전트용 오픈 소스 프레임워크입니다. Haystack의 OpenAIChatGenerator는 api_base_url을 통해 어떤 OpenAI 호환 서버와도 통신합니다. BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 표준 chat completions를 제공하므로 이 컴포넌트를 쓰면 됩니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 Haystack 3.5 문서를 따릅니다.

설치

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

연결

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model 값은 그대로 전송됩니다. broadnet/ 접두사가 붙은 BroadNet ID를 쓰세요.
  • **api_key**는 Haystack의 Secret입니다. 지정하지 않으면 Haystack은 OPENAI_API_KEY를 찾습니다.
  • **generation_kwargs**는 chat completion 요청에 그대로 전달됩니다. max_tokens는 추론에 충분할 만큼 높게 잡으세요(아래 참고).

답변 스트리밍

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

이렇게 하면 Haystack은 stream: true와 stream_options.include_usage를 함께 보내므로, 토큰 사용량이 마지막 청크에 담겨 옵니다. BroadNet 문서도 같은 옵션을 설명합니다.

도구와 에이전트

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

BroadNet 문서는 도구와 구조화된 출력을 broadnet/glm-5.3, broadnet/qwen3.8-27b 두 모델에만 표기합니다. 엄격한 스키마를 직접 테스트하기 전까지는 tools_strict를 기본값 False로 두세요.

어떤 모델을 고를까

파이프라인 모델
에이전트와 도구 호출 broadnet/glm-5.3
스캔한 페이지나 아랍어 텍스트 대상 RAG, 도구 사용 broadnet/qwen3.8-27b
정액 플랜에서 긴 컨텍스트 답변 broadnet/deepseek-v4.1-flash
무료 초기 크레딧으로 체험 broadnet/gemma-4-26b-a4b (32,768 토큰 컨텍스트)

검색해 온 컨텍스트는 클 수 있습니다. GLM 5.3과 DeepSeek V4.1 Flash는 1,048,576 토큰의 컨텍스트를 받지만, Gemma의 32,768 토큰은 금방 찹니다. 모든 모델의 가격을 확인하세요.

테스트 방법

2026-11-15에 깨끗한 가상 환경에 haystack-ai 3.5.0을 설치하고, 위의 기본, 스트리밍, 도구, Agent 예제를 BroadNet의 chat completions 형식을 흉내 내는 로컬 모의 서버에 대고 실행했습니다. 기록된 요청을 확인해 보니 모두 /v1/chat/completions로 갔고, 모델 ID는 바뀌지 않았으며, Bearer 키, generation_kwargs에서 온 max_tokens, 그리고 도구 예제에서는 함수 스키마가 포함되었습니다. Haystack은 n: 1도 함께 보냅니다. BroadNet 키가 없었기 때문에 실제 모델 출력은 테스트하지 않았습니다.

문제 해결

  • 401. 키가 틀렸거나 만료되었거나 사용 가능 금액이 소진되었습니다. 또는 파이프라인을 실행하는 프로세스에 BROADNET_API_KEY가 설정되지 않았습니다.
  • 404. api_base_url은 /v1로 끝나야 하고, 모델 ID는 BroadNet ID와 정확히 일치해야 합니다. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)으로는 broadnet/gemma-4-26b-a4b 모델과 Transcribe 모델 두 개만 쓸 수 있습니다.
  • 빈 응답. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며, 그 추론도 max_tokens에 포함됩니다. 값을 늘리세요. 답변이 비어서 오는 이유를 참고하세요.
  • 일괄 색인이나 평가 중 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 생성기의 max_retries를 쓰고 오류와 재시도를 참고하세요.

자주 묻는 질문

Haystack에서 BroadNet URL은 어떤 파라미터로 지정하나요?

OpenAIChatGenerator의 api_base_url입니다. Haystack 문서는 이 파라미터를 커스텀 배포에 연결하는 방법으로 설명합니다. https://inference.broadnet.ai/v1로 설정하세요.

BroadNet에서 OpenAIResponsesChatGenerator를 써도 되나요?

아니요. 이 컴포넌트는 OpenAI의 Responses API를 호출하는데, BroadNet은 이 API를 표기하지 않습니다. chat completions를 호출하는 OpenAIChatGenerator를 쓰세요.

Haystack이 OPENAI_API_KEY가 없다며 실패하는 이유는 무엇인가요?

api_key의 기본값이 Secret.from_env_var("OPENAI_API_KEY")이기 때문입니다. api_key=Secret.from_env_var("BROADNET_API_KEY")를 넘기면 Haystack이 BroadNet 키를 읽습니다.

Haystack Agent가 BroadNet에서 도구를 호출할 수 있나요?

네. BroadNet이 도구를 표기한 모델인 GLM 5.3이나 Qwen3.8 27B를 쓰면 됩니다. 모의 서버 테스트에서 Agent는 chat completions로 도구 스키마를 보냈고 도구 호출을 돌려받았습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기