Haystack은 deepset이 만든 RAG 파이프라인 및 에이전트용 오픈 소스 프레임워크입니다. Haystack의 OpenAIChatGenerator는 api_base_url을 통해 어떤 OpenAI 호환 서버와도 통신합니다. BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 표준 chat completions를 제공하므로 이 컴포넌트를 쓰면 됩니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 Haystack 3.5 문서를 따릅니다.
설치
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
연결
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
model값은 그대로 전송됩니다.broadnet/접두사가 붙은 BroadNet ID를 쓰세요.- **
api_key**는 Haystack의Secret입니다. 지정하지 않으면 Haystack은OPENAI_API_KEY를 찾습니다. - **
generation_kwargs**는 chat completion 요청에 그대로 전달됩니다.max_tokens는 추론에 충분할 만큼 높게 잡으세요(아래 참고).
답변 스트리밍
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
이렇게 하면 Haystack은 stream: true와 stream_options.include_usage를 함께 보내므로, 토큰 사용량이 마지막 청크에 담겨 옵니다. BroadNet 문서도 같은 옵션을 설명합니다.
도구와 에이전트
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
BroadNet 문서는 도구와 구조화된 출력을 broadnet/glm-5.3, broadnet/qwen3.8-27b 두 모델에만 표기합니다. 엄격한 스키마를 직접 테스트하기 전까지는 tools_strict를 기본값 False로 두세요.
어떤 모델을 고를까
| 파이프라인 | 모델 |
|---|---|
| 에이전트와 도구 호출 | broadnet/glm-5.3 |
| 스캔한 페이지나 아랍어 텍스트 대상 RAG, 도구 사용 | broadnet/qwen3.8-27b |
| 정액 플랜에서 긴 컨텍스트 답변 | broadnet/deepseek-v4.1-flash |
| 무료 초기 크레딧으로 체험 | broadnet/gemma-4-26b-a4b (32,768 토큰 컨텍스트) |
검색해 온 컨텍스트는 클 수 있습니다. GLM 5.3과 DeepSeek V4.1 Flash는 1,048,576 토큰의 컨텍스트를 받지만, Gemma의 32,768 토큰은 금방 찹니다. 모든 모델의 가격을 확인하세요.
테스트 방법
2026-11-15에 깨끗한 가상 환경에 haystack-ai 3.5.0을 설치하고, 위의 기본, 스트리밍, 도구, Agent 예제를 BroadNet의 chat completions 형식을 흉내 내는 로컬 모의 서버에 대고 실행했습니다. 기록된 요청을 확인해 보니 모두 /v1/chat/completions로 갔고, 모델 ID는 바뀌지 않았으며, Bearer 키, generation_kwargs에서 온 max_tokens, 그리고 도구 예제에서는 함수 스키마가 포함되었습니다. Haystack은 n: 1도 함께 보냅니다. BroadNet 키가 없었기 때문에 실제 모델 출력은 테스트하지 않았습니다.
문제 해결
- 401. 키가 틀렸거나 만료되었거나 사용 가능 금액이 소진되었습니다. 또는 파이프라인을 실행하는 프로세스에
BROADNET_API_KEY가 설정되지 않았습니다. - 404.
api_base_url은/v1로 끝나야 하고, 모델 ID는 BroadNet ID와 정확히 일치해야 합니다. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)으로는broadnet/gemma-4-26b-a4b모델과 Transcribe 모델 두 개만 쓸 수 있습니다. - 빈 응답. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며, 그 추론도
max_tokens에 포함됩니다. 값을 늘리세요. 답변이 비어서 오는 이유를 참고하세요. - 일괄 색인이나 평가 중 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 생성기의
max_retries를 쓰고 오류와 재시도를 참고하세요.
