LlamaIndex, RAG ve ajanlar için bir Python framework’üdür. OpenAI’nin kendisi olmayan her OpenAI uyumlu API için OpenAILike sınıfını sunar. BroadNet Inference standart chat completions isteklerini https://inference.broadnet.ai/v1 adresinde sunar. BroadRouter, BroadNet’in kendi sitesidir; bu rehber llama-index-llms-openai-like 0.9.0 için LlamaIndex API referansını izler.
Kurulum
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
Bağlanın ve test edin
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
Bir yanıt yazdırılırsa anahtar, URL ve model kimliği çalışıyor demektir.
Önemli dört ayar
| Parametre | Değeri | Ayarlamazsanız varsayılan |
|---|---|---|
is_chat_model |
True |
False; eski completions uç noktasını kullanır, BroadNet ise chat completions sunar |
context_window |
Modelin gerçek bağlamı | 3.900 token |
is_function_calling_model |
Yalnızca GLM 5.3 veya Qwen3.8 27B için True |
False |
max_tokens |
1.000 veya üzeri | None (gönderilmez, sunucu karar verir) |
En önemlisi is_chat_model ayarıdır. API referansı bu ayarın “controls whether the model uses the chat or completion endpoint” (çeviri: modelin chat uç noktasını mı yoksa completion uç noktasını mı kullanacağını belirler) olduğunu ve varsayılanının false olduğunu söyler. BroadNet’in belgeleri eski completions uç noktasını değil, /v1/chat/completions uç noktasını listeler.
Uygulamanın tamamında kullanın
from llama_index.core import Settings
Settings.llm = llm
Bundan sonra sorgu motorları, sohbet motorları ve ajanlar BroadNet’i kullanır. Embedding’ler ayrıdır: BroadNet’in API referansı bir embedding uç noktası listelemez; indeksleme için farklı bir embedding modeli kullanmaya devam edin.
Bağlam pencereleri
| Model | Kimlik | context_window |
Araçlar |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | Evet |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | Listelenmemiş |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | Evet |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | Listelenmemiş |
1M token bağlam, bir sorgu motorunun her çağrıda çok daha fazla getirilmiş parça iletmesine olanak tanır. Bu her zaman daha iyi değildir; bkz. uzun bağlam mı RAG mı.
Sorun giderme
- 401. Anahtar yanlış, süresi dolmuş veya kullanım hakkı tükenmiş.
- 404.
api_base/v1ile bitmeli veis_chat_modelTrueolmalıdır. Ardından model kimliğini kontrol edin. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredi yalnızcabroadnet/gemma-4-26b-a4bmodelini kapsar. - Boş yanıtlar. Akıl yürütme çıktı bütçesini tüketti.
max_tokensdeğerini artırın. Yanıtlar neden boş geliyor. - Ajan hiç araç çağırmıyor.
is_function_calling_model=Trueayarlayın vebroadnet/glm-5.3veyabroadnet/qwen3.8-27bkullanın. - Veri alımı (ingestion) veya toplu sorgular sırasında 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 işlemdeki isteğe izin verir. OpenAILike varsayılan olarak 3 kez yeniden dener (
max_retries). Hatalar ve yeniden denemeler rehberine bakın.
