LlamaIndex ialah rangka kerja Python untuk RAG dan ejen. Untuk mana-mana API serasi OpenAI yang bukan OpenAI sendiri, ia menyediakan kelas OpenAILike. BroadNet Inference menyediakan chat completions standard di https://inference.broadnet.ai/v1. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut rujukan API LlamaIndex untuk llama-index-llms-openai-like 0.9.0.
Pasang
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
Sambung dan uji
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
Jika jawapan dicetak, kunci, URL dan ID model anda berfungsi.
Empat tetapan yang penting
| Parameter | Tetapkan kepada | Lalai jika tidak ditetapkan |
|---|---|---|
is_chat_model |
True |
False, yang menggunakan endpoint completions lama; BroadNet menyediakan chat completions |
context_window |
Konteks sebenar model | 3,900 token |
is_function_calling_model |
True hanya untuk GLM 5.3 atau Qwen3.8 27B |
False |
max_tokens |
1,000 atau lebih | None (tidak dihantar, jadi pelayan yang menentukan) |
is_chat_model paling penting. Rujukan API menyatakan ia “controls whether the model uses the chat or completion endpoint” (Terjemahan BroadRouter: mengawal sama ada model menggunakan endpoint chat atau completion) dan lalainya false. Dokumentasi BroadNet menyenaraikan /v1/chat/completions, bukan endpoint completions yang lebih lama.
Guna di seluruh aplikasi
from llama_index.core import Settings
Settings.llm = llm
Enjin pertanyaan, enjin chat dan ejen kemudian menggunakan BroadNet. Embeddings berasingan: rujukan API BroadNet tidak menyenaraikan endpoint embeddings, jadi kekalkan model embedding lain untuk pengindeksan.
Tetingkap konteks
| Model | ID | context_window |
Alatan |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | Ya |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | Tidak disenaraikan |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | Ya |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | Tidak disenaraikan |
Konteks 1M token membolehkan enjin pertanyaan menghantar lebih banyak cebisan yang diambil bagi setiap panggilan. Itu tidak semestinya lebih baik; lihat long context vs RAG.
Penyelesaian masalah
- 401. Kunci salah, telah tamat tempoh atau kehabisan elaun.
- 404.
api_basemesti berakhir dengan/v1, danis_chat_modelmestiTrue. Kemudian semak ID model. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputibroadnet/gemma-4-26b-a4bdan dua model Transcribe. - Jawapan kosong. Penaakulan menghabiskan bajet output. Naikkan
max_tokens. Mengapa jawapan kosong. - Ejen tidak pernah memanggil alatan. Tetapkan
is_function_calling_model=Truedan gunakanbroadnet/glm-5.3ataubroadnet/qwen3.8-27b. - 429 semasa ingestion atau pertanyaan kelompok. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. OpenAILike mencuba semula 3 kali secara lalai (
max_retries). Lihat ralat dan cuba semula.
