BroadRouter

Memakai LlamaIndex dengan BroadNet Inference lewat OpenAILike

Diperbarui

Instal llama-index-llms-openai-like dan buat OpenAILike dengan model berisi ID BroadNet seperti broadnet/glm-5.3, api_base https://inference.broadnet.ai/v1, kunci BroadNet Anda, context_window sesuai konteks asli model, is_chat_model=True, dan is_function_calling_model=True hanya untuk GLM 5.3 atau Qwen3.8 27B. Jadikan Settings.llm agar dipakai di seluruh aplikasi.

LlamaIndex adalah framework Python untuk RAG dan agen. Untuk setiap API kompatibel OpenAI yang bukan OpenAI itu sendiri, LlamaIndex menyediakan class OpenAILike. BroadNet Inference menyajikan chat completions standar di https://inference.broadnet.ai/v1. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti referensi API LlamaIndex untuk llama-index-llms-openai-like 0.9.0.

Instalasi

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

Hubungkan dan uji

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

Jika sebuah jawaban tercetak, berarti kunci, URL, dan ID model sudah berfungsi.

Empat pengaturan yang penting

Parameter Isi dengan Default jika tidak diisi
is_chat_model True False, yang memakai endpoint completions lama; BroadNet menyajikan chat completions
context_window Konteks asli model 3.900 token
is_function_calling_model True hanya untuk GLM 5.3 atau Qwen3.8 27B False
max_tokens 1.000 atau lebih None (tidak dikirim, jadi server yang menentukan)

is_chat_model adalah yang paling penting. Referensi API menyebut parameter ini “controls whether the model uses the chat or completion endpoint” (terjemahan: menentukan apakah model memakai endpoint chat atau completion) dan default-nya false. Dokumentasi BroadNet mencantumkan /v1/chat/completions, bukan endpoint completions yang lebih lama.

Pakai di seluruh aplikasi

from llama_index.core import Settings

Settings.llm = llm

Setelah itu, query engine, chat engine, dan agen memakai BroadNet. Embedding terpisah: referensi API BroadNet tidak mencantumkan endpoint embedding, jadi tetap pakai model embedding lain untuk indexing.

Context window

Model ID context_window Tools
GLM 5.3 broadnet/glm-5.3 1048576 Ya
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 Tidak dicantumkan
Qwen3.8 27B broadnet/qwen3.8-27b 262144 Ya
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 Tidak dicantumkan

Konteks 1M token memungkinkan query engine mengirim jauh lebih banyak chunk hasil retrieval per panggilan. Itu tidak selalu lebih baik; lihat long context vs RAG.

Pemecahan masalah

  • 401. Kuncinya salah, kedaluwarsa, atau jatahnya habis.
  • 404. api_base harus diakhiri /v1, dan is_chat_model harus True. Lalu periksa ID model. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b.
  • Jawaban kosong. Penalaran menghabiskan anggaran output. Naikkan max_tokens. Kenapa jawaban kembali kosong.
  • Agen tidak pernah memanggil tools. Atur is_function_calling_model=True dan pakai broadnet/glm-5.3 atau broadnet/qwen3.8-27b.
  • 429 saat ingestion atau query batch. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Secara default OpenAILike mencoba ulang 3 kali (max_retries). Lihat panduan error dan percobaan ulang.

Pertanyaan umum

Kenapa tidak memakai class OpenAI dari LlamaIndex dengan api_base lain?

Halaman OpenAI milik LlamaIndex sendiri menyarankan integrasi OpenAILike untuk setiap API kompatibel OpenAI yang bukan API resmi OpenAI. OpenAILike juga memungkinkan Anda menentukan sendiri context window dan dukungan tools.

Apa yang terjadi jika context_window tidak diisi?

Default OpenAILike adalah 3.900 token, jadi LlamaIndex memangkas prompt dan chunk hasil retrieval jauh di bawah kapasitas model BroadNet. Isi 1048576 untuk GLM 5.3 dan DeepSeek V4.1 Flash, atau 262144 untuk Qwen3.8 27B.

Bisakah FunctionAgent LlamaIndex memakai BroadNet?

Bisa, dengan is_function_calling_model=True pada model yang dicantumkan BroadNet dengan tools, yaitu GLM 5.3 atau Qwen3.8 27B. Biarkan False untuk DeepSeek V4.1 Flash, karena dokumentasi BroadNet tidak mencantumkan tool calling untuk model itu.

Apakah BroadNet menyediakan embedding untuk index LlamaIndex?

Referensi API BroadNet mencantumkan chat completions dan transkripsi audio, bukan embedding. Pakai model embedding terpisah untuk index, dan BroadNet untuk LLM-nya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity