---
title: "LlamaIndex OpenAILike na may custom api_base | BroadRouter"
description: "Ikonekta ang LlamaIndex sa BroadNet Inference sa OpenAILike class, at i-set nang tama ang api_base, context_window, is_chat_model at is_function_calling_model."
url: https://broadrouter.com/fil/guides/llamaindex-openailike/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/guides/llamaindex-openailike/) (na-update noong 2026-11-16).

# LlamaIndex at BroadNet Inference gamit ang OpenAILike

Na-update 2026-11-16

I-install ang llama-index-llms-openai-like at gumawa ng OpenAILike na may model na BroadNet ID gaya ng broadnet/glm-5.3, api\_base na https://inference.broadnet.ai/v1, ang BroadNet key mo, context\_window na totoong context ng model, is\_chat\_model=True, at is\_function\_calling\_model=True para sa GLM 5.3 o Qwen3.8 27B lang. I-set ito bilang Settings.llm para magamit kahit saan.

Python framework ang LlamaIndex para sa RAG at mga agent. Para sa anumang OpenAI-compatible na API na hindi mismo OpenAI, mayroon itong `OpenAILike` class. Nagse-serve ang BroadNet Inference ng karaniwang chat completions sa `https://inference.broadnet.ai/v1`. Ang BroadRouter ay sariling site ng BroadNet; sinusundan nito ang LlamaIndex API reference para sa `llama-index-llms-openai-like` 0.9.0.

## I-install

```bash
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
```

## Ikonekta at subukan

```python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))
```

Kapag may na-print na sagot, gumagana ang key, URL at model ID.

## Ang apat na setting na mahalaga

| Parameter | I-set sa | Default kapag hindi sinet |
| --- | --- | --- |
| `is_chat_model` | `True` | `False`, na gumagamit ng lumang completions endpoint; chat completions ang sine-serve ng BroadNet |
| `context_window` | Ang totoong context ng model | 3,900 token |
| `is_function_calling_model` | `True` para sa GLM 5.3 o Qwen3.8 27B lang | `False` |
| `max_tokens` | 1,000 o higit pa | None (hindi ipinapadala, kaya ang server ang magpapasya) |

Ang `is_chat_model` ang pinakamahalaga. Sabi ng API reference, “controls whether the model uses the chat or completion endpoint” (Salin ng BroadRouter: kinokontrol kung chat o completion endpoint ang gagamitin ng model), at false ang default nito. `/v1/chat/completions` ang nakalista sa docs ng BroadNet, hindi ang lumang completions endpoint.

## Gamitin sa buong app

```python
from llama_index.core import Settings

Settings.llm = llm
```

Sa BroadNet na tatakbo ang mga query engine, chat engine at agent. Hiwalay ang embeddings: walang embeddings endpoint sa API reference ng BroadNet, kaya gumamit ng ibang embedding model para sa indexing.

## Mga context window

| Model | ID | `context_window` | Tools |
| --- | --- | --- | --- |
| GLM 5.3 | `broadnet/glm-5.3` | 1048576 | Oo |
| DeepSeek V4.1 Flash | `broadnet/deepseek-v4.1-flash` | 1048576 | Hindi nakalista |
| Qwen3.8 27B | `broadnet/qwen3.8-27b` | 262144 | Oo |
| BroadNet Gemma 4 VL 26B | `broadnet/gemma-4-26b-a4b` | 32768 | Hindi nakalista |

Sa 1M-token na context, mas maraming retrieved chunk ang kayang ipasa ng isang query engine kada tawag. Hindi laging mas mabuti iyon; tingnan ang [long context vs RAG](https://broadrouter.com/fil/blog/long-context-vs-rag/).

## Troubleshooting

-   **401.** Mali ang key, expired na, o ubos na ang allowance nito.
-   **404.** Dapat nagtatapos sa `/v1` ang `api_base`, at dapat `True` ang `is_chat_model`. Saka suriin ang model ID. Kailangan ng top-up para sa mga bayad na model; ang `broadnet/gemma-4-26b-a4b` at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
-   **Walang lamang sagot.** Naubos sa reasoning ang output budget. Taasan ang `max_tokens`. [Bakit walang laman ang mga sagot](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/).
-   **Hindi kailanman tumatawag ng tools ang agent.** I-set ang `is_function_calling_model=True` at gamitin ang `broadnet/glm-5.3` o `broadnet/qwen3.8-27b`.
-   **429 habang nag-i-ingest o nagba-batch query.** Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Nagre-retry ang OpenAILike nang 3 beses bilang default (`max_retries`). Tingnan ang [errors and retries](https://broadrouter.com/fil/guides/errors-and-retries/).

## Mga termino sa gabay na ito

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[Embeddings](https://broadrouter.com/fil/glossary/embeddings/)

Ang embeddings ay mga listahan ng floating-point na numero (vector) na binubuo ng isang model para kumatawan sa isang piraso ng text, larawan o ibang input. Magkakalapit ang vector ng mga input na magkatulad ang kahulugan, kaya magagamit ang layo ng mga vector para i-rank ang search results, i-cluster ang mga dokumento o hanapin ang magkakaugnay na item.

[AI agent](https://broadrouter.com/fil/glossary/agent/)

Ang AI agent ay isang system kung saan ang language model mismo ang nagdidirekta ng mga hakbang nito tungo sa isang layunin: pinipili nito kung aling tools ang tatawagin, binabasa ang mga resulta at umuulit hanggang makabuo ng huling sagot o maabot ang limit. Workflow naman ang karaniwang tawag sa fixed na script na tumatawag sa model sa takdang punto.

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[Pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/)

Ang pay-as-you-go ay paraan ng pagpepresyo kung saan ang nagamit mo lang ang binabayaran mo, sinusukat kada yunit gaya ng token, request o minuto ng audio, nang walang subscription o minimum na commitment. Ganito naniningil ang karamihan ng LLM API, mula sa prepaid na balance o sa pana-panahong invoice.

[Chat Completions API](https://broadrouter.com/fil/glossary/chat-completions-api/)

Ang Chat Completions API ay HTTP endpoint ng OpenAI, POST /v1/chat/completions, na tumatanggap ng pangalan ng model at listahan ng mga message na may role, at ibinabalik ang susunod na message ng model. Ang hugis ng request at response nito ang naging karaniwang format na ginagamit din ng mga OpenAI-compatible na provider at SDK.

[Tool calling (function calling)](https://broadrouter.com/fil/glossary/tool-calling/)

Ang tool calling, tinatawag ding function calling, ay feature ng LLM API kung saan nagbabalik ang model ng structured na request para magpatakbo ng function na tinukoy ng developer, kasama ang JSON arguments. Ang application ang nagpapatakbo ng function at nagpapadala pabalik ng resulta; hindi kailanman nagpapatakbo ng code ang model mismo.

[Concurrency](https://broadrouter.com/fil/glossary/concurrency/)

Ang concurrency ay ang bilang ng request na sabay-sabay na in flight mula sa isang client. Madalas itong nililimitahan ng mga LLM API kada key o plan, hiwalay sa requests per minute, dahil humahawak ng GPU capacity ang bawat bukas na request hanggang matapos ang response nito.

## Mga tanong

### Bakit hindi na lang gamitin ang OpenAI class ng LlamaIndex na may ibang api\_base?

Sinasabi mismo ng OpenAI page ng LlamaIndex na gamitin ang OpenAILike integration para sa anumang OpenAI-compatible na API na hindi ang opisyal na OpenAI API. Hinahayaan ka rin ng OpenAILike na ikaw mismo ang magdeklara ng context window at tool support.

### Ano ang mangyayari kung hindi ko ilalagay ang context\_window?

3,900 token ang default ng OpenAILike, kaya pinuputol ng LlamaIndex ang mga prompt at retrieved chunk nang mas maliit nang husto kaysa sa kayang tanggapin ng mga model ng BroadNet. I-set ang 1048576 para sa GLM 5.3 at DeepSeek V4.1 Flash, o 262144 para sa Qwen3.8 27B.

### Puwede bang gamitin ng LlamaIndex FunctionAgent ang BroadNet?

Oo, kung is\_function\_calling\_model=True at ang model ay may tools sa listahan ng BroadNet, GLM 5.3 o Qwen3.8 27B. Iwanang False para sa DeepSeek V4.1 Flash, na walang tool calling sa docs ng BroadNet.

### May embeddings ba ang BroadNet para sa isang LlamaIndex index?

Chat completions at audio transcriptions ang nakalista sa API reference ng BroadNet, hindi embeddings. Gumamit ng hiwalay na embedding model para sa index at ng BroadNet para sa LLM.

## Mga kaugnay na gabay

-   [Paano gamitin ang LangChain sa BroadNet Inference](https://broadrouter.com/fil/guides/langchain-openai-base-url/)
-   [Pydantic AI sa BroadNet Inference (OpenAICompatibleProvider)](https://broadrouter.com/fil/guides/pydantic-ai-openai-compatible/)
-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)
-   [Bakit walang laman ang sagot ng isang reasoning model](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/)
-   [Lahat ng tool na gumagana sa BroadNet Inference (Ingles)](https://broadrouter.com/integrations/): mga SDK, coding agent, chat UI at automation tool, kasama ang eksaktong setting ng bawat isa

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-guides-llamaindex-openailike&utm_content=page-cta) ·

**Mga source**

-   [LlamaIndex API reference, OpenAILike (sinuri noong 2026-11-15)](https://developers.llamaindex.ai/python/framework-api-reference/llms/openai_like/)
-   [LlamaIndex docs, halimbawa ng OpenAILike (page ng Grok integration) (sinuri noong 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/grok/)
-   [LlamaIndex docs, page ng OpenAI LLM (itinuturo ang mga compatible na API sa OpenAILike) (sinuri noong 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/openai/)
-   [PyPI, llama-index-llms-openai-like 0.9.0, Python 3.11+ (sinuri noong 2026-11-15)](https://pypi.org/project/llama-index-llms-openai-like/)
-   [Source ng LlamaIndex, default ng max\_tokens at payload ng OpenAI LLM (sinuri noong 2026-11-16)](https://github.com/run-llama/llama_index/blob/main/llama-index-integrations/llms/llama-index-llms-openai/llama_index/llms/openai/base.py)
-   [API reference ng BroadNet Inference (sinuri noong 2026-11-15) (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-guides-llamaindex-openailike&utm_content=sources)
