---
title: "Apakah itu penghala LLM? Agregator, gateway dan penghalaan"
description: "Penghala LLM memilih model atau penyedia yang melayan setiap permintaan. Cara agregator dihoskan, gateway hos sendiri dan penghala pemilih model berfungsi."
url: https://broadrouter.com/ms/glossary/llm-router/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/llm-router/) (dikemas kini 2026-11-16).

# Penghala LLM (LLM router)

Dikemas kini 2026-11-16

Penghala LLM ialah perisian atau perkhidmatan yang terletak di antara aplikasi dan satu atau lebih API model bahasa, dan memutuskan, bagi setiap permintaan, model atau penyedia mana yang mengendalikannya, menggunakan peraturan seperti kos, kependaman, ketersediaan atau jenis tugas.

Juga dikenali sebagai: LLM router, AI gateway, LLM gateway, gateway AI, model router, LLM aggregator, penghalaan LLM

Aplikasi yang bercakap dengan satu model tidak memerlukan penghala. Penghala muncul apabila pasukan menggunakan beberapa model atau penyedia dan mahukan satu tempat untuk memilih antara mereka.

## Cara ia berfungsi

Aplikasi menghantar permintaan gaya OpenAI kepada penghala. Penghala menggunakan peraturannya, memajukan permintaan ke backend, dan memulangkan jawapan dalam format yang sama. Terdapat tiga jenis yang lazim:

-   **Agregator dihoskan.** OpenRouter, sebagai contoh, menawarkan “hundreds of AI models through a single API endpoint” (Terjemahan BroadRouter: “ratusan model AI melalui satu endpoint API”) di `https://openrouter.ai/api/v1`, dengan fallback automatik. Anda memegang satu kunci dan satu bil; agregator memegang akaun dengan penyedia.
-   **Gateway hos sendiri.** LiteLLM Router berjalan dalam infrastruktur anda sendiri. Ia menyebarkan trafik merentas deployment (simple shuffle secara lalai, atau berasaskan kependaman, penggunaan atau kos), mencuba semula ralat had kadar dengan backoff eksponen, dan meletakkan deployment dalam cooldown selepas 429 atau kadar kegagalan yang tinggi.
-   **Penghala pemilih model.** Kajian seperti RouteLLM melatih pengelas yang menghantar prompt mudah kepada model lebih murah dan prompt sukar kepada model lebih kuat, untuk mengurangkan kos tanpa kehilangan kualiti.

Gateway hos sendiri dikonfigurasikan sebagai senarai backend. Entri LiteLLM ini menambah satu penyedia [serasi OpenAI](https://broadrouter.com/ms/glossary/openai-compatible-api/):

```yaml
model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
```

## Mengapa ia penting

-   **Kebolehpercayaan.** Penghala boleh beralih apabila satu penyedia memulangkan ralat 429 atau 5xx. Lihat [had kadar](https://broadrouter.com/ms/glossary/rate-limit/).
-   **Kos.** Menghantar prompt mudah kepada model lebih murah boleh mengurangkan bil.
-   **Satu integrasi.** Kod bercakap dengan satu [base URL](https://broadrouter.com/ms/glossary/base-url/) dan satu format kunci.

Komprominya nyata. Penghala menambah satu lompatan rangkaian. Penghala yang dihoskan ialah satu lagi pihak yang melihat prompt anda, jadi pengekalan data bergantung pada penghala dan penyedia yang dipilihnya. Model juga berbeza dari segi tokenizer, tingkah laku penaakulan dan sokongan parameter, jadi fallback senyap boleh mengubah jawapan.

## Di BroadNet Inference

BroadNet Inference bukan penghala. Ia ialah satu penyedia tunggal dengan satu [senarai model](https://broadrouter.com/ms/models/) yang ringkas di `https://inference.broadnet.ai/v1`; Terma BroadNet menyatakan model-modelnya berjalan pada perkakasan di AS yang dimiliki atau dipajak oleh BroadNet atau bersama rakan kongsi inferens di AS. Tiada penghalaan atau fallback automatik merentas penyedia. Anda memilih model dalam setiap permintaan, contohnya `broadnet/deepseek-v4.1-flash` atau `broadnet/glm-5.3`.

Oleh sebab API-nya serasi OpenAI, ia boleh diletakkan di belakang penghala sebagai satu backend. [Panduan proksi LiteLLM](https://broadrouter.com/ms/guides/litellm-proxy-custom-provider/) menunjukkan persediaannya. Untuk perbandingan antara penghala dan penyedia harga tetap, baca [alternatif OpenRouter untuk ejen](https://broadrouter.com/ms/blog/openrouter-alternative-flat-rate/). BroadNet tidak menyimpan prompt atau output; jika anda menambah penghala dihoskan di hadapan, semak juga [pengekalan data](https://broadrouter.com/ms/glossary/zero-data-retention/) penghala itu.

## Kesilapan biasa

-   Mencuba semula 401 atau 403 pada penyedia lain. Itu ralat kunci atau dasar; betulkannya dahulu. Lihat [ralat dan cubaan semula](https://broadrouter.com/ms/guides/errors-and-retries/).
-   Menganggap nama model boleh ditukar ganti. Uji setiap model fallback pada prompt anda sendiri.

## Soalan lazim

### Adakah penghala LLM sama dengan pengimbang beban?

Pengimbang beban ialah satu bahagian penghala. Penghala juga boleh memilih model lain untuk sesuatu tugas, beralih kepada penyedia lain selepas ralat, dan menterjemah antara format API. Pengimbang beban biasa hanya menyebarkan trafik merentas pelayan yang serupa.

### Adakah penghala menambah kependaman?

Biasanya sedikit, kerana permintaan melalui satu lompatan rangkaian tambahan dan penghala mungkin memeriksanya. Fallback boleh menambah lagi, kerana cubaan yang gagal berjalan dahulu sebelum cubaan semula. Ukur masa ke token pertama dengan dan tanpa penghala.

### Adakah BroadNet Inference penghala LLM?

Tidak. Walaupun nama laman ini begitu, BroadNet Inference ialah satu penyedia tunggal; Terma BroadNet menyatakan model-modelnya berjalan pada perkakasan di AS yang dimiliki atau dipajak oleh BroadNet atau bersama rakan kongsi inferens di AS. Anda memilih model dalam setiap permintaan. Anda boleh meletakkannya di belakang penghala sebagai salah satu penyedia.

## Lihat juga

-   [API serasi OpenAI (OpenAI-compatible API)](https://broadrouter.com/ms/glossary/openai-compatible-api/) (istilah)
-   [Base URL (URL asas)](https://broadrouter.com/ms/glossary/base-url/) (istilah)
-   [Had kadar (rate limit)](https://broadrouter.com/ms/glossary/rate-limit/) (istilah)
-   [Zero data retention (ZDR, tiada pengekalan data)](https://broadrouter.com/ms/glossary/zero-data-retention/) (istilah)
-   [Penyedia inferens (inference provider)](https://broadrouter.com/ms/glossary/inference-provider/) (istilah)
-   [Fallback model (model sandaran)](https://broadrouter.com/ms/glossary/model-fallback/) (istilah)
-   [Halakan LiteLLM ke BroadNet Inference (SDK dan proksi)](https://broadrouter.com/ms/guides/litellm-proxy-custom-provider/) (panduan)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/) (panduan)
-   [OpenRouter vs pelan kadar tetap untuk ejen AI: mana lebih murah?](https://broadrouter.com/ms/blog/openrouter-alternative-flat-rate/) (artikel)
-   [Beralih ke API serasi OpenAI: senarai semak migrasi](https://broadrouter.com/ms/blog/openai-compatible-api-migration-checklist/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-llm-router&utm_content=page-cta) ·

**Sumber**

-   [Quickstart OpenRouter (satu endpoint untuk banyak model)](https://openrouter.ai/docs/quickstart)
-   [Dokumentasi LiteLLM Router, load balancing, fallbacks dan cooldowns](https://docs.litellm.ai/docs/routing)
-   [RouteLLM: Learning to Route LLMs with Preference Data (arXiv:2406.18665)](https://arxiv.org/abs/2406.18665)
-   [Rujukan API BroadNet Inference (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-llm-router&utm_content=sources)
-   [Terma Perkhidmatan BroadNet, §2 pengehosan (disemak 2026-11-16) (Bahasa Inggeris)](https://www.broadnet.ai/terms)
