---
title: "Glosarium API LLM: token, konteks, router, dan harga"
description: "Definisi jelas untuk istilah yang Anda temui saat memanggil API LLM atau speech-to-text: token, jendela konteks, input cache, batas laju, dan zero data retention."
url: https://broadrouter.com/id/glossary/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Halaman-halaman ini diterjemahkan dari bahasa Inggris dengan bantuan AI. [Semua istilah dalam bahasa Inggris](https://broadrouter.com/glossary/) (129).

# Glosarium API LLM

Diperbarui 2026-11-16

Definisi singkat dan bersumber untuk istilah yang ditemui developer saat memanggil API LLM atau speech-to-text: apa itu token dan jendela konteks, bagaimana input cache dan paket tarif tetap mengubah tagihan, dan apa arti batas laju serta zero data retention dalam praktik.

[Agen AI (AI agent)](https://broadrouter.com/id/glossary/agent/)[Agen coding AI (AI coding agent)](https://broadrouter.com/id/glossary/coding-agent/)[AI multimodal (multimodal AI)](https://broadrouter.com/id/glossary/multimodal/)[Alih kode (code-switching)](https://broadrouter.com/id/glossary/code-switching/)[API kompatibel OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/)[Arabizi (Franco-Arabic)](https://broadrouter.com/id/glossary/arabizi/)[AWQ (activation-aware weight quantization)](https://broadrouter.com/id/glossary/awq/)[Bahasa Arab Standar Modern (MSA, Fusha)](https://broadrouter.com/id/glossary/msa/)[Base URL](https://broadrouter.com/id/glossary/base-url/)[Batch API](https://broadrouter.com/id/glossary/batch-api/)[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)[Benchmark LLM (LLM benchmark)](https://broadrouter.com/id/glossary/llm-benchmark/)[BM25](https://broadrouter.com/id/glossary/bm25/)[Byte pair encoding (BPE)](https://broadrouter.com/id/glossary/bpe/)[Chain-of-thought (CoT)](https://broadrouter.com/id/glossary/chain-of-thought/)[Character error rate (CER)](https://broadrouter.com/id/glossary/character-error-rate/)[Chat Completions API](https://broadrouter.com/id/glossary/chat-completions-api/)[Chat template](https://broadrouter.com/id/glossary/chat-template/)[Chunking (RAG)](https://broadrouter.com/id/glossary/chunking/)[Context compaction (pemadatan konteks)](https://broadrouter.com/id/glossary/context-compaction/)[Context engineering (rekayasa konteks)](https://broadrouter.com/id/glossary/context-engineering/)[Context rot (degradasi konteks)](https://broadrouter.com/id/glossary/context-rot/)[Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/)[Data processing agreement (DPA)](https://broadrouter.com/id/glossary/dpa/)[Data residency (residensi data)](https://broadrouter.com/id/glossary/data-residency/)[Deprecation model (model deprecation)](https://broadrouter.com/id/glossary/model-deprecation/)[Dialek bahasa Arab (dialectal Arabic)](https://broadrouter.com/id/glossary/dialectal-arabic/)[Distilasi (knowledge distillation)](https://broadrouter.com/id/glossary/distillation/)[Embeddings (vektor embedding)](https://broadrouter.com/id/glossary/embeddings/)[Eval (evaluasi LLM)](https://broadrouter.com/id/glossary/eval/)[Exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/)[Few-shot prompting](https://broadrouter.com/id/glossary/few-shot-prompting/)[Fine-tuning](https://broadrouter.com/id/glossary/fine-tuning/)[finish\_reason (alasan berhenti)](https://broadrouter.com/id/glossary/finish-reason/)[FP8](https://broadrouter.com/id/glossary/fp8/)[Frequency penalty dan presence penalty](https://broadrouter.com/id/glossary/frequency-and-presence-penalty/)[GDPR](https://broadrouter.com/id/glossary/gdpr/)[GGUF](https://broadrouter.com/id/glossary/gguf/)[GPU-hour (jam GPU)](https://broadrouter.com/id/glossary/gpu-hour/)[Grounding](https://broadrouter.com/id/glossary/grounding/)[Guardrails (pagar pengaman AI)](https://broadrouter.com/id/glossary/guardrails/)[Halusinasi AI (hallucination)](https://broadrouter.com/id/glossary/hallucination/)[Hamzah (hamza)](https://broadrouter.com/id/glossary/hamza/)[Harakat bahasa Arab (tashkeel)](https://broadrouter.com/id/glossary/arabic-diacritics/)[Hybrid search (pencarian hibrida)](https://broadrouter.com/id/glossary/hybrid-search/)[Idempotency key](https://broadrouter.com/id/glossary/idempotency-key/)[Identifikasi dialek Arab (dialect identification)](https://broadrouter.com/id/glossary/arabic-dialect-identification/)[INT4](https://broadrouter.com/id/glossary/int4/)[IP allow list (daftar IP yang diizinkan)](https://broadrouter.com/id/glossary/ip-allow-list/)[Jailbreak (LLM)](https://broadrouter.com/id/glossary/jailbreak/)[JSON mode (mode JSON)](https://broadrouter.com/id/glossary/json-mode/)[JSON Schema (skema JSON)](https://broadrouter.com/id/glossary/json-schema/)[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)[Kredit prabayar (prepaid credit)](https://broadrouter.com/id/glossary/prepaid-credit/)[Kuantisasi (quantization)](https://broadrouter.com/id/glossary/quantization/)[Kunci API (API key)](https://broadrouter.com/id/glossary/api-key/)[KV cache](https://broadrouter.com/id/glossary/kv-cache/)[Latensi (latency)](https://broadrouter.com/id/glossary/latency/)[Lisensi model (model license)](https://broadrouter.com/id/glossary/model-license/)[LLM router](https://broadrouter.com/id/glossary/llm-router/)[LLM-as-a-judge (LLM sebagai juri)](https://broadrouter.com/id/glossary/llm-as-judge/)[Logprobs (log probabilitas)](https://broadrouter.com/id/glossary/logprobs/)[LoRA (low-rank adaptation)](https://broadrouter.com/id/glossary/lora/)[Lost in the middle](https://broadrouter.com/id/glossary/lost-in-the-middle/)[max\_tokens](https://broadrouter.com/id/glossary/max-tokens/)[MCP (Model Context Protocol)](https://broadrouter.com/id/glossary/mcp/)[Mixture of experts (MoE)](https://broadrouter.com/id/glossary/mixture-of-experts/)[Model fallback](https://broadrouter.com/id/glossary/model-fallback/)[Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/)[Named entity recognition (NER, pengenalan entitas bernama)](https://broadrouter.com/id/glossary/named-entity-recognition/)[Normalisasi teks Arab (Arabic text normalization)](https://broadrouter.com/id/glossary/arabic-text-normalization/)[Normalisasi Unicode (Unicode normalization)](https://broadrouter.com/id/glossary/unicode-normalization/)[Ogg Opus](https://broadrouter.com/id/glossary/ogg-opus/)[Optical character recognition (OCR)](https://broadrouter.com/id/glossary/ocr/)[Output terstruktur (structured output)](https://broadrouter.com/id/glossary/structured-output/)[Paket LLM harga tetap (flat-rate)](https://broadrouter.com/id/glossary/flat-rate-llm-plan/)[Parallel tool calls (pemanggilan tool paralel)](https://broadrouter.com/id/glossary/parallel-tool-calls/)[Parameter seed](https://broadrouter.com/id/glossary/seed-parameter/)[PDPL (UU perlindungan data Arab Saudi dan UEA)](https://broadrouter.com/id/glossary/pdpl/)[Penyedia inferensi (inference provider)](https://broadrouter.com/id/glossary/inference-provider/)[PII (personally identifiable information)](https://broadrouter.com/id/glossary/pii/)[Prefill dan decode (fase inferensi LLM)](https://broadrouter.com/id/glossary/prefill-and-decode/)[Prompt engineering (rekayasa prompt)](https://broadrouter.com/id/glossary/prompt-engineering/)[Prompt injection (injeksi prompt)](https://broadrouter.com/id/glossary/prompt-injection/)[RAG (retrieval-augmented generation)](https://broadrouter.com/id/glossary/rag/)[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)[ReAct (reason and act)](https://broadrouter.com/id/glossary/react-agent/)[Request timeout (batas waktu permintaan)](https://broadrouter.com/id/glossary/request-timeout/)[Reranking (pemeringkatan ulang)](https://broadrouter.com/id/glossary/reranking/)[Sample rate (laju sampel)](https://broadrouter.com/id/glossary/sample-rate/)[Server-sent events (SSE)](https://broadrouter.com/id/glossary/sse/)[Serverless inference (inferensi serverless)](https://broadrouter.com/id/glossary/serverless-inference/)[Sistem multi-agen (multi-agent system)](https://broadrouter.com/id/glossary/multi-agent-system/)[SLA (service level agreement)](https://broadrouter.com/id/glossary/sla/)[Speaker diarization (diarisasi pembicara)](https://broadrouter.com/id/glossary/diarization/)[Speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/)[Speech-to-text (ucapan ke teks)](https://broadrouter.com/id/glossary/speech-to-text/)[Spend limit (batas pengeluaran)](https://broadrouter.com/id/glossary/spend-limit/)[Stop sequences (urutan henti)](https://broadrouter.com/id/glossary/stop-sequences/)[Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/)[Subagent (sub-agen)](https://broadrouter.com/id/glossary/subagent/)[Subprosesor (subprocessor)](https://broadrouter.com/id/glossary/subprocessor/)[Subtitle SRT](https://broadrouter.com/id/glossary/srt-subtitles/)[System prompt (prompt sistem)](https://broadrouter.com/id/glossary/system-prompt/)[Ta marbutah (taa marbuta, ة)](https://broadrouter.com/id/glossary/taa-marbuta/)[Teks right-to-left (RTL)](https://broadrouter.com/id/glossary/rtl-text/)[Temperature (suhu sampling)](https://broadrouter.com/id/glossary/temperature/)[Text-to-speech (TTS)](https://broadrouter.com/id/glossary/text-to-speech/)[Throughput](https://broadrouter.com/id/glossary/throughput/)[Time to first token (TTFT)](https://broadrouter.com/id/glossary/time-to-first-token/)[Timestamp (speech-to-text)](https://broadrouter.com/id/glossary/timestamps-asr/)[Token](https://broadrouter.com/id/glossary/token/)[Token gambar (image tokens)](https://broadrouter.com/id/glossary/image-tokens/)[Token input cache (cached input tokens)](https://broadrouter.com/id/glossary/cached-input-tokens/)[Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/)[Token penalaran (reasoning tokens)](https://broadrouter.com/id/glossary/reasoning-tokens/)[Token per detik (tokens per second, TPS)](https://broadrouter.com/id/glossary/tokens-per-second/)[Tokenizer](https://broadrouter.com/id/glossary/tokenizer/)[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)[tool\_choice](https://broadrouter.com/id/glossary/tool-choice/)[Top-p (nucleus sampling)](https://broadrouter.com/id/glossary/top-p/)[Ukuran kosakata (vocabulary size)](https://broadrouter.com/id/glossary/vocabulary-size/)[Vector database (basis data vektor)](https://broadrouter.com/id/glossary/vector-database/)[Vision-language model (VLM)](https://broadrouter.com/id/glossary/vision-language-model/)[vLLM](https://broadrouter.com/id/glossary/vllm/)[Voice activity detection (VAD)](https://broadrouter.com/id/glossary/vad/)[WAV](https://broadrouter.com/id/glossary/wav/)[Word error rate (WER)](https://broadrouter.com/id/glossary/word-error-rate/)[Zero data retention (ZDR)](https://broadrouter.com/id/glossary/zero-data-retention/)

## API dan integrasi

[Agen AI (AI agent)](https://broadrouter.com/id/glossary/agent/)

Agen AI adalah sistem di mana model bahasa mengarahkan langkahnya sendiri menuju suatu tujuan: model memutuskan tool mana yang dipanggil, membaca hasilnya, dan mengulanginya sampai menghasilkan jawaban akhir atau mencapai batas. Skrip tetap yang memanggil model di titik-titik tertentu biasanya disebut workflow.

[Agen coding AI (AI coding agent)](https://broadrouter.com/id/glossary/coding-agent/)

Agen coding AI adalah alat perangkat lunak di mana model bahasa bekerja pada codebase dalam sebuah loop: membaca file, mengeditnya, menjalankan perintah seperti tes, membaca output, dan memutuskan langkah berikutnya sampai tugas selesai atau batas tercapai.

[API kompatibel OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/)

API kompatibel OpenAI adalah API HTTP yang menerima format permintaan dan respons yang sama dengan API OpenAI, seperti POST /v1/chat/completions, sehingga SDK dan tool OpenAI bisa memakainya hanya dengan mengganti base URL, kunci API, dan nama model.

[Base URL](https://broadrouter.com/id/glossary/base-url/)

Base URL adalah alamat root tetap sebuah API, seperti https://api.example.com/v1, yang ditempatkan client di depan setiap path endpoint, seperti /chat/completions. Di SDK yang kompatibel dengan OpenAI, mengganti base URL bersama kunci API dan ID model akan mengarahkan kode yang sama ke penyedia lain.

[Batch API](https://broadrouter.com/id/glossary/batch-api/)

Batch API adalah endpoint LLM asinkron yang menerima banyak request sekaligus, biasanya sebagai file, memprosesnya dalam jangka waktu tertentu alih-alih seketika, lalu mengembalikan hasilnya bersama-sama. Penyedia seperti OpenAI dan Anthropic memberi harga request batch dengan diskon dibanding API standar mereka.

[BM25](https://broadrouter.com/id/glossary/bm25/)

BM25 (Okapi BM25) adalah fungsi ranking untuk pencarian kata kunci yang menilai dokumen berdasarkan seberapa sering istilah kueri muncul di dalamnya, seberapa langka istilah itu di seluruh koleksi, dan panjang dokumennya. BM25 adalah similarity default di Lucene dan Elasticsearch.

[Chat Completions API](https://broadrouter.com/id/glossary/chat-completions-api/)

Chat Completions API adalah endpoint HTTP milik OpenAI, POST /v1/chat/completions, yang menerima nama model dan daftar pesan bertanda peran lalu mengembalikan pesan berikutnya dari model. Bentuk request dan response-nya menjadi format umum yang dipakai ulang oleh penyedia dan SDK yang kompatibel dengan OpenAI.

[Chunking (RAG)](https://broadrouter.com/id/glossary/chunking/)

Chunking adalah langkah dalam pipeline retrieval yang memecah dokumen menjadi potongan lebih kecil, disebut chunk, sebelum di-embed dan diindeks. Chunk size menentukan berapa banyak teks di setiap potongan, dan chunk overlap mengulang sebagian teks di antara chunk yang berdekatan agar gagasan yang terpotong di batas tidak hilang.

[Deprecation model (model deprecation)](https://broadrouter.com/id/glossary/model-deprecation/)

Deprecation model adalah ketika penyedia API mengumumkan bahwa sebuah model tidak akan ditawarkan lagi, biasanya dengan menyebut tanggal pensiun atau shutdown dan model pengganti yang direkomendasikan. Setelah tanggal itu, request ke model tersebut gagal, sehingga aplikasi harus bermigrasi ke ID model lain sebelumnya.

[Exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/)

Exponential backoff adalah strategi percobaan ulang di mana client menunggu makin lama setelah setiap percobaan yang gagal, biasanya menggandakan jedanya sampai batas tertentu, sebelum mencoba lagi. Menambahkan jitter acak pada setiap jeda menyebarkan percobaan ulang dari banyak client agar tidak menghantam server pada saat yang sama.

[finish\_reason (alasan berhenti)](https://broadrouter.com/id/glossary/finish-reason/)

finish\_reason adalah field di setiap choice dalam respons chat completion yang menyebutkan alasan model berhenti menghasilkan teks. Dalam format OpenAI nilainya stop, length, tool\_calls, content\_filter, dan function\_call yang sudah usang. Messages API milik Anthropic melaporkan hal yang sama sebagai stop\_reason.

[Hybrid search (pencarian hibrida)](https://broadrouter.com/id/glossary/hybrid-search/)

Hybrid search adalah metode retrieval yang menjalankan pencarian kata kunci, seperti BM25, dan pencarian vektor atas embedding pada query yang sama, lalu menggabungkan kedua daftar peringkat menjadi satu, sering dengan reciprocal rank fusion (RRF) atau jumlah berbobot dari skor yang dinormalisasi.

[Idempotency key](https://broadrouter.com/id/glossary/idempotency-key/)

Idempotency key adalah nilai unik, biasanya ID acak seperti UUID, yang dilampirkan klien pada request yang mengubah state, misalnya pembayaran atau pembelian. Jika request yang sama dikirim lagi dengan key yang sama, server mengembalikan hasil aslinya alih-alih menjalankan aksi itu dua kali.

[JSON mode (mode JSON)](https://broadrouter.com/id/glossary/json-mode/)

JSON mode adalah pengaturan API LLM, yaitu response\_format {"type": "json\_object"} di API bergaya OpenAI, yang membuat balasan model berupa JSON yang valid dan bisa di-parse. Berbeda dengan structured outputs yang memakai JSON Schema, mode ini tidak menjamin key, tipe, atau nilai apa yang ada di objek.

[JSON Schema (skema JSON)](https://broadrouter.com/id/glossary/json-schema/)

JSON Schema adalah kosakata yang ditulis dalam JSON untuk mendeskripsikan dan memvalidasi struktur data JSON: tipe, field wajib, nilai yang diizinkan, dan susunan bertingkat. Versi terbarunya 2020-12. API LLM memakainya untuk mendefinisikan parameter tool dan bentuk persis yang harus diikuti output terstruktur.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Latensi (latency)](https://broadrouter.com/id/glossary/latency/)

Latensi, untuk API model bahasa, adalah waktu yang dibutuhkan sebuah permintaan sejak dikirim sampai token output terakhir diterima. Latensi adalah jumlah dari time to first token dan waktu generasi, dan biasanya dilaporkan sebagai persentil seperti p50 dan p95, bukan rata-rata.

[LLM router](https://broadrouter.com/id/glossary/llm-router/)

LLM router adalah software atau layanan yang berada di antara aplikasi dan satu atau lebih API model bahasa, lalu memutuskan untuk setiap request model atau penyedia mana yang menanganinya, berdasarkan aturan seperti biaya, latensi, ketersediaan, atau jenis tugas.

[MCP (Model Context Protocol)](https://broadrouter.com/id/glossary/mcp/)

MCP (Model Context Protocol) adalah protokol terbuka berbasis JSON-RPC 2.0 yang menstandarkan cara aplikasi LLM terhubung ke tool dan data eksternal. Server MCP menyediakan tools, resources, dan prompts; client MCP di dalam aplikasi host menemukannya dan meneruskan tool call dari model ke server.

[Model fallback](https://broadrouter.com/id/glossary/model-fallback/)

Model fallback adalah pola keandalan di mana request LLM yang gagal dicoba ulang pada model atau penyedia lain dari sebuah daftar berurutan. Pemicunya bisa berupa error, rate limit, error panjang konteks, atau penolakan kebijakan konten. Pola ini berjalan di klien Anda atau di gateway di depan API.

[Normalisasi Unicode (Unicode normalization)](https://broadrouter.com/id/glossary/unicode-normalization/)

Normalisasi Unicode mengubah teks ke bentuk standar sehingga string yang terlihat sama memakai code point yang sama. Ada empat bentuk: NFD, NFC, NFKD, dan NFKC; bentuk K juga menyatukan karakter kompatibilitas, seperti presentation form dan ligatur Arab, menjadi huruf biasa.

[Output terstruktur (structured output)](https://broadrouter.com/id/glossary/structured-output/)

Output terstruktur adalah fitur API LLM yang membatasi balasan model pada format yang ditentukan developer, biasanya JSON Schema, agar kode bisa mem-parse-nya dengan andal. Fitur ini lebih ketat daripada JSON mode, yang menjamin JSON valid tetapi tidak menjamin bentuk tertentu.

[Parallel tool calls (pemanggilan tool paralel)](https://broadrouter.com/id/glossary/parallel-tool-calls/)

Parallel tool calls adalah saat model mengembalikan lebih dari satu tool call dalam satu respons, misalnya membaca tiga file sekaligus. Dalam format OpenAI, panggilan ini datang sebagai beberapa entri di tool\_calls, dan parallel\_tool\_calls bernilai false membatasi model ke nol atau satu panggilan per giliran.

[Parameter seed](https://broadrouter.com/id/glossary/seed-parameter/)

Parameter seed adalah bilangan bulat yang Anda kirim bersama permintaan agar API berusaha mengambil sampel token yang sama saat permintaan yang sama diulang. OpenAI menyebutnya best effort: determinisme tidak dijamin, dan field system\_fingerprint menunjukkan kapan konfigurasi backend berubah.

[Penyedia inferensi (inference provider)](https://broadrouter.com/id/glossary/inference-provider/)

Penyedia inferensi adalah perusahaan yang menjalankan model machine learning, sering kali LLM open-weight, di GPU yang dimiliki, disewa jangka panjang, atau disewa per pemakaian, lalu menjual akses ke model itu lewat API, biasanya dihargai per token, per permintaan, atau per satuan waktu. Penyedia ini menangani penyajian, penskalaan, dan perangkat keras.

[RAG (retrieval-augmented generation)](https://broadrouter.com/id/glossary/rag/)

RAG (retrieval-augmented generation) adalah pola di mana aplikasi lebih dulu mengambil bagian teks yang relevan dengan pertanyaan dari penyimpanan eksternal, seperti indeks pencarian atau indeks vektor, lalu menambahkannya ke prompt agar model bahasa bisa menjawab berdasarkan teks itu, bukan hanya dari ingatannya.

[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

[ReAct (reason and act)](https://broadrouter.com/id/glossary/react-agent/)

ReAct (reason and act) adalah pola prompting yang diperkenalkan Yao dkk. pada 2022, di mana model bahasa menyelingi jejak penalaran dengan aksi seperti pencarian atau tool call. Model membaca setiap observasi, memperbarui rencananya, dan mengulanginya sampai bisa memberikan jawaban akhir.

[Request timeout (batas waktu permintaan)](https://broadrouter.com/id/glossary/request-timeout/)

Request timeout adalah waktu terlama sebuah client HTTP menunggu server sebelum membatalkan permintaan. Client biasanya membaginya menjadi connect timeout untuk membuka koneksi dan read timeout untuk menunggu data. Panggilan LLM memerlukan read timeout yang longgar karena jawaban panjang butuh waktu.

[Reranking (pemeringkatan ulang)](https://broadrouter.com/id/glossary/reranking/)

Reranking adalah tahap retrieval kedua di mana model yang lebih akurat tetapi lebih lambat, biasanya cross-encoder, menilai setiap pasangan query dan dokumen kandidat dari pencarian tahap pertama lalu mengurutkannya ulang, sehingga hanya beberapa yang paling relevan diteruskan ke model bahasa.

[Server-sent events (SSE)](https://broadrouter.com/id/glossary/sse/)

Server-sent events (SSE) adalah standar web yang memungkinkan server mengirim aliran event teks ke client melalui satu respons HTTP yang tetap terbuka lama, dengan content type text/event-stream. Setiap event terdiri dari satu atau beberapa baris field, seperti data:, dan diakhiri baris kosong.

[Serverless inference (inferensi serverless)](https://broadrouter.com/id/glossary/serverless-inference/)

Serverless inference adalah cara menjalankan model machine learning di mana platform otomatis memulai, menskalakan, dan menghentikan komputasi di balik sebuah endpoint, sering kali hingga nol saat tidak dipakai, dan menagih berdasarkan pemakaian, bukan mesin yang dipesan. Konsekuensinya adalah kemungkinan jeda cold start.

[Sistem multi-agen (multi-agent system)](https://broadrouter.com/id/glossary/multi-agent-system/)

Sistem multi-agen adalah aplikasi LLM di mana beberapa agen, masing-masing dengan prompt, tool, dan konteksnya sendiri, mengerjakan bagian-bagian dari satu tugas. Desain yang umum adalah orchestrator-worker: agen utama membuat rencana, menjalankan agen worker secara paralel, lalu menggabungkan hasilnya.

[SLA (service level agreement)](https://broadrouter.com/id/glossary/sla/)

SLA (service level agreement) adalah komitmen kontraktual penyedia atas tingkat layanan yang terukur, biasanya persentase uptime bulanan, dengan kompensasi yang ditetapkan, biasanya kredit layanan, jika target tidak tercapai. SLA menetapkan apa yang dihitung sebagai downtime, apa yang dikecualikan, dan cara mengajukan klaim.

[Stop sequences (urutan henti)](https://broadrouter.com/id/glossary/stop-sequences/)

Stop sequence adalah string yang Anda kirim bersama permintaan agar model berhenti menghasilkan teks begitu ia menulis salah satunya. OpenAI menamai field-nya stop dan menerima hingga 4 urutan; Anthropic menamainya stop\_sequences. Teks yang cocok biasanya tidak disertakan dalam output yang dikembalikan.

[Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/)

Streaming adalah cara mengembalikan respons model bahasa dalam potongan-potongan kecil selagi masih dihasilkan, bukan sebagai satu balasan utuh di akhir. API yang kompatibel dengan OpenAI melakukan streaming lewat server-sent events jika permintaan mengatur stream ke true.

[Subagent (sub-agen)](https://broadrouter.com/id/glossary/subagent/)

Subagent adalah agen terpisah yang dijalankan oleh agen utama untuk menangani satu tugas yang terfokus. Subagent berjalan dengan context window, system prompt, dan akses tool sendiri, mengerjakan tugasnya, lalu hanya mengembalikan hasil atau ringkasan ke agen utama, sehingga percakapan utama tetap ringkas.

[System prompt (prompt sistem)](https://broadrouter.com/id/glossary/system-prompt/)

System prompt adalah teks instruksi yang dikirim aplikasi ke model bahasa sebelum percakapan, biasanya sebagai pesan dengan peran system atau developer. System prompt menetapkan peran, aturan, gaya bahasa, dan format output model, dan model dirancang untuk mengikutinya di atas pesan pengguna yang bertentangan.

[Teks right-to-left (RTL)](https://broadrouter.com/id/glossary/rtl-text/)

Teks right-to-left (RTL) adalah tulisan, seperti bahasa Arab atau Ibrani, yang ditampilkan dari kanan ke kiri. Komputer menyimpannya dalam urutan baca logis, dan Unicode Bidirectional Algorithm menentukan urutan tampilan saat teks RTL bercampur dengan teks kiri-ke-kanan, angka, nama model, atau kode.

[Throughput](https://broadrouter.com/id/glossary/throughput/)

Throughput, dalam penyajian LLM, adalah jumlah total pekerjaan yang diselesaikan sebuah sistem per satuan waktu di semua permintaan yang berjalan bersamaan, biasanya diukur dalam token output per detik atau permintaan per detik. Ini berbeda dengan kecepatan per stream, yaitu seberapa cepat satu permintaan menerima token-tokennya.

[Time to first token (TTFT)](https://broadrouter.com/id/glossary/time-to-first-token/)

Time to first token (TTFT) adalah waktu sejak permintaan dikirim ke model bahasa sampai token output pertama tiba. TTFT mencakup waktu jaringan, antrean di server, dan prefill, yaitu tahap saat model membaca seluruh prompt, sehingga nilainya naik seiring panjang prompt dan beban server.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[tool\_choice](https://broadrouter.com/id/glossary/tool-choice/)

tool\_choice adalah parameter permintaan yang mengatur penggunaan tool. Di Chat Completions OpenAI, nilainya bisa auto (model yang memutuskan), required (wajib memanggil satu tool atau lebih), none (tanpa tool), atau nama fungsi tertentu yang dipaksakan. Opsi padanannya di Anthropic adalah auto, any, tool, dan none.

[Vector database (basis data vektor)](https://broadrouter.com/id/glossary/vector-database/)

Vector database adalah penyimpanan data yang menyimpan vektor embedding, sering kali bersama teks sumber dan metadatanya, dan menjawab query nearest-neighbour: untuk sebuah vektor query, ia mengembalikan vektor tersimpan yang paling mirip, biasanya berdasarkan cosine distance, jarak Euclidean, atau inner product.

## Model dan token

[AI multimodal (multimodal AI)](https://broadrouter.com/id/glossary/multimodal/)

AI multimodal adalah model atau sistem yang bekerja dengan lebih dari satu jenis data, seperti teks, gambar, video, dan audio. Model multimodal bisa membaca foto dan pertanyaan sekaligus, atau menerima ucapan lalu menjawab dalam teks. Jenis yang paling umum adalah vision-language model.

[Arabizi (Franco-Arabic)](https://broadrouter.com/id/glossary/arabizi/)

Arabizi adalah bahasa Arab yang ditulis secara informal dengan huruf Latin, memakai angka untuk bunyi Arab yang tidak punya padanan Latin, misalnya 3 untuk ع. Arabizi umum di chat dan media sosial, kebanyakan berupa dialek, tidak punya ejaan baku, dan sering dicampur dengan bahasa Inggris atau Prancis.

[AWQ (activation-aware weight quantization)](https://broadrouter.com/id/glossary/awq/)

AWQ (activation-aware weight quantization) adalah metode pasca-pelatihan yang mengompresi bobot LLM ke presisi rendah, biasanya integer 4-bit. AWQ memakai statistik aktivasi dari set kalibrasi kecil untuk menemukan kanal bobot yang paling penting dan menskalakannya agar akurasinya tidak banyak hilang. Metode ini tidak membutuhkan backpropagation.

[Bahasa Arab Standar Modern (MSA, Fusha)](https://broadrouter.com/id/glossary/msa/)

Bahasa Arab Standar Modern (MSA) adalah bentuk baku bahasa Arab yang dipakai dalam tulisan, berita, pendidikan, dan pidato formal di seluruh dunia Arab. MSA bukan bahasa ibu sehari-hari siapa pun: orang berbicara dalam dialek daerah seperti Arab Mesir atau Teluk dan beralih ke MSA dalam situasi formal.

[Benchmark LLM (LLM benchmark)](https://broadrouter.com/id/glossary/llm-benchmark/)

Benchmark LLM adalah sekumpulan tugas yang tetap dan biasanya publik, lengkap dengan metode penilaian, untuk mengukur dan membandingkan model bahasa pada satu keterampilan, seperti soal pengetahuan, coding, atau pengenalan ucapan. Skor benchmark menunjukkan kemampuan relatif pada uji itu, bukan performa model pada workload Anda sendiri.

[Byte pair encoding (BPE)](https://broadrouter.com/id/glossary/bpe/)

Byte pair encoding (BPE) adalah algoritma tokenisasi subkata yang dimulai dari karakter atau byte tunggal lalu berulang kali menggabungkan pasangan bersebelahan yang paling sering muncul menjadi entri kosakata baru, hingga mencapai ukuran kosakata target. Sebagian besar tokenizer LLM saat ini memakai BPE atau varian byte-level-nya.

[Chain-of-thought (CoT)](https://broadrouter.com/id/glossary/chain-of-thought/)

Chain-of-thought (CoT) adalah teknik prompting di mana model bahasa diberi contoh atau diminta menuliskan langkah-langkah penalaran perantara sebelum jawaban akhirnya. Teknik ini meningkatkan akurasi pada soal multi-langkah seperti aritmetika dan logika, dan model penalaran kini menghasilkannya secara otomatis.

[Chat template](https://broadrouter.com/id/glossary/chat-template/)

Chat template adalah aturan format, biasanya ditulis dengan Jinja dan disertakan bersama tokenizer model, yang mengubah daftar pesan chat beserta perannya menjadi satu urutan token yang diharapkan model, termasuk token kontrol khususnya. Memakai template yang salah bisa sangat menurunkan kualitas jawaban model.

[Context compaction (pemadatan konteks)](https://broadrouter.com/id/glossary/context-compaction/)

Context compaction adalah praktik meringkas percakapan yang mendekati batas context window lalu melanjutkan sesi dari ringkasan itu, sehingga agen tetap menyimpan keputusan dan status penting sambil membuang riwayat mentah seperti output tool lama.

[Context engineering (rekayasa konteks)](https://broadrouter.com/id/glossary/context-engineering/)

Context engineering adalah pekerjaan memilih dan merawat kumpulan token yang dilihat model bahasa di setiap request, termasuk system prompt, definisi tool, riwayat, dokumen yang diambil, dan catatan, agar model mendapat informasi bersinyal tinggi sesedikit mungkin yang ia butuhkan untuk mengerjakan tugas dengan baik.

[Context rot (degradasi konteks)](https://broadrouter.com/id/glossary/context-rot/)

Context rot adalah hilangnya akurasi dan keandalan secara bertahap yang ditunjukkan model bahasa saat inputnya makin panjang, bahkan ketika tugasnya tetap sama dan input masih jauh di dalam context window. Istilah ini dipopulerkan oleh laporan teknis Chroma tahun 2025 yang menguji 18 model.

[Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/)

Context window adalah jumlah token maksimum yang bisa diolah model bahasa dalam satu permintaan. Cakupannya meliputi prompt, riwayat percakapan, definisi tool, gambar, dan output yang dihasilkan, termasuk token penalaran. Apa pun yang tidak muat harus dipotong, diringkas, atau dibagi ke beberapa permintaan.

[Dialek bahasa Arab (dialectal Arabic)](https://broadrouter.com/id/glossary/dialectal-arabic/)

Dialek bahasa Arab adalah bahasa Arab lisan sehari-hari di suatu wilayah atau kota, seperti bahasa Arab Mesir, Teluk, Levant, atau Maghribi. Dialek berbeda dari Bahasa Arab Standar Modern dalam bunyi, kosakata, dan tata bahasa, tidak punya ejaan baku, dan makin sering ditulis di internet, sehingga lebih sulit bagi model bahasa.

[Distilasi (knowledge distillation)](https://broadrouter.com/id/glossary/distillation/)

Distilasi, atau knowledge distillation, adalah metode pelatihan di mana model murid yang lebih kecil belajar mereproduksi output model guru yang lebih besar, seperti distribusi probabilitas atau jawaban yang dihasilkannya, sehingga model murid mempertahankan sebagian besar kualitas guru dengan biaya menjalankan yang lebih rendah.

[Embeddings (vektor embedding)](https://broadrouter.com/id/glossary/embeddings/)

Embeddings adalah daftar angka floating-point (vektor) yang dihasilkan model untuk merepresentasikan sepotong teks, gambar, atau input lain. Input dengan makna serupa mendapat vektor yang berdekatan, sehingga jarak antarvektor bisa dipakai untuk mengurutkan hasil pencarian, mengelompokkan dokumen, atau menemukan item terkait.

[Eval (evaluasi LLM)](https://broadrouter.com/id/glossary/eval/)

Eval (singkatan dari evaluation atau evaluasi) adalah pengujian yang dapat diulang terhadap model bahasa atau prompt: satu set input tetap, deskripsi seperti apa output yang baik, dan penilai (kode, manusia, atau model lain) yang memberi skor pada setiap output agar berbagai versi bisa dibandingkan.

[Few-shot prompting](https://broadrouter.com/id/glossary/few-shot-prompting/)

Few-shot prompting adalah teknik di mana prompt berisi sejumlah kecil contoh input-output yang sudah dikerjakan sebelum input sebenarnya, sehingga model bahasa menyimpulkan tugas dan formatnya dari contoh itu. Bobot model tidak berubah; zero-shot tidak memakai contoh dan one-shot memakai satu.

[Fine-tuning](https://broadrouter.com/id/glossary/fine-tuning/)

Fine-tuning adalah proses melanjutkan pelatihan model bahasa yang sudah dilatih sebelumnya dengan dataset yang lebih kecil dan khusus tugas, seperti contoh percakapan, sehingga bobotnya berubah dan model menjalankan tugas atau gaya itu dengan lebih andal tanpa perlu instruksi panjang atau contoh di setiap prompt.

[FP8](https://broadrouter.com/id/glossary/fp8/)

FP8 adalah format bilangan floating-point 8-bit yang dipakai dalam deep learning, didefinisikan dalam dua encoding: E4M3, dengan 4 bit eksponen dan 3 bit mantissa, dan E5M2, dengan 5 bit eksponen dan 2 bit mantissa. FP8 memangkas memori menjadi separuh dibanding format 16-bit dan berjalan native di GPU terbaru.

[Frequency penalty dan presence penalty](https://broadrouter.com/id/glossary/frequency-and-presence-penalty/)

Frequency penalty dan presence penalty adalah pengaturan sampling yang menurunkan skor token yang sudah ada di output. Presence penalty berlaku begitu token pernah muncul; frequency penalty makin besar setiap kali token diulang. Di API OpenAI, keduanya berkisar dari -2.0 hingga 2.0, dengan default 0.

[GGUF](https://broadrouter.com/id/glossary/gguf/)

GGUF adalah format file biner untuk menyimpan model bahasa yang akan dijalankan inferensinya dengan runtime berbasis GGML seperti llama.cpp. Satu file GGUF berisi bobot, sering kali terkuantisasi, ditambah metadata yang dibutuhkan untuk memuat model, termasuk detail tokenizer dan arsitektur, dan bisa di-memory-map agar cepat dimuat.

[Grounding](https://broadrouter.com/id/glossary/grounding/)

Grounding adalah praktik menghubungkan output model bahasa ke sumber informasi yang spesifik dan dapat diverifikasi, seperti dokumen yang diberikan, hasil pencarian, atau catatan database, dan menginstruksikan model untuk menjawab berdasarkan sumber itu. Jawaban yang di-grounding bisa ditelusuri ke sumbernya dan lebih kecil kemungkinannya berisi fakta karangan.

[Halusinasi AI (hallucination)](https://broadrouter.com/id/glossary/hallucination/)

Halusinasi adalah output model bahasa yang terdengar masuk akal tetapi salah, dikarang, atau tidak didukung oleh input yang diberikan, misalnya kutipan sumber fiktif, angka yang keliru, atau API yang tidak ada. Halusinasi muncul karena model memprediksi teks yang paling mungkin, bukan memeriksa fakta.

[Hamzah (hamza)](https://broadrouter.com/id/glossary/hamza/)

Hamzah (ء) adalah huruf Arab untuk hentian glotal. Hamzah ditulis sendiri atau di atas sebuah dudukan: alif (أ إ), wawu (ؤ), atau ya (ئ), sedangkan آ menggabungkan alif dengan madd. Karena teks ketikan tidak konsisten soal hamzah, mesin pencari dan penilaian ucapan sering melebur bentuk-bentuk alif menjadi ا.

[Harakat bahasa Arab (tashkeel)](https://broadrouter.com/id/glossary/arabic-diacritics/)

Harakat bahasa Arab, atau tashkeel, adalah tanda kecil di atas atau di bawah huruf yang menunjukkan vokal pendek, konsonan ganda, dan ketiadaan vokal. Tanda ini opsional: sebagian besar teks Arab, termasuk berita, tidak memakainya, sehingga pembaca dan perangkat lunak menebak vokal dari konteks.

[Identifikasi dialek Arab (dialect identification)](https://broadrouter.com/id/glossary/arabic-dialect-identification/)

Identifikasi dialek Arab adalah tugas menentukan varian bahasa Arab yang dipakai dalam teks atau rekaman, seperti Mesir, Teluk, Syam (Levant), Maghribi, atau Arab Standar Modern, di tingkat wilayah, negara, atau kota. Tugas ini dipakai untuk merutekan pesan, memilih prompt, dan membagi set evaluasi.

[INT4](https://broadrouter.com/id/glossary/int4/)

INT4 adalah format bilangan integer 4-bit yang dapat merepresentasikan 16 level. Dalam inferensi LLM, istilah ini biasanya berarti kuantisasi 4-bit khusus bobot (W4A16): bobot disimpan sebagai INT4 dengan faktor skala dan diperluas ke 16-bit saat komputasi, sehingga memakai sekitar seperempat memori bobot 16-bit.

[Kuantisasi (quantization)](https://broadrouter.com/id/glossary/quantization/)

Kuantisasi adalah proses menyimpan angka-angka jaringan saraf, terutama bobotnya, dalam format berpresisi lebih rendah seperti 8-bit atau 4-bit alih-alih 16-bit, sehingga model memakai lebih sedikit memori dan sering berjalan lebih cepat. Metode yang baik menjaga penurunan akurasi tetap kecil.

[KV cache](https://broadrouter.com/id/glossary/kv-cache/)

KV cache adalah memori tempat model bahasa transformer menyimpan key dan value attention yang dihitung untuk setiap token yang sudah diproses, sehingga setiap token baru memakainya ulang alih-alih menghitung ulang seluruh urutan. Ukurannya bertambah seiring panjang konteks dan sering membatasi berapa banyak request yang bisa dilayani satu GPU.

[Lisensi model (model license)](https://broadrouter.com/id/glossary/model-license/)

Lisensi model adalah ketentuan hukum yang mengatur bagaimana bobot, kode, dan output sebuah model boleh dipakai, diubah, dan dibagikan. Model open-weight memakai lisensi perangkat lunak standar seperti Apache 2.0 atau MIT, atau lisensi model khusus yang bisa menambahkan syarat, misalnya batasan bagi layanan komersial besar.

[LLM-as-a-judge (LLM sebagai juri)](https://broadrouter.com/id/glossary/llm-as-judge/)

LLM-as-a-judge adalah metode evaluasi di mana model bahasa menilai output model lain, baik dengan memberi skor satu jawaban berdasarkan rubrik maupun memilih yang lebih baik dari dua jawaban. Metode ini mendekati penilaian manusia dengan biaya jauh lebih rendah, tetapi punya bias yang diketahui, seperti condong ke jawaban pertama atau lebih panjang.

[Logprobs (log probabilitas)](https://broadrouter.com/id/glossary/logprobs/)

Logprobs adalah log probabilitas yang diberikan model bahasa untuk token-token yang dihasilkannya. API yang mengembalikannya menunjukkan, untuk setiap token output, seberapa mungkin token itu menurut model dan, secara opsional, token alternatif paling mungkin di posisi tersebut.

[LoRA (low-rank adaptation)](https://broadrouter.com/id/glossary/lora/)

LoRA (low-rank adaptation) adalah metode fine-tuning yang hemat parameter: bobot model pra-latih dibekukan, lalu sepasang matriks low-rank kecil dilatih untuk layer tertentu. Pembaruan yang dipelajari bisa disimpan sebagai adapter kecil atau digabungkan ke bobot, tanpa menambah latensi inferensi.

[Lost in the middle](https://broadrouter.com/id/glossary/lost-in-the-middle/)

Lost in the middle adalah kecenderungan model bahasa yang teramati untuk paling baik memakai informasi relevan saat informasi itu muncul di dekat awal atau akhir input panjang, dan paling buruk saat berada di tengah. Istilah ini berasal dari studi Liu dkk. tahun 2023.

[max\_tokens](https://broadrouter.com/id/glossary/max-tokens/)

max\_tokens adalah parameter API LLM yang menetapkan jumlah token maksimum yang boleh dihasilkan model dalam satu respons. Saat generasi mencapai batas itu, proses berhenti dan respons ditandai terpotong, misalnya dengan finish\_reason bernilai "length".

[Mixture of experts (MoE)](https://broadrouter.com/id/glossary/mixture-of-experts/)

Mixture of experts (MoE) adalah desain jaringan saraf di mana satu layer berisi banyak sub-jaringan expert dan sebuah router yang dilatih mengirim setiap token hanya ke beberapa di antaranya. Model bahasa MoE punya jumlah parameter total yang besar, tetapi hanya memakai subset aktif yang kecil untuk setiap token.

[Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/)

Model open-weight adalah model machine learning yang bobot hasil pelatihannya dipublikasikan agar bisa diunduh dan dijalankan siapa saja, biasanya di bawah lisensi dengan syarat tertentu. Model ini berbeda dari AI yang sepenuhnya open source, yang juga merilis kode pelatihan dan informasi rinci tentang data pelatihan agar orang lain bisa mempelajari dan mereproduksinya.

[Named entity recognition (NER, pengenalan entitas bernama)](https://broadrouter.com/id/glossary/named-entity-recognition/)

Named entity recognition (NER) adalah tugas menemukan nama dalam teks dan memberi label jenis pada masing-masing, seperti orang, organisasi, atau lokasi. Sistem klasik memberi tag pada setiap token; LLM biasanya diminta mengembalikan daftar entitas dalam JSON, yang lalu dicek terhadap teks sumber.

[Normalisasi teks Arab (Arabic text normalization)](https://broadrouter.com/id/glossary/arabic-text-normalization/)

Normalisasi teks Arab adalah langkah yang memetakan varian ejaan dari kata yang sama ke satu bentuk sebelum pencocokan: menghapus harakat dan tatweel, menyatukan bentuk alif, dan sering memetakan ى ke ي serta ة ke ه. Langkah ini diterapkan pada kunci pencarian dan evaluasi, bukan pada teks yang ditampilkan.

[Optical character recognition (OCR)](https://broadrouter.com/id/glossary/ocr/)

Optical character recognition (OCR) adalah teknologi yang mendeteksi dan mengubah teks cetak atau tulisan tangan di dalam gambar, hasil scan, atau PDF menjadi karakter yang bisa dibaca mesin. OCR klasik menghasilkan teks dan posisinya di halaman; vision-language model bisa membaca teks dan langsung menjawab pertanyaan tentangnya.

[Prefill dan decode (fase inferensi LLM)](https://broadrouter.com/id/glossary/prefill-and-decode/)

Prefill dan decode adalah dua fase inferensi LLM. Pada prefill, model memproses seluruh prompt secara paralel dan mengisi KV cache-nya; pada decode, model menghasilkan balasan satu token demi satu token sambil memakai ulang cache tersebut. Prefill terutama menentukan time to first token; decode menentukan kecepatan output.

[Prompt engineering (rekayasa prompt)](https://broadrouter.com/id/glossary/prompt-engineering/)

Prompt engineering adalah proses menulis, menyusun, dan menguji instruksi yang diberikan ke model bahasa agar model konsisten menghasilkan output yang memenuhi kebutuhan Anda. Cakupannya meliputi pesan peran, instruksi yang jelas, contoh, format, dan pengukuran hasil terhadap kasus uji.

[Speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/)

Speculative decoding adalah teknik inferensi di mana model draft yang kecil dan cepat mengusulkan beberapa token berikutnya, lalu model target yang besar memverifikasinya dalam satu forward pass dan menyimpan token yang diterima. Teknik ini mempercepat generasi tanpa mengubah distribusi output.

[Ta marbutah (taa marbuta, ة)](https://broadrouter.com/id/glossary/taa-marbuta/)

Ta marbutah (ة, U+0629) adalah huruf Arab yang hanya muncul di akhir kata, sering menandai kata benda dan kata sifat feminin. Bentuknya mirip ha (ه, U+0647) dengan dua titik, sehingga keduanya sering tertukar dalam teks ketikan, dan banyak normalizer pencarian memetakan ة ke ه.

[Temperature (suhu sampling)](https://broadrouter.com/id/glossary/temperature/)

Temperature adalah parameter sampling yang mengatur seberapa acak output model bahasa. Model membagi skor token dengan temperature sebelum mengubahnya menjadi probabilitas: nilai rendah membuat token paling mungkin mendominasi, sedangkan nilai tinggi meratakan distribusi sehingga token yang kurang mungkin lebih sering terpilih.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Token gambar (image tokens)](https://broadrouter.com/id/glossary/image-tokens/)

Token gambar adalah token input yang dipakai vision language model untuk merepresentasikan gambar dalam prompt. Penyedia menghitungnya dari ukuran gambar, biasanya dengan membaginya menjadi patch atau tile berukuran tetap setelah diubah ukurannya, lalu menagihnya seperti token input teks, sehingga gambar lebih besar lebih mahal.

[Token penalaran (reasoning tokens)](https://broadrouter.com/id/glossary/reasoning-tokens/)

Token penalaran adalah token yang dihasilkan model penalaran untuk mengerjakan suatu masalah sebelum menulis jawaban yang terlihat. Token ini biasanya ditagih sebagai token output, dihitung dalam batas output dan context window, dan bisa disembunyikan atau diringkas oleh API.

[Token per detik (tokens per second, TPS)](https://broadrouter.com/id/glossary/tokens-per-second/)

Token per detik (TPS) adalah laju model bahasa menghasilkan token output, biasanya diukur untuk satu permintaan setelah token pertamanya tiba. Angka ini menentukan seberapa cepat balasan mengalir setelah dimulai. Jika dijumlahkan di semua permintaan bersamaan, ia menjadi throughput sistem; waktu tunggu sebelum token pertama diukur terpisah.

[Tokenizer](https://broadrouter.com/id/glossary/tokenizer/)

Tokenizer adalah komponen yang mengubah teks menjadi urutan ID token berupa bilangan bulat yang dibaca model bahasa, dan mengubah ID yang dihasilkan kembali menjadi teks. Setiap model punya tokenizer sendiri, jadi teks yang sama bisa menghasilkan jumlah token berbeda di model yang berbeda.

[Top-p (nucleus sampling)](https://broadrouter.com/id/glossary/top-p/)

Top-p, disebut juga nucleus sampling, adalah metode decoding di mana model bahasa memilih token berikutnya hanya dari himpunan terkecil token paling mungkin yang total probabilitasnya mencapai ambang p, misalnya 0,9, lalu membuang ekor yang kecil kemungkinannya.

[Ukuran kosakata (vocabulary size)](https://broadrouter.com/id/glossary/vocabulary-size/)

Vocabulary size (ukuran kosakata) adalah jumlah token berbeda di tokenizer sebuah model bahasa, masing-masing dengan ID dan embedding sendiri. Kosakata yang lebih besar bisa mengodekan teks umum dengan lebih sedikit token, tetapi memperbesar lapisan embedding dan output, dan hanya membantu untuk teks yang dipakai melatih kosakatanya.

[Vision-language model (VLM)](https://broadrouter.com/id/glossary/vision-language-model/)

Vision-language model (VLM) adalah model yang menerima gambar dan teks sekaligus sebagai input dan menghasilkan teks, sehingga bisa mendeskripsikan gambar, menjawab pertanyaan tentangnya, serta membaca dokumen, grafik, atau screenshot. VLM juga disebut model image-text-to-text atau model multimodal.

[vLLM](https://broadrouter.com/id/glossary/vllm/)

vLLM adalah library open-source untuk inferensi dan serving LLM, awalnya dikembangkan di Sky Computing Lab UC Berkeley. Ia mengelola memori KV cache dengan PagedAttention, mem-batch request yang masuk secara kontinu, mendukung banyak format kuantisasi, dan menyediakan server HTTP yang kompatibel dengan OpenAI.

## Harga dan penagihan

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[GPU-hour (jam GPU)](https://broadrouter.com/id/glossary/gpu-hour/)

GPU-hour (jam GPU) adalah satu prosesor grafis yang dipakai selama satu jam. Penyedia cloud menagih instance GPU sewaan per jam atau per detik, dan peneliti memakai GPU-hour untuk menyatakan berapa banyak komputasi yang dihabiskan sebuah pekerjaan. Anda membayar waktu mesin, entah mesin itu sibuk atau tidak.

[Kredit prabayar (prepaid credit)](https://broadrouter.com/id/glossary/prepaid-credit/)

Kredit prabayar adalah uang yang diisi ke akun API sebelum dipakai. Setiap request memotong biayanya dari saldo, dan saat saldo habis, request berbayar per pemakaian berhenti sampai Anda melakukan top up. Dengan begitu, pengeluaran dibatasi sebesar uang yang sudah Anda setor.

[Paket LLM harga tetap (flat-rate)](https://broadrouter.com/id/glossary/flat-rate-llm-plan/)

Paket LLM harga tetap menagih harga tetap untuk satu periode, misalnya sebulan, untuk akses ke API model bahasa, alih-alih menagih per token. Paket seperti ini biasanya membatasi hal lain, seperti konkurensi, kecepatan, model, atau jendela pemakaian, jadi batasnya sama pentingnya dengan harganya.

[Spend limit (batas pengeluaran)](https://broadrouter.com/id/glossary/spend-limit/)

Spend limit adalah batas jumlah yang boleh dibelanjakan sebuah akun, proyek, atau key API dalam satu periode, biasanya sebulan. Saat pemakaian mencapai batas, penyedia menolak permintaan berikutnya, sering dengan error HTTP 429 atau 400, sampai periode di-reset atau batasnya dinaikkan.

[Token input cache (cached input tokens)](https://broadrouter.com/id/glossary/cached-input-tokens/)

Token input cache adalah token prompt yang baru saja diproses penyedia LLM dan bisa dipakai ulang dari cache alih-alih dihitung lagi, biasanya prefiks berulang seperti system prompt atau dokumen. Penyedia menagihnya dengan tarif lebih rendah daripada token input baru.

[Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/)

Token input adalah token yang dibaca model bahasa dalam sebuah permintaan, termasuk system prompt, riwayat percakapan, definisi tool, dan gambar. Token output adalah token yang dihasilkannya sebagai balasan, termasuk penalaran. API LLM biasanya menghargainya secara terpisah, dan output biasanya lebih mahal.

## Privasi dan keamanan

[Data processing agreement (DPA)](https://broadrouter.com/id/glossary/dpa/)

Data processing agreement (DPA, perjanjian pemrosesan data) adalah kontrak antara pengendali dan prosesor yang mengatur cara prosesor menangani data pribadi. GDPR Pasal 28(3) mewajibkannya dan merinci isinya: instruksi terdokumentasi, kerahasiaan, keamanan, aturan subprosesor, penghapusan atau pengembalian data, serta audit.

[Data residency (residensi data)](https://broadrouter.com/id/glossary/data-residency/)

Data residency adalah persyaratan atau komitmen bahwa data disimpan dan diproses di negara atau wilayah tertentu. Pada API LLM, ini mencakup di mana prompt diproses selama inferensi dan di mana konten yang disimpan berada, dan sering kali tidak mencakup data akun dan penagihan.

[GDPR](https://broadrouter.com/id/glossary/gdpr/)

GDPR (General Data Protection Regulation, Regulasi (UE) 2016/679) adalah hukum UE tentang pemrosesan data pribadi. GDPR berlaku sejak 25 Mei 2018 dan mencakup organisasi yang berkedudukan di UE serta sebagian organisasi di luar UE. Untuk API LLM, GDPR mengatur kontrak prosesor, transfer internasional, dan minimisasi data.

[Guardrails (pagar pengaman AI)](https://broadrouter.com/id/glossary/guardrails/)

Guardrails adalah pemeriksaan yang dijalankan aplikasi di sekitar panggilan model bahasa agar tetap dalam batas yang ditetapkan. Guardrail input menyaring apa yang masuk ke model, guardrail output memeriksa apa yang keluar, dan guardrail tool memvalidasi aksi sebelum dijalankan. Pemeriksaan yang gagal akan memblokir, menulis ulang, atau menandai request.

[IP allow list (daftar IP yang diizinkan)](https://broadrouter.com/id/glossary/ip-allow-list/)

IP allow list adalah kontrol keamanan yang hanya menerima request dari alamat IP atau rentang CIDR yang terdaftar dan menolak semua yang lain. Pada API, kontrol ini membatasi kerusakan akibat kunci yang bocor, karena kunci tidak berfungsi dari jaringan yang tidak ada di daftar.

[Jailbreak (LLM)](https://broadrouter.com/id/glossary/jailbreak/)

Jailbreak adalah input yang dirancang agar model bahasa mengabaikan pelatihan keamanannya atau aturan yang ditetapkan aplikasi yang memakainya, sehingga model menghasilkan konten atau melakukan aksi yang biasanya akan ditolak. OWASP memperlakukan jailbreaking sebagai salah satu bentuk prompt injection.

[Kunci API (API key)](https://broadrouter.com/id/glossary/api-key/)

Kunci API adalah string rahasia yang mengidentifikasi dan mengotorisasi client yang memanggil API. API LLM biasanya mengharapkannya di header Authorization: Bearer, dan siapa pun yang memegang kunci itu bisa membuat permintaan yang ditagihkan ke akun pemiliknya.

[PDPL (UU perlindungan data Arab Saudi dan UEA)](https://broadrouter.com/id/glossary/pdpl/)

PDPL (Personal Data Protection Law) adalah nama umum untuk UU data pribadi Arab Saudi, yang diterbitkan dengan Dekret Kerajaan M/19 dan ditegakkan oleh SDAIA, serta untuk Dekret-Undang-Undang Federal UEA No. 45 Tahun 2021. Keduanya mengatur pemrosesan data pribadi dan menetapkan syarat transfer ke luar negeri, termasuk prompt yang dikirim ke API LLM asing.

[PII (personally identifiable information)](https://broadrouter.com/id/glossary/pii/)

PII (personally identifiable information) adalah informasi yang bisa dipakai untuk membedakan atau melacak identitas seseorang, seperti nama, nomor identitas, atau data biometrik, ditambah informasi lain yang terkait atau bisa dikaitkan dengan orang tersebut. Istilah GDPR yang lebih luas adalah data pribadi. Dalam kerja LLM, redaksi PII menghapusnya dari prompt sebelum keluar dari sistem Anda.

[Prompt injection (injeksi prompt)](https://broadrouter.com/id/glossary/prompt-injection/)

Prompt injection adalah serangan di mana teks yang diberikan ke model bahasa, oleh pengguna atau tersembunyi di halaman web, email, file, atau hasil tool, mengubah perilaku model berlawanan dengan maksud developer. OWASP menempatkannya di urutan pertama (LLM01:2025) dalam Top 10 for LLM Applications.

[Subprosesor (subprocessor)](https://broadrouter.com/id/glossary/subprocessor/)

Subprosesor adalah pihak ketiga yang dilibatkan prosesor untuk memproses data pribadi atas nama pengendali data. Untuk API LLM, subprosesor bisa mencakup host GPU, penyedia inferensi mitra, dan kapasitas cadangan. Menurut GDPR Pasal 28, subprosesor memerlukan otorisasi pengendali dan kewajiban perlindungan data yang sama.

[Zero data retention (ZDR)](https://broadrouter.com/id/glossary/zero-data-retention/)

Zero data retention (ZDR) adalah kebijakan penanganan data di mana penyedia AI memproses prompt dan output hanya untuk melayani permintaan dan tidak menyimpan konten itu sesudahnya, baik di log, cache, maupun data pelatihan. Catatan tanpa konten seperti jumlah token dan durasi biasanya tetap disimpan.

## Suara

[Alih kode (code-switching)](https://broadrouter.com/id/glossary/code-switching/)

Alih kode (code-switching) adalah penggunaan dua bahasa atau lebih, atau beberapa varian dari satu bahasa, dalam percakapan atau kalimat yang sama, baik lisan maupun tulisan. Contohnya penutur bahasa Arab yang mencampur kata bahasa Inggris ke dalam dialek, atau berpindah antara Arab Standar Modern dan dialek mereka.

[Character error rate (CER)](https://broadrouter.com/id/glossary/character-error-rate/)

Character error rate (CER) mengukur akurasi transkripsi atau OCR di tingkat karakter: jumlah substitusi, penghapusan, dan penyisipan yang dibutuhkan untuk mengubah output menjadi teks referensi, dibagi jumlah karakter dalam referensi. Makin rendah makin baik, dan 0 berarti cocok sempurna.

[Ogg Opus](https://broadrouter.com/id/glossary/ogg-opus/)

Ogg Opus adalah audio yang dienkode dengan codec Opus (RFC 6716) dan disimpan dalam container Ogg (RFC 7845). Format ini dirancang untuk ucapan dan audio interaktif pada bitrate rendah, dan dipakai WhatsApp untuk pesan suara, biasanya sebagai file .ogg atau .opus.

[Sample rate (laju sampel)](https://broadrouter.com/id/glossary/sample-rate/)

Sample rate adalah jumlah sampel audio yang diambil per detik, diukur dalam hertz (Hz). Model pengenalan ucapan umumnya mengharapkan audio mono 16.000 Hz (16 kHz). Bersama bit depth dan jumlah kanal, sample rate menentukan ukuran file audio tanpa kompresi per menit.

[Speaker diarization (diarisasi pembicara)](https://broadrouter.com/id/glossary/diarization/)

Speaker diarization adalah tugas membagi rekaman audio menjadi segmen per pembicara untuk menjawab "siapa berbicara kapan". Setiap potongan ucapan diberi label ID pembicara anonim seperti SPEAKER\_00, dan biasanya digabungkan dengan transkrip untuk menunjukkan siapa yang mengucapkan setiap baris.

[Speech-to-text (ucapan ke teks)](https://broadrouter.com/id/glossary/speech-to-text/)

Speech-to-text, juga disebut automatic speech recognition (ASR), adalah teknologi yang mengubah audio ucapan menjadi teks tertulis. API speech-to-text menerima file atau stream audio dan mengembalikan transkrip, biasanya dihargai per menit audio. Akurasinya diukur dengan word error rate dan bervariasi menurut aksen, dialek, dan kualitas rekaman.

[Subtitle SRT](https://broadrouter.com/id/glossary/srt-subtitles/)

SRT (SubRip) adalah format subtitle berbasis teks biasa. Setiap takarir terdiri dari nomor urut, waktu mulai dan selesai yang ditulis hh:mm:ss,mmm --> hh:mm:ss,mmm, satu atau lebih baris teks, dan satu baris kosong. WebVTT adalah format web serupa yang dipakai video HTML.

[Text-to-speech (TTS)](https://broadrouter.com/id/glossary/text-to-speech/)

Text-to-speech (TTS), atau sintesis ucapan, mengubah teks tertulis menjadi audio ucapan. API TTS menerima teks, sebuah suara, dan format output seperti MP3 atau WAV, lalu mengembalikan ucapan yang dihasilkan. TTS adalah kebalikan dari speech-to-text, yang mengubah audio menjadi teks.

[Timestamp (speech-to-text)](https://broadrouter.com/id/glossary/timestamps-asr/)

Timestamp dalam speech-to-text adalah waktu mulai dan selesai, dalam detik, yang dilekatkan pada bagian-bagian transkrip. Timestamp segmen mencakup satu frasa atau kalimat; timestamp kata mencakup setiap kata. Timestamp dibutuhkan untuk subtitle, pencarian di dalam rekaman, dan menyelaraskan teks dengan pembicara.

[Voice activity detection (VAD)](https://broadrouter.com/id/glossary/vad/)

Voice activity detection (VAD) adalah tahap pemrosesan sinyal yang mengklasifikasikan frame audio pendek sebagai ucapan atau bukan ucapan. Sistem suara memakainya untuk melewati bagian hening, memecah rekaman panjang di jeda, mendeteksi kapan pembicara selesai, dan menghindari transkripsi noise latar.

[WAV](https://broadrouter.com/id/glossary/wav/)

WAV (Waveform Audio File Format, atau WAVE) adalah container audio yang dibangun di atas format RIFF milik Microsoft dan IBM. Biasanya berisi sampel PCM linear tanpa kompresi, sehingga ukurannya mudah diprediksi: sample rate dikali byte per sampel dikali jumlah kanal, per detik.

[Word error rate (WER)](https://broadrouter.com/id/glossary/word-error-rate/)

Word error rate (WER) adalah ukuran akurasi standar untuk pengenalan ucapan: jumlah substitusi, penghapusan, dan penyisipan kata yang dibutuhkan untuk mengubah transkrip menjadi referensi yang benar, dibagi jumlah kata dalam referensi. Makin rendah makin baik.

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary&utm_content=page-cta) ·

**Sumber**

-   [Referensi API (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary&utm_content=sources)
