---
title: "Thuật ngữ API LLM: token, ngữ cảnh, router và giá | BroadRouter"
description: "Định nghĩa dễ hiểu cho các thuật ngữ bạn gặp khi gọi API LLM hoặc chuyển giọng nói thành văn bản: token, cửa sổ ngữ cảnh, input được cache, giới hạn tốc độ."
url: https://broadrouter.com/vi/glossary/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Các trang này được dịch từ tiếng Anh với sự hỗ trợ của AI. [Tất cả thuật ngữ bằng tiếng Anh](https://broadrouter.com/glossary/) (129).

# Thuật ngữ API LLM

Cập nhật 2026-11-16

Định nghĩa ngắn gọn, có nguồn cho các thuật ngữ lập trình viên gặp khi gọi API LLM hoặc chuyển giọng nói thành văn bản: token và cửa sổ ngữ cảnh là gì, input được cache và gói giá cố định thay đổi hóa đơn ra sao, giới hạn tốc độ và việc không lưu dữ liệu nghĩa là gì.

[AI agent (tác tử AI)](https://broadrouter.com/vi/glossary/agent/)[AI coding agent](https://broadrouter.com/vi/glossary/coding-agent/)[AI đa phương thức (multimodal AI)](https://broadrouter.com/vi/glossary/multimodal/)[Ảo giác AI (hallucination)](https://broadrouter.com/vi/glossary/hallucination/)[API key (khóa API)](https://broadrouter.com/vi/glossary/api-key/)[API tương thích OpenAI (OpenAI-compatible API)](https://broadrouter.com/vi/glossary/openai-compatible-api/)[Arabizi](https://broadrouter.com/vi/glossary/arabizi/)[AWQ (activation-aware weight quantization)](https://broadrouter.com/vi/glossary/awq/)[Base URL](https://broadrouter.com/vi/glossary/base-url/)[Batch API](https://broadrouter.com/vi/glossary/batch-api/)[Benchmark LLM (LLM benchmark)](https://broadrouter.com/vi/glossary/llm-benchmark/)[Bên xử lý phụ (subprocessor)](https://broadrouter.com/vi/glossary/subprocessor/)[BM25](https://broadrouter.com/vi/glossary/bm25/)[Byte pair encoding (BPE)](https://broadrouter.com/vi/glossary/bpe/)[Chain-of-thought (CoT)](https://broadrouter.com/vi/glossary/chain-of-thought/)[Chat Completions API](https://broadrouter.com/vi/glossary/chat-completions-api/)[Chat template](https://broadrouter.com/vi/glossary/chat-template/)[Chuẩn hóa Unicode (Unicode normalization)](https://broadrouter.com/vi/glossary/unicode-normalization/)[Chuẩn hóa văn bản tiếng Ả Rập](https://broadrouter.com/vi/glossary/arabic-text-normalization/)[Chunking (RAG)](https://broadrouter.com/vi/glossary/chunking/)[Chuyển giọng nói thành văn bản (speech-to-text)](https://broadrouter.com/vi/glossary/speech-to-text/)[Chuyển văn bản thành giọng nói (text-to-speech, TTS)](https://broadrouter.com/vi/glossary/text-to-speech/)[Chưng cất tri thức (knowledge distillation)](https://broadrouter.com/vi/glossary/distillation/)[Code-switching (chuyển mã ngôn ngữ)](https://broadrouter.com/vi/glossary/code-switching/)[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)[Context compaction (nén context)](https://broadrouter.com/vi/glossary/context-compaction/)[Context engineering (kỹ thuật quản lý context)](https://broadrouter.com/vi/glossary/context-engineering/)[Context rot (suy giảm khi context dài)](https://broadrouter.com/vi/glossary/context-rot/)[Context window (cửa sổ ngữ cảnh)](https://broadrouter.com/vi/glossary/context-window/)[Data residency (lưu trú dữ liệu)](https://broadrouter.com/vi/glossary/data-residency/)[Dấu phụ tiếng Ả Rập (tashkeel)](https://broadrouter.com/vi/glossary/arabic-diacritics/)[DPA (thỏa thuận xử lý dữ liệu)](https://broadrouter.com/vi/glossary/dpa/)[Đầu ra có cấu trúc (structured output)](https://broadrouter.com/vi/glossary/structured-output/)[Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/)[Embedding (vector nhúng)](https://broadrouter.com/vi/glossary/embeddings/)[Eval (đánh giá LLM)](https://broadrouter.com/vi/glossary/eval/)[Exponential backoff (lùi thời gian theo cấp số nhân)](https://broadrouter.com/vi/glossary/exponential-backoff/)[Few-shot prompting (prompt kèm ví dụ)](https://broadrouter.com/vi/glossary/few-shot-prompting/)[Fine-tuning (tinh chỉnh model)](https://broadrouter.com/vi/glossary/fine-tuning/)[finish\_reason (lý do kết thúc)](https://broadrouter.com/vi/glossary/finish-reason/)[FP8 (số thực dấu phẩy động 8-bit)](https://broadrouter.com/vi/glossary/fp8/)[Frequency penalty và presence penalty](https://broadrouter.com/vi/glossary/frequency-and-presence-penalty/)[GDPR (Quy định chung về bảo vệ dữ liệu của EU)](https://broadrouter.com/vi/glossary/gdpr/)[GGUF (định dạng file model của llama.cpp)](https://broadrouter.com/vi/glossary/gguf/)[Giấy phép model (model license)](https://broadrouter.com/vi/glossary/model-license/)[Giới hạn chi tiêu (spend limit)](https://broadrouter.com/vi/glossary/spend-limit/)[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)[Gói LLM giá cố định (flat-rate LLM plan)](https://broadrouter.com/vi/glossary/flat-rate-llm-plan/)[Gọi tool song song (parallel tool calls)](https://broadrouter.com/vi/glossary/parallel-tool-calls/)[GPU-hour (giờ GPU)](https://broadrouter.com/vi/glossary/gpu-hour/)[Grounding (neo câu trả lời vào nguồn)](https://broadrouter.com/vi/glossary/grounding/)[Guardrails (lớp bảo vệ cho LLM)](https://broadrouter.com/vi/glossary/guardrails/)[Hamza (chữ hamza trong tiếng Ả Rập)](https://broadrouter.com/vi/glossary/hamza/)[Hệ thống đa agent (multi-agent system)](https://broadrouter.com/vi/glossary/multi-agent-system/)[Hybrid search (tìm kiếm lai)](https://broadrouter.com/vi/glossary/hybrid-search/)[Idempotency key (khóa idempotency)](https://broadrouter.com/vi/glossary/idempotency-key/)[Image token (token hình ảnh)](https://broadrouter.com/vi/glossary/image-tokens/)[INT4 (lượng tử hóa 4-bit)](https://broadrouter.com/vi/glossary/int4/)[IP allow list (danh sách IP được phép)](https://broadrouter.com/vi/glossary/ip-allow-list/)[Jailbreak (LLM)](https://broadrouter.com/vi/glossary/jailbreak/)[JSON mode (chế độ JSON)](https://broadrouter.com/vi/glossary/json-mode/)[JSON Schema](https://broadrouter.com/vi/glossary/json-schema/)[Không lưu giữ dữ liệu (zero data retention, ZDR)](https://broadrouter.com/vi/glossary/zero-data-retention/)[KV cache (bộ nhớ đệm key-value)](https://broadrouter.com/vi/glossary/kv-cache/)[LLM router](https://broadrouter.com/vi/glossary/llm-router/)[LLM-as-a-judge (LLM làm giám khảo)](https://broadrouter.com/vi/glossary/llm-as-judge/)[Logprobs (log xác suất)](https://broadrouter.com/vi/glossary/logprobs/)[LoRA (low-rank adaptation)](https://broadrouter.com/vi/glossary/lora/)[Lost in the middle (lạc ở giữa)](https://broadrouter.com/vi/glossary/lost-in-the-middle/)[Lượng tử hóa (quantization)](https://broadrouter.com/vi/glossary/quantization/)[max\_tokens (giới hạn token đầu ra)](https://broadrouter.com/vi/glossary/max-tokens/)[MCP (Model Context Protocol)](https://broadrouter.com/vi/glossary/mcp/)[Mixture of experts (MoE)](https://broadrouter.com/vi/glossary/mixture-of-experts/)[Model deprecation (ngừng hỗ trợ model)](https://broadrouter.com/vi/glossary/model-deprecation/)[Model fallback (chuyển sang model dự phòng)](https://broadrouter.com/vi/glossary/model-fallback/)[Model trọng số mở (open-weight model)](https://broadrouter.com/vi/glossary/open-weight-model/)[Nhà cung cấp inference (inference provider)](https://broadrouter.com/vi/glossary/inference-provider/)[Nhận dạng ký tự quang học (OCR)](https://broadrouter.com/vi/glossary/ocr/)[Nhận dạng phương ngữ tiếng Ả Rập](https://broadrouter.com/vi/glossary/arabic-dialect-identification/)[Nhận dạng thực thể có tên (NER)](https://broadrouter.com/vi/glossary/named-entity-recognition/)[Ogg Opus](https://broadrouter.com/vi/glossary/ogg-opus/)[PDPL (luật bảo vệ dữ liệu Ả Rập Xê Út và UAE)](https://broadrouter.com/vi/glossary/pdpl/)[Phụ đề SRT (SRT subtitles)](https://broadrouter.com/vi/glossary/srt-subtitles/)[Phương ngữ tiếng Ả Rập (dialectal Arabic)](https://broadrouter.com/vi/glossary/dialectal-arabic/)[PII (thông tin nhận dạng cá nhân)](https://broadrouter.com/vi/glossary/pii/)[Prefill và decode](https://broadrouter.com/vi/glossary/prefill-and-decode/)[Prompt engineering (kỹ thuật viết prompt)](https://broadrouter.com/vi/glossary/prompt-engineering/)[Prompt injection (tấn công chèn prompt)](https://broadrouter.com/vi/glossary/prompt-injection/)[RAG (tạo sinh tăng cường truy xuất)](https://broadrouter.com/vi/glossary/rag/)[ReAct (reason and act)](https://broadrouter.com/vi/glossary/react-agent/)[Request timeout (thời gian chờ request)](https://broadrouter.com/vi/glossary/request-timeout/)[Reranking (xếp hạng lại)](https://broadrouter.com/vi/glossary/reranking/)[Server-sent events (SSE)](https://broadrouter.com/vi/glossary/sse/)[Serverless inference (suy luận serverless)](https://broadrouter.com/vi/glossary/serverless-inference/)[SLA (thỏa thuận mức dịch vụ, service level agreement)](https://broadrouter.com/vi/glossary/sla/)[Số token mỗi giây (tokens per second, TPS)](https://broadrouter.com/vi/glossary/tokens-per-second/)[Speaker diarization (phân tách người nói)](https://broadrouter.com/vi/glossary/diarization/)[Speculative decoding (giải mã suy đoán)](https://broadrouter.com/vi/glossary/speculative-decoding/)[Stop sequences (chuỗi dừng)](https://broadrouter.com/vi/glossary/stop-sequences/)[Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/)[Subagent (agent con)](https://broadrouter.com/vi/glossary/subagent/)[System prompt (lời nhắc hệ thống)](https://broadrouter.com/vi/glossary/system-prompt/)[Taa marbuta (chữ ة tiếng Ả Rập)](https://broadrouter.com/vi/glossary/taa-marbuta/)[Tần số lấy mẫu (sample rate)](https://broadrouter.com/vi/glossary/sample-rate/)[Temperature (nhiệt độ)](https://broadrouter.com/vi/glossary/temperature/)[Tham số seed](https://broadrouter.com/vi/glossary/seed-parameter/)[Thời gian tới token đầu tiên (TTFT)](https://broadrouter.com/vi/glossary/time-to-first-token/)[Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/)[Tiếng Ả Rập chuẩn hiện đại (MSA)](https://broadrouter.com/vi/glossary/msa/)[Timestamp trong speech-to-text (dấu thời gian ASR)](https://broadrouter.com/vi/glossary/timestamps-asr/)[Tín dụng trả trước (prepaid credit)](https://broadrouter.com/vi/glossary/prepaid-credit/)[Token](https://broadrouter.com/vi/glossary/token/)[Token đầu vào từ cache (cached input tokens)](https://broadrouter.com/vi/glossary/cached-input-tokens/)[Token đầu vào và đầu ra (input and output tokens)](https://broadrouter.com/vi/glossary/input-and-output-tokens/)[Token suy luận (reasoning tokens)](https://broadrouter.com/vi/glossary/reasoning-tokens/)[Tokenizer (bộ tách token)](https://broadrouter.com/vi/glossary/tokenizer/)[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)[tool\_choice (tham số chọn tool)](https://broadrouter.com/vi/glossary/tool-choice/)[Top-p (nucleus sampling)](https://broadrouter.com/vi/glossary/top-p/)[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)[Tỷ lệ lỗi ký tự (CER, character error rate)](https://broadrouter.com/vi/glossary/character-error-rate/)[VAD (phát hiện giọng nói)](https://broadrouter.com/vi/glossary/vad/)[Văn bản RTL (viết từ phải sang trái, right-to-left)](https://broadrouter.com/vi/glossary/rtl-text/)[Vector database (cơ sở dữ liệu vector)](https://broadrouter.com/vi/glossary/vector-database/)[Vision-language model (VLM, mô hình thị giác-ngôn ngữ)](https://broadrouter.com/vi/glossary/vision-language-model/)[vLLM](https://broadrouter.com/vi/glossary/vllm/)[Vocabulary size (kích thước từ vựng)](https://broadrouter.com/vi/glossary/vocabulary-size/)[WAV](https://broadrouter.com/vi/glossary/wav/)[Word error rate (WER, tỷ lệ lỗi từ)](https://broadrouter.com/vi/glossary/word-error-rate/)

## API và tích hợp

[AI agent (tác tử AI)](https://broadrouter.com/vi/glossary/agent/)

AI agent là hệ thống trong đó model ngôn ngữ tự điều khiển các bước để đạt mục tiêu: nó quyết định gọi tool nào, đọc kết quả và lặp lại cho tới khi đưa ra câu trả lời cuối cùng hoặc chạm giới hạn. Script cố định gọi model ở các điểm định sẵn thường gọi là workflow.

[AI coding agent](https://broadrouter.com/vi/glossary/coding-agent/)

AI coding agent là công cụ phần mềm trong đó một model ngôn ngữ làm việc trên codebase theo vòng lặp: đọc file, sửa file, chạy lệnh như test, đọc kết quả và quyết định bước tiếp theo cho tới khi xong task hoặc chạm giới hạn.

[API tương thích OpenAI (OpenAI-compatible API)](https://broadrouter.com/vi/glossary/openai-compatible-api/)

API tương thích OpenAI là một HTTP API nhận cùng định dạng request và phản hồi như OpenAI API, ví dụ POST /v1/chat/completions, nên SDK và công cụ của OpenAI dùng được nó chỉ bằng cách đổi base URL, API key và tên model.

[Base URL](https://broadrouter.com/vi/glossary/base-url/)

Base URL là địa chỉ gốc cố định của một API, như https://api.example.com/v1, mà client đặt trước mọi đường dẫn endpoint, như /chat/completions. Trong SDK tương thích OpenAI, đổi base URL cùng với API key và model ID sẽ trỏ cùng một đoạn code sang nhà cung cấp khác.

[Batch API](https://broadrouter.com/vi/glossary/batch-api/)

Batch API là endpoint LLM bất đồng bộ nhận nhiều request cùng lúc, thường dưới dạng file, xử lý chúng trong một khung thời gian định sẵn thay vì ngay lập tức, rồi trả kết quả cùng nhau. Các nhà cung cấp như OpenAI và Anthropic tính giá batch thấp hơn API tiêu chuẩn.

[BM25](https://broadrouter.com/vi/glossary/bm25/)

BM25 (Okapi BM25) là hàm xếp hạng cho tìm kiếm từ khóa, chấm điểm tài liệu dựa trên tần suất các từ trong truy vấn xuất hiện trong đó, độ hiếm của các từ ấy trong cả bộ tài liệu và độ dài tài liệu. Đây là hàm similarity mặc định của Lucene và Elasticsearch.

[Chat Completions API](https://broadrouter.com/vi/glossary/chat-completions-api/)

Chat Completions API là endpoint HTTP của OpenAI, POST /v1/chat/completions, nhận tên model và danh sách message có gắn vai trò rồi trả về message tiếp theo của model. Cấu trúc request và response của nó đã trở thành định dạng chung mà các nhà cung cấp và SDK tương thích OpenAI dùng lại.

[Chuẩn hóa Unicode (Unicode normalization)](https://broadrouter.com/vi/glossary/unicode-normalization/)

Chuẩn hóa Unicode chuyển văn bản về một dạng chuẩn để các chuỗi trông giống nhau dùng cùng code point. Có bốn dạng: NFD, NFC, NFKD và NFKC; các dạng K còn gộp ký tự tương thích, như dạng trình bày (presentation form) và chữ ghép tiếng Ả Rập, thành chữ cái thông thường.

[Chunking (RAG)](https://broadrouter.com/vi/glossary/chunking/)

Chunking là bước trong pipeline truy xuất chia tài liệu thành các mảnh nhỏ hơn, gọi là chunk, trước khi embed và index. Chunk size quyết định mỗi mảnh chứa bao nhiêu văn bản, còn chunk overlap lặp lại một phần văn bản giữa các chunk liền kề để ý bị cắt ở ranh giới không bị mất.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Đầu ra có cấu trúc (structured output)](https://broadrouter.com/vi/glossary/structured-output/)

Đầu ra có cấu trúc (structured output) là tính năng của API LLM buộc câu trả lời của model theo định dạng do lập trình viên chỉ định, thường là JSON Schema, để code parse được tin cậy. Nó chặt hơn JSON mode, vốn chỉ đảm bảo JSON hợp lệ chứ không đảm bảo một cấu trúc cụ thể.

[Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/)

Với API model ngôn ngữ, độ trễ (latency) là thời gian từ lúc gửi request tới khi nhận được token đầu ra cuối cùng. Nó bằng thời gian tới token đầu tiên cộng thời gian sinh, và thường được báo cáo theo percentile như p50 và p95 thay vì giá trị trung bình.

[Exponential backoff (lùi thời gian theo cấp số nhân)](https://broadrouter.com/vi/glossary/exponential-backoff/)

Exponential backoff là chiến lược thử lại trong đó client chờ lâu hơn sau mỗi lần thất bại trước khi thử tiếp, thường nhân đôi độ trễ cho tới một mức trần. Thêm jitter ngẫu nhiên vào mỗi lần chờ giúp dàn trải các lần thử lại từ nhiều client để chúng không đổ dồn vào server cùng lúc.

[finish\_reason (lý do kết thúc)](https://broadrouter.com/vi/glossary/finish-reason/)

finish\_reason là một trường trên mỗi choice trong response chat completion, cho biết vì sao model ngừng sinh. Trong định dạng OpenAI, các giá trị là stop, length, tool\_calls, content\_filter và function\_call đã bị deprecated. Messages API của Anthropic báo cùng ý tưởng qua stop\_reason.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[Gọi tool song song (parallel tool calls)](https://broadrouter.com/vi/glossary/parallel-tool-calls/)

Gọi tool song song (parallel tool calls) là khi model trả về nhiều lệnh gọi tool trong một phản hồi, ví dụ đọc ba tệp cùng lúc. Ở định dạng OpenAI, chúng là nhiều phần tử trong tool\_calls, và đặt parallel\_tool\_calls bằng false giới hạn model ở không hoặc một lệnh gọi mỗi lượt.

[Hệ thống đa agent (multi-agent system)](https://broadrouter.com/vi/glossary/multi-agent-system/)

Hệ thống đa agent là ứng dụng LLM trong đó nhiều agent, mỗi agent có prompt, tool và context riêng, cùng xử lý các phần của một tác vụ. Thiết kế phổ biến là orchestrator-worker: agent chính lập kế hoạch, khởi chạy các worker song song và tổng hợp kết quả.

[Hybrid search (tìm kiếm lai)](https://broadrouter.com/vi/glossary/hybrid-search/)

Hybrid search là phương pháp truy xuất chạy cả tìm kiếm từ khóa như BM25 lẫn tìm kiếm vector trên embedding cho cùng một truy vấn, rồi gộp hai danh sách xếp hạng làm một, thường bằng reciprocal rank fusion (RRF) hoặc tổng có trọng số của điểm đã chuẩn hóa.

[Idempotency key (khóa idempotency)](https://broadrouter.com/vi/glossary/idempotency-key/)

Idempotency key là một giá trị duy nhất, thường là ID ngẫu nhiên như UUID, mà client gắn vào request làm thay đổi trạng thái, chẳng hạn thanh toán hay mua hàng. Nếu cùng request được gửi lại với cùng key, server trả về kết quả ban đầu thay vì thực hiện hai lần.

[JSON mode (chế độ JSON)](https://broadrouter.com/vi/glossary/json-mode/)

JSON mode là một thiết lập của API LLM, response\_format {"type": "json\_object"} trong các API kiểu OpenAI, khiến câu trả lời của model là JSON hợp lệ, parse được. Khác với structured output dùng JSON Schema, nó không đảm bảo object chứa những key, kiểu hay giá trị nào.

[JSON Schema](https://broadrouter.com/vi/glossary/json-schema/)

JSON Schema là một bộ từ vựng viết bằng JSON để mô tả và kiểm tra cấu trúc dữ liệu JSON: kiểu, trường bắt buộc, giá trị cho phép và cách lồng nhau. Phiên bản hiện tại là 2020-12. Các API LLM dùng nó để định nghĩa tham số tool và cấu trúc chính xác mà structured output phải theo.

[LLM router](https://broadrouter.com/vi/glossary/llm-router/)

LLM router là phần mềm hoặc dịch vụ nằm giữa ứng dụng và một hay nhiều API model ngôn ngữ, quyết định với từng request model hoặc nhà cung cấp nào sẽ xử lý, dựa trên các quy tắc như chi phí, độ trễ, tính sẵn sàng hoặc loại tác vụ.

[MCP (Model Context Protocol)](https://broadrouter.com/vi/glossary/mcp/)

MCP (Model Context Protocol) là giao thức mở, xây trên JSON-RPC 2.0, chuẩn hóa cách ứng dụng LLM kết nối với tool và dữ liệu bên ngoài. MCP server cung cấp tool, resource và prompt; MCP client trong ứng dụng host tìm ra chúng và chuyển lệnh gọi tool của model tới server.

[Model deprecation (ngừng hỗ trợ model)](https://broadrouter.com/vi/glossary/model-deprecation/)

Model deprecation là khi nhà cung cấp API thông báo một model sẽ ngừng được cung cấp, thường kèm ngày ngừng hoạt động (retirement hoặc shutdown) và một model thay thế được khuyến nghị. Sau ngày đó, request tới model sẽ lỗi, nên ứng dụng phải chuyển sang ID model khác trước hạn.

[Model fallback (chuyển sang model dự phòng)](https://broadrouter.com/vi/glossary/model-fallback/)

Model fallback là mẫu thiết kế tăng độ tin cậy, trong đó request LLM bị lỗi được thử lại trên một model hoặc nhà cung cấp khác theo danh sách có thứ tự. Nó được kích hoạt bởi lỗi, rate limit, lỗi độ dài context hay từ chối do chính sách nội dung, và chạy ở client hoặc gateway.

[Nhà cung cấp inference (inference provider)](https://broadrouter.com/vi/glossary/inference-provider/)

Nhà cung cấp inference là công ty chạy model học máy, thường là LLM open-weight, trên GPU sở hữu hoặc thuê, rồi bán quyền truy cập qua API, thường tính theo token, request hoặc thời gian. Họ lo phần phục vụ, mở rộng quy mô và phần cứng.

[RAG (tạo sinh tăng cường truy xuất)](https://broadrouter.com/vi/glossary/rag/)

RAG (retrieval-augmented generation) là mô hình trong đó ứng dụng trước tiên truy xuất các đoạn liên quan tới câu hỏi từ một kho bên ngoài, như chỉ mục tìm kiếm hay chỉ mục vector, rồi đưa chúng vào prompt để model ngôn ngữ trả lời dựa trên văn bản đó thay vì chỉ dựa vào trí nhớ.

[ReAct (reason and act)](https://broadrouter.com/vi/glossary/react-agent/)

ReAct (reason and act) là mẫu prompting do Yao và cộng sự giới thiệu năm 2022, trong đó language model xen kẽ các bước suy luận với hành động như tìm kiếm hay gọi tool. Model đọc từng kết quả quan sát, cập nhật kế hoạch và lặp lại cho tới khi đưa ra được câu trả lời cuối.

[Request timeout (thời gian chờ request)](https://broadrouter.com/vi/glossary/request-timeout/)

Request timeout là thời gian tối đa một HTTP client chờ server trước khi bỏ request. Client thường chia nó thành connect timeout cho việc mở kết nối và read timeout cho việc chờ dữ liệu. Lệnh gọi LLM cần read timeout rộng rãi vì câu trả lời dài cần thời gian.

[Reranking (xếp hạng lại)](https://broadrouter.com/vi/glossary/reranking/)

Reranking là giai đoạn truy xuất thứ hai, trong đó một model chính xác hơn nhưng chậm hơn, thường là cross-encoder, chấm điểm từng cặp truy vấn và tài liệu ứng viên từ lượt tìm kiếm đầu rồi sắp xếp lại, để chỉ vài kết quả liên quan nhất được chuyển cho language model.

[Server-sent events (SSE)](https://broadrouter.com/vi/glossary/sse/)

Server-sent events (SSE) là một chuẩn web cho phép server đẩy một luồng sự kiện dạng văn bản tới client qua một HTTP response duy nhất, giữ mở lâu, với content type text/event-stream. Mỗi sự kiện gồm một hoặc nhiều dòng trường, như data:, và kết thúc bằng một dòng trống.

[Serverless inference (suy luận serverless)](https://broadrouter.com/vi/glossary/serverless-inference/)

Serverless inference là cách chạy model machine learning trong đó nền tảng tự khởi động, co giãn và dừng tài nguyên tính toán sau một endpoint, thường về 0 khi rảnh, và tính phí theo mức dùng thay vì theo máy đặt trước. Đổi lại có thể có độ trễ cold start.

[SLA (thỏa thuận mức dịch vụ, service level agreement)](https://broadrouter.com/vi/glossary/sla/)

SLA (thỏa thuận mức dịch vụ) là cam kết theo hợp đồng của nhà cung cấp về một mức dịch vụ đo được, thường là phần trăm uptime hằng tháng, kèm biện pháp khắc phục cụ thể, thường là service credit, nếu không đạt. SLA định nghĩa downtime, các loại trừ và cách yêu cầu bồi hoàn.

[Stop sequences (chuỗi dừng)](https://broadrouter.com/vi/glossary/stop-sequences/)

Stop sequences (chuỗi dừng) là các chuỗi bạn gửi kèm request để model dừng sinh ngay khi tạo ra một trong số đó. OpenAI gọi trường này là stop và nhận tối đa 4 chuỗi; Anthropic gọi là stop\_sequences. Phần văn bản khớp thường bị loại khỏi đầu ra trả về.

[Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/)

Streaming là cách trả phản hồi của model ngôn ngữ thành từng chunk nhỏ ngay trong lúc nó đang được sinh, thay vì một câu trả lời trọn vẹn ở cuối. Các API tương thích OpenAI stream qua server-sent events khi request đặt stream là true.

[Subagent (agent con)](https://broadrouter.com/vi/glossary/subagent/)

Subagent là một agent riêng biệt mà agent chính khởi chạy để xử lý một việc cụ thể. Nó chạy với context window, system prompt và quyền dùng tool riêng, làm xong việc và chỉ trả kết quả hoặc bản tóm tắt cho agent chính, nhờ đó cuộc hội thoại chính luôn gọn.

[System prompt (lời nhắc hệ thống)](https://broadrouter.com/vi/glossary/system-prompt/)

System prompt là đoạn chỉ dẫn mà ứng dụng gửi cho model ngôn ngữ trước cuộc hội thoại, thường là tin nhắn có vai trò system hoặc developer. Nó đặt vai trò, quy tắc, giọng điệu và định dạng đầu ra, và model được kỳ vọng tuân theo nó hơn các tin nhắn người dùng mâu thuẫn.

[Tham số seed](https://broadrouter.com/vi/glossary/seed-parameter/)

Tham số seed là một số nguyên bạn gửi kèm request để API cố gắng lấy mẫu cùng các token khi request giống hệt được lặp lại. OpenAI mô tả đây là best effort (nỗ lực tối đa): tính tất định không được đảm bảo, và trường system\_fingerprint cho biết khi cấu hình backend đã thay đổi.

[Thời gian tới token đầu tiên (TTFT)](https://broadrouter.com/vi/glossary/time-to-first-token/)

Thời gian tới token đầu tiên (TTFT) là khoảng thời gian từ lúc gửi request tới model ngôn ngữ cho tới khi token đầu ra đầu tiên đến. Nó gồm thời gian mạng, thời gian xếp hàng trên server và prefill, bước model đọc toàn bộ prompt, nên tăng theo độ dài prompt và tải.

[Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/)

Throughput (thông lượng), trong việc phục vụ LLM, là tổng khối lượng công việc một hệ thống hoàn thành trong một đơn vị thời gian trên mọi request đồng thời, thường đo bằng token đầu ra mỗi giây hoặc request mỗi giây. Nó khác với tốc độ từng luồng, tức tốc độ một request nhận token của nó.

[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

[tool\_choice (tham số chọn tool)](https://broadrouter.com/vi/glossary/tool-choice/)

tool\_choice là tham số request điều khiển việc dùng tool. Trong Chat Completions của OpenAI, giá trị có thể là auto (model tự quyết), required (phải gọi ít nhất một tool), none (không dùng tool), hoặc tên một function cụ thể để ép gọi. Các tùy chọn tương ứng của Anthropic là auto, any, tool và none.

[Văn bản RTL (viết từ phải sang trái, right-to-left)](https://broadrouter.com/vi/glossary/rtl-text/)

Văn bản RTL (right-to-left) là chữ viết hiển thị từ phải sang trái, như tiếng Ả Rập hay tiếng Do Thái. Máy tính lưu nó theo thứ tự đọc logic; khi RTL trộn với chữ trái sang phải, chữ số, tên model hay code, Unicode Bidirectional Algorithm quyết định thứ tự hiển thị.

[Vector database (cơ sở dữ liệu vector)](https://broadrouter.com/vi/glossary/vector-database/)

Vector database (cơ sở dữ liệu vector) là kho dữ liệu lưu các vector embedding, thường kèm văn bản gốc và metadata, và trả lời truy vấn láng giềng gần nhất: với một vector truy vấn, nó trả về các vector đã lưu giống nhất, thường đo bằng khoảng cách cosine, khoảng cách Euclid hoặc tích vô hướng.

## Model và token

[AI đa phương thức (multimodal AI)](https://broadrouter.com/vi/glossary/multimodal/)

AI đa phương thức là model hoặc hệ thống làm việc với nhiều loại dữ liệu, như văn bản, hình ảnh, video và audio. Một model đa phương thức có thể đọc ảnh cùng câu hỏi, hoặc nhận giọng nói và trả lời bằng văn bản. Vision-language model là loại phổ biến nhất.

[Ảo giác AI (hallucination)](https://broadrouter.com/vi/glossary/hallucination/)

Ảo giác (hallucination) là đầu ra của model ngôn ngữ nghe hợp lý nhưng sai, bịa đặt hoặc không được đầu vào hỗ trợ, như trích dẫn bịa, con số sai hay API không tồn tại. Nó xuất phát từ việc model dự đoán văn bản khả dĩ thay vì kiểm chứng sự thật.

[Arabizi](https://broadrouter.com/vi/glossary/arabizi/)

Arabizi là tiếng Ả Rập viết không chính thức bằng chữ Latin, dùng chữ số cho những âm không có trong bảng chữ Latin, như 3 thay cho ع. Nó phổ biến trên chat và mạng xã hội, chủ yếu là phương ngữ, không có chính tả chuẩn và thường trộn với tiếng Anh hoặc tiếng Pháp.

[AWQ (activation-aware weight quantization)](https://broadrouter.com/vi/glossary/awq/)

AWQ (activation-aware weight quantization) là phương pháp lượng tử hóa sau huấn luyện, nén trọng số LLM xuống độ chính xác thấp, thường là số nguyên 4-bit. Nó dùng thống kê activation từ một tập hiệu chuẩn nhỏ để tìm kênh trọng số quan trọng nhất và scale chúng để bớt mất độ chính xác, không cần lan truyền ngược.

[Benchmark LLM (LLM benchmark)](https://broadrouter.com/vi/glossary/llm-benchmark/)

Benchmark LLM là một bộ tác vụ cố định, thường công khai, kèm cách chấm điểm, dùng để đo và so sánh model ngôn ngữ ở một kỹ năng như kiến thức, lập trình hay nhận dạng giọng nói. Điểm benchmark cho thấy năng lực tương đối trên bài kiểm tra đó, không phải hiệu quả trên workload của bạn.

[Byte pair encoding (BPE)](https://broadrouter.com/vi/glossary/bpe/)

Byte pair encoding (BPE) là thuật toán tách token theo subword, bắt đầu từ từng ký tự hoặc byte rồi liên tục gộp cặp liền kề xuất hiện nhiều nhất thành một mục từ vựng mới, tới khi đạt kích thước từ vựng mục tiêu. Phần lớn tokenizer LLM hiện nay dùng BPE hoặc biến thể cấp byte của nó.

[Chain-of-thought (CoT)](https://broadrouter.com/vi/glossary/chain-of-thought/)

Chain-of-thought (CoT, chuỗi suy nghĩ) là kỹ thuật prompt trong đó model ngôn ngữ được cho xem ví dụ hoặc được yêu cầu viết các bước suy luận trung gian trước câu trả lời cuối. Nó tăng độ chính xác với bài toán nhiều bước như số học và logic, và model suy luận giờ tự sinh ra nó.

[Chat template](https://broadrouter.com/vi/glossary/chat-template/)

Chat template là quy tắc định dạng, thường viết bằng Jinja và đi kèm tokenizer của model, chuyển danh sách message có vai trò thành một chuỗi token duy nhất mà model cần, kể cả các token điều khiển đặc biệt. Dùng sai template có thể làm câu trả lời của model kém đi rõ rệt.

[Chuẩn hóa văn bản tiếng Ả Rập](https://broadrouter.com/vi/glossary/arabic-text-normalization/)

Chuẩn hóa văn bản tiếng Ả Rập là bước đưa các cách viết khác nhau của cùng một từ về một dạng trước khi so khớp: xóa dấu phụ và tatweel, thống nhất các dạng alef, thường đổi ى thành ي, ة thành ه. Chỉ áp dụng cho khóa tìm kiếm và đánh giá, không cho văn bản hiển thị.

[Chưng cất tri thức (knowledge distillation)](https://broadrouter.com/vi/glossary/distillation/)

Distillation, hay chưng cất tri thức (knowledge distillation), là phương pháp huấn luyện trong đó một model trò nhỏ hơn học tái tạo đầu ra của một model thầy lớn hơn, như phân phối xác suất hay câu trả lời sinh ra, để model trò giữ được phần lớn chất lượng của model thầy với chi phí chạy thấp hơn.

[Context compaction (nén context)](https://broadrouter.com/vi/glossary/context-compaction/)

Context compaction là cách tóm tắt một cuộc hội thoại sắp chạm giới hạn context window rồi tiếp tục phiên làm việc từ bản tóm tắt đó, để agent giữ lại các quyết định và trạng thái quan trọng trong khi bỏ đi lịch sử thô như kết quả tool cũ.

[Context engineering (kỹ thuật quản lý context)](https://broadrouter.com/vi/glossary/context-engineering/)

Context engineering là công việc chọn và duy trì tập token mà model ngôn ngữ thấy ở mỗi request, gồm system prompt, định nghĩa tool, lịch sử hội thoại, tài liệu truy xuất và ghi chú, để model nhận được tập thông tin nhỏ nhất nhưng giàu tín hiệu nhất cần cho tác vụ.

[Context rot (suy giảm khi context dài)](https://broadrouter.com/vi/glossary/context-rot/)

Context rot là sự suy giảm dần về độ chính xác và độ tin cậy của model ngôn ngữ khi input dài ra, ngay cả khi tác vụ không đổi và input vẫn nằm gọn trong context window. Thuật ngữ này phổ biến nhờ một báo cáo kỹ thuật năm 2025 của Chroma thử nghiệm 18 model.

[Context window (cửa sổ ngữ cảnh)](https://broadrouter.com/vi/glossary/context-window/)

Context window là số token tối đa mà model ngôn ngữ xử lý được trong một request. Nó bao gồm prompt, lịch sử hội thoại, định nghĩa tool, hình ảnh và đầu ra được sinh ra, kể cả token suy luận. Phần không vừa phải được cắt bớt, tóm tắt hoặc chia ra nhiều request.

[Dấu phụ tiếng Ả Rập (tashkeel)](https://broadrouter.com/vi/glossary/arabic-diacritics/)

Dấu phụ tiếng Ả Rập, hay tashkeel, là các dấu nhỏ viết trên hoặc dưới chữ cái để biểu thị nguyên âm ngắn, phụ âm kép và việc không có nguyên âm. Chúng không bắt buộc: phần lớn văn bản, kể cả tin tức, bỏ chúng, nên người đọc và phần mềm phải đoán nguyên âm từ ngữ cảnh.

[Embedding (vector nhúng)](https://broadrouter.com/vi/glossary/embeddings/)

Embedding là danh sách số thực (vector) mà một model tạo ra để biểu diễn đoạn văn bản, hình ảnh hay đầu vào khác. Đầu vào có nghĩa tương tự nhận vector gần nhau, nên khoảng cách giữa vector dùng được để xếp hạng kết quả tìm kiếm, gom cụm tài liệu hoặc tìm mục liên quan.

[Eval (đánh giá LLM)](https://broadrouter.com/vi/glossary/eval/)

Eval (viết tắt của evaluation, đánh giá) là một bài kiểm thử lặp lại được cho model ngôn ngữ hoặc prompt: một tập input cố định, mô tả thế nào là đầu ra tốt, và một bộ chấm điểm (code, con người hoặc một model khác) chấm từng đầu ra để có thể so sánh các phiên bản.

[Few-shot prompting (prompt kèm ví dụ)](https://broadrouter.com/vi/glossary/few-shot-prompting/)

Few-shot prompting là kỹ thuật trong đó prompt chứa một số ít ví dụ input-output mẫu trước input thật, để model ngôn ngữ suy ra tác vụ và định dạng từ đó. Trọng số của model không thay đổi; zero-shot không dùng ví dụ nào và one-shot dùng một ví dụ.

[Fine-tuning (tinh chỉnh model)](https://broadrouter.com/vi/glossary/fine-tuning/)

Fine-tuning (tinh chỉnh) là quá trình tiếp tục huấn luyện một model ngôn ngữ đã được huấn luyện trước trên một tập dữ liệu nhỏ dành riêng cho tác vụ, như hội thoại mẫu, để trọng số thay đổi và model làm tác vụ hay phong cách đó ổn định hơn mà không cần chỉ dẫn dài trong mỗi prompt.

[FP8 (số thực dấu phẩy động 8-bit)](https://broadrouter.com/vi/glossary/fp8/)

FP8 là định dạng số dấu phẩy động 8-bit dùng trong deep learning, có hai cách mã hóa: E4M3 với 4 bit số mũ và 3 bit phần định trị, và E5M2 với 5 bit số mũ và 2 bit phần định trị. Nó dùng nửa bộ nhớ của định dạng 16-bit và chạy native trên GPU đời mới.

[Frequency penalty và presence penalty](https://broadrouter.com/vi/glossary/frequency-and-presence-penalty/)

Frequency penalty và presence penalty là các thiết lập lấy mẫu hạ điểm của những token đã có trong đầu ra. Presence penalty áp dụng một lần khi token đã xuất hiện; frequency penalty tăng dần theo mỗi lần lặp. Trong API của OpenAI, cả hai nằm trong khoảng -2.0 đến 2.0, mặc định là 0.

[GGUF (định dạng file model của llama.cpp)](https://broadrouter.com/vi/glossary/gguf/)

GGUF là định dạng file nhị phân để lưu model ngôn ngữ phục vụ inference với các runtime dựa trên GGML như llama.cpp. Một file GGUF chứa trọng số, thường đã lượng tử hóa, cùng metadata cần để nạp model, gồm thông tin tokenizer và kiến trúc, và có thể được memory-map để nạp nhanh.

[Giấy phép model (model license)](https://broadrouter.com/vi/glossary/model-license/)

Giấy phép model là điều khoản pháp lý quy định cách dùng, sửa đổi và chia sẻ trọng số, mã nguồn và đầu ra của model. Model trọng số mở dùng giấy phép phần mềm chuẩn như Apache 2.0, MIT, hoặc giấy phép riêng có thể thêm điều kiện, như giới hạn với dịch vụ thương mại lớn.

[Grounding (neo câu trả lời vào nguồn)](https://broadrouter.com/vi/glossary/grounding/)

Grounding là cách kết nối đầu ra của model ngôn ngữ với các nguồn thông tin cụ thể, kiểm chứng được, như tài liệu, kết quả tìm kiếm hay bản ghi cơ sở dữ liệu, và yêu cầu model trả lời dựa trên đó. Câu trả lời có grounding truy được về nguồn và ít dữ kiện bịa đặt hơn.

[Hamza (chữ hamza trong tiếng Ả Rập)](https://broadrouter.com/vi/glossary/hamza/)

Hamza (ء) là chữ cái tiếng Ả Rập biểu thị âm tắc thanh hầu. Nó đứng riêng hoặc nằm trên chữ đỡ: alef (أ إ), waw (ؤ) hoặc yeh (ئ), còn آ là alef kết hợp madda. Vì văn bản gõ tay viết hamza không nhất quán, tìm kiếm và chấm giọng nói thường gộp các dạng alef về ا.

[Image token (token hình ảnh)](https://broadrouter.com/vi/glossary/image-tokens/)

Token hình ảnh là các token đầu vào mà model ngôn ngữ thị giác dùng để biểu diễn một ảnh trong prompt. Nhà cung cấp tính chúng từ kích thước ảnh, thường bằng cách resize rồi chia thành patch hoặc tile cố định, và tính tiền như token văn bản, nên ảnh lớn tốn hơn.

[INT4 (lượng tử hóa 4-bit)](https://broadrouter.com/vi/glossary/int4/)

INT4 là định dạng số nguyên 4-bit biểu diễn được 16 mức. Trong inference LLM, nó thường chỉ lượng tử hóa 4-bit chỉ áp dụng cho trọng số (W4A16): trọng số được lưu ở INT4 kèm hệ số scale và giải nén về 16-bit khi tính toán, tốn khoảng một phần tư bộ nhớ so với trọng số 16-bit.

[KV cache (bộ nhớ đệm key-value)](https://broadrouter.com/vi/glossary/kv-cache/)

KV cache là vùng bộ nhớ nơi model transformer lưu key và value attention đã tính cho mọi token đã xử lý, để mỗi token mới dùng lại thay vì tính lại cả chuỗi. Nó lớn dần theo độ dài context và thường giới hạn số request một GPU phục vụ được.

[LLM-as-a-judge (LLM làm giám khảo)](https://broadrouter.com/vi/glossary/llm-as-judge/)

LLM-as-a-judge là phương pháp đánh giá trong đó một model ngôn ngữ chấm đầu ra của model khác: chấm một câu trả lời theo rubric hoặc chọn câu tốt hơn trong hai câu. Nó gần với đánh giá của con người, rẻ hơn nhiều, nhưng có thiên lệch như ưu tiên câu đầu tiên hoặc câu dài hơn.

[Logprobs (log xác suất)](https://broadrouter.com/vi/glossary/logprobs/)

Logprobs là log xác suất mà một model ngôn ngữ đã gán cho các token nó sinh ra. API trả về logprobs sẽ cho thấy, với mỗi token đầu ra, model đánh giá token đó khả năng cao đến đâu, và tùy chọn thêm các token thay thế khả năng cao nhất ở vị trí đó.

[LoRA (low-rank adaptation)](https://broadrouter.com/vi/glossary/lora/)

LoRA (low-rank adaptation) là phương pháp fine-tune tiết kiệm tham số: đóng băng trọng số của model đã huấn luyện sẵn và chỉ huấn luyện một cặp ma trận low-rank nhỏ cho các layer được chọn. Phần cập nhật có thể lưu thành adapter nhỏ hoặc gộp vào trọng số, không thêm độ trễ inference.

[Lost in the middle (lạc ở giữa)](https://broadrouter.com/vi/glossary/lost-in-the-middle/)

Lost in the middle là xu hướng đã được quan sát ở các model ngôn ngữ: chúng dùng thông tin liên quan tốt nhất khi nó nằm gần đầu hoặc cuối một đầu vào dài, và kém nhất khi nó nằm ở giữa. Tên gọi xuất phát từ nghiên cứu năm 2023 của Liu và cộng sự.

[Lượng tử hóa (quantization)](https://broadrouter.com/vi/glossary/quantization/)

Lượng tử hóa (quantization) là quá trình lưu các con số của mạng nơ-ron, chủ yếu là trọng số, ở định dạng độ chính xác thấp hơn như 8-bit hoặc 4-bit thay vì 16-bit, để model dùng ít bộ nhớ hơn và thường chạy nhanh hơn. Phương pháp tốt giữ mức suy giảm độ chính xác nhỏ.

[max\_tokens (giới hạn token đầu ra)](https://broadrouter.com/vi/glossary/max-tokens/)

max\_tokens là tham số của API LLM đặt số token tối đa mà model được sinh trong một phản hồi. Khi chạm giới hạn, việc sinh dừng lại và phản hồi được đánh dấu là bị cắt, ví dụ finish\_reason được đặt là "length".

[Mixture of experts (MoE)](https://broadrouter.com/vi/glossary/mixture-of-experts/)

Mixture of experts (MoE) là kiến trúc mạng nơ-ron trong đó một layer chứa nhiều mạng con expert và một router đã học chỉ gửi mỗi token tới vài expert trong số đó. Model ngôn ngữ MoE có tổng số tham số lớn nhưng mỗi token chỉ dùng một tập con active nhỏ.

[Model trọng số mở (open-weight model)](https://broadrouter.com/vi/glossary/open-weight-model/)

Model trọng số mở (open-weight) là model học máy có trọng số đã huấn luyện được công bố để ai cũng tải về và chạy, thường kèm giấy phép có điều kiện. Nó khác AI mã nguồn mở hoàn toàn, vốn công bố thêm code huấn luyện và chi tiết dữ liệu huấn luyện để người khác tái tạo model.

[Nhận dạng ký tự quang học (OCR)](https://broadrouter.com/vi/glossary/ocr/)

Nhận dạng ký tự quang học (OCR) là công nghệ phát hiện chữ in hoặc chữ viết tay trong ảnh, bản scan hay PDF và chuyển thành ký tự máy đọc được. OCR cổ điển trả về văn bản và vị trí trên trang; vision-language model có thể đọc chữ và trả lời câu hỏi về nó ngay.

[Nhận dạng phương ngữ tiếng Ả Rập](https://broadrouter.com/vi/glossary/arabic-dialect-identification/)

Nhận dạng phương ngữ tiếng Ả Rập là bài toán xác định một văn bản hay bản ghi âm thuộc biến thể nào, như Ai Cập, vùng Vịnh, Levant, Maghreb hay tiếng Ả Rập chuẩn hiện đại, ở cấp vùng, quốc gia hoặc thành phố. Nó dùng để định tuyến tin nhắn, chọn prompt và chia tập đánh giá.

[Nhận dạng thực thể có tên (NER)](https://broadrouter.com/vi/glossary/named-entity-recognition/)

Nhận dạng thực thể có tên (NER) là tác vụ tìm các tên trong văn bản và gán cho mỗi tên một loại, như người, tổ chức hay địa điểm. Hệ thống cổ điển gán nhãn từng token; với LLM, người ta thường yêu cầu trả về danh sách thực thể dạng JSON rồi đối chiếu với văn bản gốc.

[Phương ngữ tiếng Ả Rập (dialectal Arabic)](https://broadrouter.com/vi/glossary/dialectal-arabic/)

Phương ngữ tiếng Ả Rập là tiếng Ả Rập nói hằng ngày của một vùng hay thành phố, như tiếng Ả Rập Ai Cập, vùng Vịnh, Levant hay Maghreb. Chúng khác MSA về âm, từ vựng và ngữ pháp, không có chính tả chuẩn và ngày càng được viết trên mạng, nên khó hơn với model ngôn ngữ.

[Prefill và decode](https://broadrouter.com/vi/glossary/prefill-and-decode/)

Prefill và decode là hai giai đoạn của LLM inference. Ở prefill, model xử lý song song toàn bộ prompt và lấp đầy KV cache; ở decode, model sinh câu trả lời từng token một, dùng lại cache đó. Prefill chủ yếu quyết định time to first token; decode quyết định tốc độ đầu ra.

[Prompt engineering (kỹ thuật viết prompt)](https://broadrouter.com/vi/glossary/prompt-engineering/)

Prompt engineering là quá trình viết, sắp xếp và kiểm thử chỉ dẫn đưa cho model ngôn ngữ để nó luôn tạo ra đầu ra đáp ứng yêu cầu. Nó bao gồm message vai trò, chỉ dẫn rõ ràng, ví dụ, định dạng và đo kết quả bằng các test case.

[Số token mỗi giây (tokens per second, TPS)](https://broadrouter.com/vi/glossary/tokens-per-second/)

Số token mỗi giây (TPS) là tốc độ model ngôn ngữ sinh token đầu ra, thường đo cho một request sau khi token đầu tiên tới. Nó quyết định câu trả lời stream nhanh đến đâu. Cộng trên mọi request đồng thời, nó thành thông lượng hệ thống; thời gian chờ trước token đầu tiên được đo riêng.

[Speculative decoding (giải mã suy đoán)](https://broadrouter.com/vi/glossary/speculative-decoding/)

Speculative decoding là kỹ thuật inference trong đó một model nháp nhỏ, nhanh đề xuất vài token tiếp theo, rồi model đích lớn kiểm tra chúng trong một lượt forward pass và giữ lại các token được chấp nhận. Nó tăng tốc sinh văn bản mà không thay đổi phân phối của output.

[Taa marbuta (chữ ة tiếng Ả Rập)](https://broadrouter.com/vi/glossary/taa-marbuta/)

Taa marbuta (ة, U+0629) là chữ cái tiếng Ả Rập chỉ xuất hiện ở cuối từ, thường đánh dấu danh từ và tính từ giống cái. Nó trông như heh (ه, U+0647) có thêm hai chấm, nên văn bản gõ tay hay lẫn hai chữ này, và nhiều bộ chuẩn hóa tìm kiếm đổi ة thành ه.

[Temperature (nhiệt độ)](https://broadrouter.com/vi/glossary/temperature/)

Temperature là tham số sampling điều chỉnh mức ngẫu nhiên trong đầu ra của model ngôn ngữ. Model chia điểm của từng token cho temperature trước khi đổi thành xác suất: giá trị thấp làm token khả dĩ nhất chiếm ưu thế, giá trị cao làm phân phối phẳng hơn nên token ít khả dĩ được chọn thường hơn.

[Tiếng Ả Rập chuẩn hiện đại (MSA)](https://broadrouter.com/vi/glossary/msa/)

Tiếng Ả Rập chuẩn hiện đại (MSA) là dạng tiếng Ả Rập chuẩn hóa dùng trong văn viết, tin tức, giáo dục và phát biểu trang trọng khắp thế giới Ả Rập. Không ai dùng nó làm tiếng mẹ đẻ hằng ngày: người ta nói phương ngữ như Ai Cập hay vùng Vịnh và chuyển sang MSA khi trang trọng.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Token suy luận (reasoning tokens)](https://broadrouter.com/vi/glossary/reasoning-tokens/)

Token suy luận (reasoning tokens) là token mà model suy luận sinh ra để giải quyết vấn đề trước khi viết câu trả lời hiển thị. Chúng thường được tính phí như token đầu ra, tính vào giới hạn đầu ra và context window, và có thể bị API ẩn đi hoặc tóm tắt.

[Tokenizer (bộ tách token)](https://broadrouter.com/vi/glossary/tokenizer/)

Tokenizer là thành phần chuyển văn bản thành chuỗi token ID số nguyên mà mô hình ngôn ngữ đọc, và chuyển các ID được sinh ra trở lại thành văn bản. Mỗi model có tokenizer riêng, nên cùng một văn bản có thể cho ra số token khác nhau trên các model khác nhau.

[Top-p (nucleus sampling)](https://broadrouter.com/vi/glossary/top-p/)

Top-p, còn gọi là nucleus sampling, là phương pháp giải mã trong đó model ngôn ngữ chỉ lấy mẫu token tiếp theo từ tập nhỏ nhất gồm các token khả năng cao nhất có tổng xác suất đạt ngưỡng p, ví dụ 0,9, và bỏ phần đuôi ít khả năng.

[Vision-language model (VLM, mô hình thị giác-ngôn ngữ)](https://broadrouter.com/vi/glossary/vision-language-model/)

Vision-language model (VLM) là model nhận đầu vào gồm cả ảnh và văn bản rồi tạo ra văn bản, nhờ đó có thể mô tả hình ảnh, trả lời câu hỏi về ảnh và đọc tài liệu, biểu đồ hay ảnh chụp màn hình. VLM còn được gọi là model image-text-to-text hoặc model đa phương thức.

[vLLM](https://broadrouter.com/vi/glossary/vllm/)

vLLM là thư viện mã nguồn mở để chạy suy luận và phục vụ (serving) LLM, ban đầu được phát triển tại Sky Computing Lab của UC Berkeley. Nó quản lý bộ nhớ KV cache bằng PagedAttention, gom request liên tục theo continuous batching, hỗ trợ nhiều định dạng lượng tử hóa và cung cấp HTTP server tương thích OpenAI.

[Vocabulary size (kích thước từ vựng)](https://broadrouter.com/vi/glossary/vocabulary-size/)

Vocabulary size là số token khác nhau trong tokenizer của model ngôn ngữ, mỗi token có ID và embedding riêng. Từ vựng lớn hơn có thể mã hóa văn bản thông dụng bằng ít token hơn, nhưng làm lớp embedding, lớp đầu ra to hơn, và chỉ giúp với loại văn bản đã dùng huấn luyện từ vựng.

## Giá và thanh toán

[Giới hạn chi tiêu (spend limit)](https://broadrouter.com/vi/glossary/spend-limit/)

Giới hạn chi tiêu (spend limit) là mức trần số tiền một tài khoản, project hoặc key API được tiêu trong một kỳ, thường là một tháng. Khi chạm mức này, nhà cung cấp từ chối request tiếp theo, thường bằng lỗi HTTP 429 hoặc 400, cho đến khi sang kỳ mới hoặc giới hạn được nâng.

[Gói LLM giá cố định (flat-rate LLM plan)](https://broadrouter.com/vi/glossary/flat-rate-llm-plan/)

Gói LLM giá cố định tính một mức giá cố định cho mỗi kỳ, ví dụ một tháng, để dùng API mô hình ngôn ngữ thay vì tính theo token. Gói này thường giới hạn thứ khác, như số request đồng thời, tốc độ, model hay khung giờ sử dụng, nên giới hạn quan trọng không kém giá.

[GPU-hour (giờ GPU)](https://broadrouter.com/vi/glossary/gpu-hour/)

GPU-hour (giờ GPU) là một bộ xử lý đồ họa được dùng trong một giờ. Nhà cung cấp cloud tính tiền instance GPU thuê theo giờ hoặc theo giây, còn nhà nghiên cứu dùng GPU-hour để nói một job tốn bao nhiêu tính toán. Bạn trả tiền cho thời gian của máy, dù nó có đang làm việc hay không.

[Tín dụng trả trước (prepaid credit)](https://broadrouter.com/vi/glossary/prepaid-credit/)

Tín dụng trả trước là tiền nạp vào tài khoản API trước khi sử dụng. Mỗi request trừ chi phí của nó vào số dư, và khi số dư hết, các request tính theo mức dùng dừng lại cho tới khi bạn nạp thêm. Mức chi tiêu không vượt quá số tiền đã nạp.

[Token đầu vào từ cache (cached input tokens)](https://broadrouter.com/vi/glossary/cached-input-tokens/)

Token đầu vào từ cache là token prompt mà nhà cung cấp LLM vừa xử lý gần đây và có thể dùng lại từ cache thay vì tính toán lại, thường là phần đầu lặp lại như system prompt hoặc tài liệu. Nhà cung cấp tính giá chúng thấp hơn token đầu vào mới.

[Token đầu vào và đầu ra (input and output tokens)](https://broadrouter.com/vi/glossary/input-and-output-tokens/)

Token đầu vào là token mà model ngôn ngữ đọc trong một request, gồm system prompt, lịch sử hội thoại, định nghĩa tool và hình ảnh. Token đầu ra là token nó sinh ra để trả lời, kể cả phần suy luận. API LLM thường tính giá riêng cho hai loại, và đầu ra thường đắt hơn.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

## Quyền riêng tư và bảo mật

[API key (khóa API)](https://broadrouter.com/vi/glossary/api-key/)

API key là một chuỗi bí mật dùng để xác định và cấp quyền cho client gọi API. API LLM thường yêu cầu nó trong header Authorization: Bearer, và bất kỳ ai giữ key đều có thể gửi request được tính phí vào tài khoản sở hữu key đó.

[Bên xử lý phụ (subprocessor)](https://broadrouter.com/vi/glossary/subprocessor/)

Bên xử lý phụ (subprocessor) là bên thứ ba được bên xử lý thuê xử lý dữ liệu cá nhân thay bên kiểm soát. Với API LLM, đó có thể là GPU host, đối tác inference và capacity dự phòng. Theo Điều 28 GDPR, họ cần bên kiểm soát cho phép và chịu cùng nghĩa vụ bảo vệ dữ liệu.

[Data residency (lưu trú dữ liệu)](https://broadrouter.com/vi/glossary/data-residency/)

Data residency (lưu trú dữ liệu) là yêu cầu hoặc cam kết rằng dữ liệu được lưu trữ và xử lý tại một quốc gia hay khu vực cụ thể. Với LLM API, nó gồm nơi xử lý prompt khi inference và nơi đặt nội dung đã lưu, thường không gồm dữ liệu tài khoản và thanh toán.

[DPA (thỏa thuận xử lý dữ liệu)](https://broadrouter.com/vi/glossary/dpa/)

DPA (thỏa thuận xử lý dữ liệu) là hợp đồng giữa bên kiểm soát và bên xử lý về cách bên xử lý xử lý dữ liệu cá nhân. Điều 28(3) GDPR bắt buộc DPA và liệt kê nội dung: chỉ thị bằng văn bản, bảo mật, an ninh, quy tắc subprocessor, xóa hoặc trả dữ liệu, kiểm toán.

[GDPR (Quy định chung về bảo vệ dữ liệu của EU)](https://broadrouter.com/vi/glossary/gdpr/)

GDPR (Quy định (EU) 2016/679) là luật của EU về xử lý dữ liệu cá nhân, áp dụng từ 25/5/2018 cho tổ chức thành lập tại EU và một số tổ chức ngoài EU. Với LLM API, GDPR điều chỉnh hợp đồng với bên xử lý, chuyển dữ liệu quốc tế và tối thiểu hóa dữ liệu.

[Guardrails (lớp bảo vệ cho LLM)](https://broadrouter.com/vi/glossary/guardrails/)

Guardrails là các bước kiểm tra ứng dụng chạy quanh lời gọi model ngôn ngữ để giữ nó trong giới hạn. Guardrail input sàng lọc thứ đi vào model, guardrail output kiểm tra thứ đi ra, và guardrail tool xác thực hành động trước khi chạy. Kiểm tra thất bại thì request bị chặn, sửa hoặc gắn cờ.

[IP allow list (danh sách IP được phép)](https://broadrouter.com/vi/glossary/ip-allow-list/)

IP allow list là cơ chế bảo mật chỉ chấp nhận request từ các địa chỉ IP hoặc dải CIDR trong danh sách và từ chối mọi nguồn khác. Trên API, nó hạn chế thiệt hại khi key bị lộ, vì key không hoạt động từ các mạng không có trong danh sách.

[Jailbreak (LLM)](https://broadrouter.com/vi/glossary/jailbreak/)

Jailbreak là đầu vào được tạo ra để khiến một model ngôn ngữ bỏ qua huấn luyện an toàn hoặc các quy tắc mà ứng dụng triển khai nó đặt ra, nhằm sinh nội dung hay thực hiện hành động mà bình thường nó sẽ từ chối. OWASP coi jailbreak là một dạng prompt injection.

[Không lưu giữ dữ liệu (zero data retention, ZDR)](https://broadrouter.com/vi/glossary/zero-data-retention/)

Không lưu giữ dữ liệu (ZDR) là chính sách mà nhà cung cấp AI chỉ xử lý prompt và đầu ra để phục vụ request, sau đó không lưu nội dung đó vào log, cache hay dữ liệu huấn luyện. Các bản ghi không chứa nội dung như số token và thời gian xử lý thường vẫn được giữ.

[PDPL (luật bảo vệ dữ liệu Ả Rập Xê Út và UAE)](https://broadrouter.com/vi/glossary/pdpl/)

PDPL (Personal Data Protection Law) là tên chung của luật dữ liệu cá nhân Ả Rập Xê Út (Sắc lệnh M/19, SDAIA thực thi) và Sắc luật Liên bang số 45/2021 của UAE. Cả hai điều chỉnh việc xử lý dữ liệu cá nhân và việc chuyển ra nước ngoài, kể cả prompt gửi API LLM nước ngoài.

[PII (thông tin nhận dạng cá nhân)](https://broadrouter.com/vi/glossary/pii/)

PII (thông tin nhận dạng cá nhân) là thông tin giúp phân biệt hoặc truy ra danh tính một người, như tên, số định danh, dữ liệu sinh trắc, cùng thông tin gắn được với người đó. GDPR dùng khái niệm rộng hơn là dữ liệu cá nhân. Với LLM, che PII là gỡ nó khỏi prompt trước khi gửi.

[Prompt injection (tấn công chèn prompt)](https://broadrouter.com/vi/glossary/prompt-injection/)

Prompt injection là kiểu tấn công trong đó văn bản đưa vào language model, do người dùng nhập hoặc ẩn trong trang web, email, tệp hay kết quả tool, làm thay đổi hành vi của model trái với ý định của lập trình viên. OWASP xếp nó hạng nhất (LLM01:2025) trong Top 10 cho ứng dụng LLM.

## Giọng nói

[Chuyển giọng nói thành văn bản (speech-to-text)](https://broadrouter.com/vi/glossary/speech-to-text/)

Chuyển giọng nói thành văn bản, hay nhận dạng giọng nói tự động (ASR), là công nghệ biến lời nói thành chữ viết. API nhận tệp hoặc luồng âm thanh, trả về bản chép lời, thường tính theo phút. Độ chính xác đo bằng tỷ lệ lỗi từ, thay đổi theo giọng, phương ngữ và chất lượng ghi âm.

[Chuyển văn bản thành giọng nói (text-to-speech, TTS)](https://broadrouter.com/vi/glossary/text-to-speech/)

Text-to-speech (TTS), hay tổng hợp giọng nói, chuyển văn bản viết thành âm thanh lời nói. Một API TTS nhận văn bản, một giọng đọc và định dạng output như MP3 hoặc WAV, rồi trả về giọng nói được sinh ra. Nó là chiều ngược lại của speech-to-text, vốn chuyển âm thanh thành văn bản.

[Code-switching (chuyển mã ngôn ngữ)](https://broadrouter.com/vi/glossary/code-switching/)

Code-switching là việc dùng hai hay nhiều ngôn ngữ, hoặc nhiều biến thể của một ngôn ngữ, trong cùng một cuộc hội thoại hay một câu, khi nói hoặc viết. Ví dụ: người nói tiếng Ả Rập chêm từ tiếng Anh vào phương ngữ, hoặc chuyển qua lại giữa tiếng Ả Rập chuẩn hiện đại và phương ngữ của mình.

[Ogg Opus](https://broadrouter.com/vi/glossary/ogg-opus/)

Ogg Opus là audio được mã hóa bằng codec Opus (RFC 6716) và lưu trong container Ogg (RFC 7845). Nó được thiết kế cho giọng nói và audio tương tác ở bitrate thấp, và là định dạng WhatsApp dùng cho tin nhắn thoại, thường là tệp .ogg hoặc .opus.

[Phụ đề SRT (SRT subtitles)](https://broadrouter.com/vi/glossary/srt-subtitles/)

SRT (SubRip) là định dạng phụ đề văn bản thuần. Mỗi phụ đề gồm số thứ tự, thời gian bắt đầu và kết thúc viết dạng hh:mm:ss,mmm --> hh:mm:ss,mmm, một hoặc nhiều dòng chữ, và một dòng trống. WebVTT là định dạng web tương tự dùng cho video HTML.

[Speaker diarization (phân tách người nói)](https://broadrouter.com/vi/glossary/diarization/)

Speaker diarization (phân tách người nói) là tác vụ chia một bản ghi âm thành các đoạn theo người nói, trả lời câu hỏi “ai nói lúc nào”. Mỗi đoạn lời nói được gắn một ID ẩn danh như SPEAKER\_00, và thường được kết hợp với bản chép lời để cho thấy ai nói từng dòng.

[Tần số lấy mẫu (sample rate)](https://broadrouter.com/vi/glossary/sample-rate/)

Tần số lấy mẫu (sample rate) là số mẫu âm thanh ghi được mỗi giây, đo bằng hertz (Hz). Model nhận dạng giọng nói thường cần audio mono 16.000 Hz (16 kHz). Cùng với bit depth và số kênh, sample rate quyết định dung lượng mỗi phút của file audio không nén.

[Timestamp trong speech-to-text (dấu thời gian ASR)](https://broadrouter.com/vi/glossary/timestamps-asr/)

Timestamp trong speech-to-text là thời điểm bắt đầu và kết thúc, tính bằng giây, gắn với từng phần của bản phiên âm. Timestamp theo đoạn bao một cụm từ hoặc câu; timestamp theo từ gắn với từng từ. Chúng cần cho phụ đề, tìm kiếm trong bản ghi âm và căn văn bản theo người nói.

[Tỷ lệ lỗi ký tự (CER, character error rate)](https://broadrouter.com/vi/glossary/character-error-rate/)

Character error rate (CER, tỷ lệ lỗi ký tự) đo độ chính xác của bản chép lời hoặc OCR ở cấp ký tự: số phép thay thế, xóa và chèn cần để biến đầu ra thành văn bản tham chiếu, chia cho số ký tự trong văn bản tham chiếu. Càng thấp càng tốt, 0 là khớp hoàn toàn.

[VAD (phát hiện giọng nói)](https://broadrouter.com/vi/glossary/vad/)

Voice activity detection (VAD) là bước xử lý tín hiệu phân loại từng khung audio ngắn là có tiếng nói hay không. Hệ thống giọng nói dùng nó để bỏ qua khoảng lặng, tách bản ghi dài tại chỗ ngắt, nhận biết khi người nói đã dừng và tránh chép lời tiếng ồn nền.

[WAV](https://broadrouter.com/vi/glossary/wav/)

WAV (Waveform Audio File Format, hay WAVE) là một container audio xây trên định dạng RIFF của Microsoft và IBM. Nó thường chứa các mẫu PCM tuyến tính không nén, nên dung lượng dễ dự đoán: mỗi giây bằng tần số lấy mẫu nhân số byte mỗi mẫu nhân số kênh.

[Word error rate (WER, tỷ lệ lỗi từ)](https://broadrouter.com/vi/glossary/word-error-rate/)

Word error rate (WER, tỷ lệ lỗi từ) là thước đo độ chính xác tiêu chuẩn cho nhận dạng giọng nói: số lần thay thế, xóa và chèn từ cần để biến bản chép lời thành bản tham chiếu đúng, chia cho số từ trong bản tham chiếu. Càng thấp càng tốt.

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu tham chiếu API (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary&utm_content=sources)
