BroadRouter
Magsimula

Glosaryo ng LLM API

Na-update

Maiikli at may source na kahulugan ng mga terminong nakikita ng mga developer kapag tumatawag ng LLM o speech-to-text API: ano ang token at context window, paano binabago ng cached input at flat-rate plan ang bill, at ano ang ibig sabihin ng rate limit at zero data retention sa praktika.

Mga API at integration

AI agent
Ang AI agent ay isang system kung saan ang language model mismo ang nagdidirekta ng mga hakbang nito tungo sa isang layunin: pinipili nito kung aling tools ang tatawagin, binabasa ang mga resulta at umuulit hanggang makabuo ng huling sagot o maabot ang limit. Workflow naman ang karaniwang tawag sa fixed na script na tumatawag sa model sa takdang punto.
AI coding agent
Ang AI coding agent ay software tool kung saan gumagana ang isang language model sa codebase nang paulit-ulit sa isang loop: nagbabasa ng mga file, nag-e-edit ng mga ito, nagpapatakbo ng mga command gaya ng tests, binabasa ang output at nagpapasya ng susunod na hakbang hanggang matapos ang task o maabot ang limit.
Base URL
Ang base URL ay ang fixed na root address ng isang API, gaya ng https://api.example.com/v1, na idinudugtong ng client sa unahan ng bawat endpoint path, gaya ng /chat/completions. Sa mga OpenAI-compatible SDK, kapag pinalitan ang base URL, kasama ang API key at model ID, sa ibang provider na tatawag ang parehong code.
Batch API
Ang batch API ay asynchronous na LLM endpoint na tumatanggap ng maraming request nang sabay, kadalasan bilang file, pinoproseso ang mga ito sa loob ng nakatakdang window sa halip na agad-agad, at ibinabalik nang sabay-sabay ang mga resulta. May discount ang presyo ng batch request ng mga provider gaya ng OpenAI at Anthropic kumpara sa standard API nila.
BM25
Ang BM25 (Okapi BM25) ay ranking function para sa keyword search na nagbibigay ng score sa dokumento batay sa kung gaano kadalas lumalabas dito ang mga termino ng query, kung gaano kabihira ang mga terminong iyon sa buong collection, at kung gaano kahaba ang dokumento. Ito ang default na similarity sa Lucene at Elasticsearch.
Chat Completions API
Ang Chat Completions API ay HTTP endpoint ng OpenAI, POST /v1/chat/completions, na tumatanggap ng pangalan ng model at listahan ng mga message na may role, at ibinabalik ang susunod na message ng model. Ang hugis ng request at response nito ang naging karaniwang format na ginagamit din ng mga OpenAI-compatible na provider at SDK.
Chunking (RAG)
Ang chunking ay ang hakbang sa retrieval pipeline na naghahati sa mga dokumento sa mas maliliit na piraso, na tinatawag na chunks, bago i-embed at i-index ang mga ito. Itinatakda ng chunk size kung gaano karaming text ang laman ng bawat piraso, at inuulit ng chunk overlap ang ilang text sa magkatabing chunk para hindi mawala ang ideyang naputol.
Concurrency
Ang concurrency ay ang bilang ng request na sabay-sabay na in flight mula sa isang client. Madalas itong nililimitahan ng mga LLM API kada key o plan, hiwalay sa requests per minute, dahil humahawak ng GPU capacity ang bawat bukas na request hanggang matapos ang response nito.
Exponential backoff
Ang exponential backoff ay estratehiya sa pag-retry kung saan mas matagal na naghihintay ang client pagkatapos ng bawat pumalyang attempt, kadalasang dinodoble ang delay hanggang sa isang cap, bago sumubok ulit. Ikinakalat ng random na jitter sa bawat paghihintay ang mga retry ng maraming client para hindi sila sabay-sabay na tumama sa server.
finish_reason
Ang finish_reason ay field sa bawat choice ng chat completion response na nagsasabi kung bakit huminto ang model sa pagbuo. Sa format ng OpenAI, ang mga value ay stop, length, tool_calls, content_filter at ang deprecated na function_call. Sa Messages API ng Anthropic, stop_reason ang katumbas nito.
Hybrid search
Ang hybrid search ay paraan ng retrieval na nagpapatakbo ng keyword search, gaya ng BM25, at vector search sa embeddings para sa iisang query, saka pinagsasama ang dalawang ranked list sa isa, kadalasan gamit ang reciprocal rank fusion (RRF) o weighted sum ng mga normalized score.
Idempotency key
Ang idempotency key ay natatanging value, kadalasang random na ID gaya ng UUID, na ikinakabit ng client sa request na nagbabago ng state, gaya ng bayad o pagbili. Kapag ipinadala ulit ang parehong request gamit ang parehong key, ibinabalik ng server ang orihinal na resulta sa halip na gawin ulit ang aksyon.
Inference provider
Ang inference provider ay kumpanyang nagpapatakbo ng machine learning models, kadalasang open-weight na LLM, sa mga GPU na pag-aari, naka-lease o inuupahan nito, at nagbebenta ng access sa mga ito sa pamamagitan ng API, kadalasang may presyo kada token, request o yunit ng oras. Ito ang humahawak sa serving, scaling at hardware.
JSON mode
Ang JSON mode ay isang setting ng LLM API, response_format {"type": "json_object"} sa mga OpenAI-style na API, na ginagawang valid at nae-parse na JSON ang sagot ng model. Hindi tulad ng structured outputs na may JSON Schema, hindi nito ginagarantiya kung anong mga key, type o value ang laman ng object.
JSON Schema
Ang JSON Schema ay isang vocabulary, nakasulat sa JSON, para ilarawan at i-validate ang istruktura ng JSON data: mga type, required na field, pinapayagang value at nesting. 2020-12 ang kasalukuyang bersyon. Ginagamit ito ng mga LLM API para tukuyin ang tool parameters at ang eksaktong hugis na dapat sundin ng structured output.
Latency
Ang latency, para sa isang language model API, ay ang tagal ng isang request mula sa pagpapadala hanggang matanggap ang huling output token. Kabuuan ito ng time to first token at ng generation time, at kadalasang iniuulat bilang percentile gaya ng p50 at p95 sa halip na average.
LLM router
Ang LLM router ay software o serbisyo na nakapuwesto sa pagitan ng isang application at ng isa o higit pang language model API, at nagpapasya, para sa bawat request, kung aling model o provider ang hahawak dito, gamit ang mga rule gaya ng gastos, latency, availability o uri ng task.
MCP (Model Context Protocol)
Ang MCP (Model Context Protocol) ay isang open protocol na nakabatay sa JSON-RPC 2.0 na nag-i-standardise kung paano kumokonekta ang mga LLM application sa external na tools at data. Naglalantad ang MCP server ng tools, resources at prompts; hinahanap ito ng MCP client sa host application at ipinapasa sa server ang mga tool call ng model.
Model deprecation
Ang model deprecation ay kapag inanunsyo ng isang API provider na hihinto na ang pag-aalok ng isang model, kadalasang may binanggit na retirement o shutdown date at inirerekomendang kapalit. Pagkatapos ng petsang iyon, pumapalya ang mga request sa model, kaya kailangang lumipat ang mga application sa ibang model ID bago iyon.
Model fallback
Ang model fallback ay reliability pattern kung saan nire-retry ang pumalyang LLM request sa ibang model o provider mula sa isang nakaayos na listahan. Puwedeng i-trigger ito ng error, rate limit, context-length error o pagtanggi dahil sa content policy. Tumatakbo ito sa client mo o sa isang gateway sa harap ng mga API.
Multi-agent system
Ang multi-agent system ay isang LLM application kung saan ilang agent, bawat isa may sariling prompt, tools at context, ang gumagawa sa mga bahagi ng iisang task. Karaniwang disenyo ang orchestrator-worker: nagpaplano ang lead agent, nagpapatakbo ng mga worker agent nang sabay-sabay at pinagsasama ang mga resulta nila.
OpenAI-compatible API
Ang OpenAI-compatible API ay isang HTTP API na tumatanggap ng parehong request at response format gaya ng OpenAI API, halimbawa POST /v1/chat/completions, kaya magagamit ito ng mga OpenAI SDK at tool sa pagpalit lang ng base URL, API key at pangalan ng model.
Parallel tool calls
Ang parallel tool calls ay kapag nagbalik ang isang model ng higit sa isang tool call sa iisang response, halimbawa tatlong pagbasa ng file nang sabay. Sa OpenAI format, dumarating ang mga ito bilang ilang entry sa tool_calls, at nililimitahan ng parallel_tool_calls na naka-false ang model sa zero o isang tawag kada turn.
RAG (retrieval-augmented generation)
Ang RAG (retrieval-augmented generation) ay isang pattern kung saan kinukuha muna ng application ang mga bahaging may kinalaman sa tanong mula sa isang external na store, gaya ng search o vector index, saka idinadagdag sa prompt para makasagot ang language model mula sa text na iyon, hindi lang mula sa memorya nito.
Rate limit
Ang rate limit ay hangganang itinatakda ng API sa dami ng paggamit ng isang client sa isang yugto ng oras, gaya ng request kada minuto o token kada minuto. Tinatanggihan ang mga request na lampas sa limit, kadalasan na may HTTP 429 Too Many Requests, hanggang bumaba ulit ang paggamit.
ReAct (reason and act)
Ang ReAct (reason and act) ay isang prompting pattern, ipinakilala nina Yao et al. noong 2022, kung saan pinagsasalit ng language model ang reasoning traces at mga aksyon gaya ng search o tool call. Binabasa nito ang bawat observation, ina-update ang plano, at umuulit hanggang makapagbigay ng huling sagot.
Request timeout
Ang request timeout ay ang pinakamatagal na hihintayin ng isang HTTP client sa server bago nito iwanan ang request. Karaniwang hinahati ito ng mga client sa connect timeout para sa pagbukas ng connection at read timeout para sa paghihintay ng data. Kailangan ng maluwag na read timeout ang mga LLM call dahil matagal mabuo ang mahahabang sagot.
Reranking
Ang reranking ay pangalawang yugto ng retrieval kung saan ang mas tumpak pero mas mabagal na model, kadalasang cross-encoder, ang nagbibigay ng score sa bawat pares ng query at kandidatong dokumento mula sa unang search at muling inaayos ang pagkakasunod, para iilang pinakanauugnay lang ang maipasa sa language model.
Right-to-left (RTL) text
Ang right-to-left (RTL) text ay pagsulat, gaya ng Arabic o Hebrew, na ipinapakita mula kanan pakaliwa. Iniimbak ito ng computer sa lohikal na pagkakasunod ng pagbasa, at ang Unicode Bidirectional Algorithm ang nagpapasya ng ayos sa screen kapag nahahalo ang RTL text sa left-to-right text, numero, pangalan ng model o code.
Seed parameter
Ang seed parameter ay integer na ipinapadala mo kasama ng request para subukan ng API na kunin ang parehong mga token kapag inulit ang parehong request. Best effort lang ito ayon sa OpenAI: hindi garantisado ang determinism, at ipinapakita ng system_fingerprint field kapag nagbago ang configuration ng backend.
Server-sent events (SSE)
Ang server-sent events (SSE) ay web standard kung saan nagpapadala ang server ng tuloy-tuloy na text event sa client sa iisang matagal na HTTP response na may content type na text/event-stream. Ang bawat event ay isa o higit pang field line, gaya ng data:, na tinatapos ng blank line.
Serverless inference
Ang serverless inference ay paraan ng pagpapatakbo ng machine learning model kung saan awtomatikong sinisimulan, sina-scale at pinapatay ng platform ang compute sa likod ng isang endpoint, madalas hanggang zero kapag idle, at paggamit ang sinisingil sa halip na mga naka-reserve na makina. Ang kapalit ay posibleng delay dahil sa cold start.
SLA (service level agreement)
Ang SLA (service level agreement) ay pangako sa kontrata ng isang provider sa nasusukat na antas ng serbisyo, kadalasang porsiyento ng buwanang uptime, na may takdang remedyo, kadalasang service credit, kapag hindi ito naabot. Itinatakda ng SLA kung ano ang binibilang na downtime, ano ang hindi kasama at paano mag-claim.
Stop sequences
Ang stop sequences ay mga string na ipinapadala mo kasama ng request para tumigil ang model sa pagbuo ng sagot sa sandaling maisulat nito ang isa sa mga iyon. Sa OpenAI, stop ang field at hanggang 4 na sequence ang tinatanggap; sa Anthropic, stop_sequences. Karaniwang hindi kasama sa ibinabalik na output ang tumugmang text.
Streaming
Ang streaming ay paraan ng pagbabalik ng sagot ng language model nang paunti-unting chunk habang binubuo pa ito, sa halip na iisang sagot sa dulo. Sa mga OpenAI-compatible na API, dumadaan ang streaming sa server-sent events kapag naka-set sa true ang stream sa request.
Structured output
Ang structured output ay feature ng LLM API na naglilimita sa sagot ng model sa format na itinakda ng developer, kadalasang JSON Schema, para maaasahang ma-parse ito ng code. Mas mahigpit ito kaysa sa JSON mode, na gumagarantiya ng valid na JSON pero hindi ng partikular na hugis.
Subagent
Ang subagent ay hiwalay na agent na sinisimulan ng isang main agent para hawakan ang isang nakatutok na task. Tumatakbo ito nang may sariling context window, system prompt at access sa tools, ginagawa ang trabaho, at resulta o buod lang ang ibinabalik sa main agent, kaya nananatiling maliit ang pangunahing usapan.
System prompt
Ang system prompt ay ang instruction na ipinapadala ng isang application sa language model bago ang usapan, kadalasan bilang mensaheng may system o developer role. Itinatakda nito ang role, mga patakaran, tono at format ng output ng model, at dapat itong sundin ng model kahit salungat ang mensahe ng user.
Throughput
Ang throughput, sa LLM serving, ay ang kabuuang trabahong natatapos ng isang system kada yunit ng oras sa lahat ng sabay-sabay na request, kadalasang sinusukat bilang output tokens per second o requests per second. Iba ito sa bilis kada stream, na kung gaano kabilis natatanggap ng iisang request ang mga token nito.
Time to first token (TTFT)
Ang time to first token (TTFT) ay ang tagal mula sa pagpapadala ng request sa isang language model hanggang dumating ang unang output token. Kasama rito ang oras sa network, pila sa server at prefill, ang hakbang kung saan binabasa ng model ang buong prompt, kaya humahaba ito kasabay ng haba ng prompt at ng load.
Tool calling (function calling)
Ang tool calling, tinatawag ding function calling, ay feature ng LLM API kung saan nagbabalik ang model ng structured na request para magpatakbo ng function na tinukoy ng developer, kasama ang JSON arguments. Ang application ang nagpapatakbo ng function at nagpapadala pabalik ng resulta; hindi kailanman nagpapatakbo ng code ang model mismo.
tool_choice
Ang tool_choice ay request parameter na kumokontrol sa paggamit ng tool. Sa Chat Completions ng OpenAI, puwede itong auto (ang model ang magpapasya), required (kailangang tumawag ng isa o higit pang tool), none (walang tool), o isang pinangalanang function na ipipilit. Ang katumbas na option ng Anthropic ay auto, any, tool at none.
Unicode normalization
Ang Unicode normalization ay ang pag-convert ng text sa isang standard na form para pareho ang code point ng mga string na magkamukha. Apat ang form: NFD, NFC, NFKD at NFKC; pinag-iisa rin ng mga K form ang mga compatibility character, gaya ng Arabic presentation forms at ligature, sa ordinaryong letra.
Vector database
Ang vector database ay isang data store na naglalaman ng mga embedding vector, kadalasang kasama ang source text at metadata, at sumasagot sa nearest-neighbour query: bigyan mo ito ng query vector at ibabalik nito ang mga naka-store na vector na pinakakahawig nito, karaniwang batay sa cosine distance, Euclidean distance o inner product.

Mga model at token

AI hallucination
Ang hallucination ay output ng language model na kapani-paniwala pero mali, gawa-gawa o hindi suportado ng input na ibinigay dito, gaya ng inimbentong citation, maling numero o API na hindi umiiral. Nangyayari ito dahil hinuhulaan ng model ang malamang na text sa halip na mag-check ng facts.
Arabic diacritics (tashkeel)
Ang Arabic diacritics, o tashkeel, ay maliliit na markang isinusulat sa itaas o ibaba ng mga titik para ipakita ang maiikling patinig, dobleng katinig at kawalan ng patinig. Opsyonal ang mga ito: wala ang mga ito sa karamihan ng Arabic text, pati sa balita, kaya hinuhulaan ng mambabasa at ng software ang patinig mula sa context.
Arabic dialect identification
Ang Arabic dialect identification ay ang task ng pagtukoy kung anong variety ng Arabic ang isang text o recording, gaya ng Egyptian, Gulf, Levantine, Maghrebi o Modern Standard Arabic, sa antas ng rehiyon, bansa o lungsod. Ginagamit ito para i-route ang mga mensahe, pumili ng prompt at hatiin ang mga evaluation set.
Arabic text normalization
Ang Arabic text normalization ay ang hakbang na nagmamapa sa iisang anyo ng mga variant ng spelling ng parehong salita bago ang matching: pagtatanggal ng diacritics at tatweel, pag-iisa ng mga anyo ng alef, at kadalasang pagmapa ng ى sa ي at ة sa ه. Ginagamit ito sa search key at evaluation, hindi sa text na ipinapakita mo.
Arabizi
Ang Arabizi ay Arabic na impormal na isinusulat sa Latin na titik, gamit ang mga numero para sa mga tunog ng Arabic na walang katumbas sa Latin, gaya ng 3 para sa ع. Karaniwan ito sa chat at social media, kadalasang dialect, walang standard na spelling, at madalas na hinahaluan ng English o French.
AWQ (activation-aware weight quantization)
Ang AWQ (activation-aware weight quantization) ay post-training method na nagko-compress sa weights ng LLM sa mababang precision, kadalasang 4-bit integers. Gumagamit ito ng activation statistics mula sa maliit na calibration set para hanapin ang pinakamahalagang weight channels at i-scale ang mga ito para mas kaunti ang mawalang accuracy. Hindi nito kailangan ng backpropagation.
Byte pair encoding (BPE)
Ang byte pair encoding (BPE) ay subword tokenization algorithm na nagsisimula sa iisang character o byte at paulit-ulit na mina-merge ang pinakamadalas na magkatabing pares tungo sa bagong entry ng vocabulary, hanggang maabot ang target na laki ng vocabulary. BPE o byte-level na bersyon nito ang gamit ng karamihan ng LLM tokenizer ngayon.
Chain-of-thought (CoT)
Ang chain-of-thought (CoT) ay prompting technique kung saan ipinapakita o hinihiling sa language model na isulat ang mga intermediate na hakbang ng reasoning bago ang huling sagot. Pinapataas nito ang accuracy sa mga problemang maraming hakbang gaya ng arithmetic at logic, at kusa na itong ginagawa ng mga reasoning model.
Chat template
Ang chat template ay ang formatting rule, kadalasang nakasulat sa Jinja at kasama ng tokenizer ng model, na nagko-convert ng listahan ng chat messages na may role tungo sa iisang token sequence na inaasahan ng model, kasama ang mga special control token nito. Puwedeng lubhang sumama ang sagot ng model kapag mali ang template.
Context compaction
Ang context compaction ay ang pagbubuod ng usapang malapit nang maabot ang limit ng context window at pagtutuloy ng session mula sa buod na iyon, para mapanatili ng agent ang mahahalagang desisyon at state habang tinatanggal ang raw na history gaya ng lumang tool output.
Context engineering
Ang context engineering ay ang trabaho ng pagpili at pag-maintain ng set ng mga token na nakikita ng language model sa bawat request, kasama ang system prompt, tool definitions, history, mga retrieved na dokumento at notes, para matanggap ng model ang pinakamaliit na set ng high-signal na impormasyong kailangan nito para magawa nang maayos ang task.
Context rot
Ang context rot ay ang unti-unting pagbaba ng accuracy at pagiging maaasahan ng mga language model habang humahaba ang input nila, kahit pareho pa rin ang task at malayo pa sa limit ng context window ang input. Pinasikat ang termino ng isang technical report ng Chroma noong 2025 na sumubok sa 18 model.
Context window
Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.
Dialectal Arabic (mga dialect ng Arabic)
Ang dialectal Arabic ay ang pang-araw-araw na sinasalitang Arabic ng isang rehiyon o lungsod, gaya ng Egyptian, Gulf, Levantine o Maghrebi Arabic. Naiiba ang mga dialect sa Modern Standard Arabic sa tunog, salita at grammar, walang standard na spelling, at lalong isinusulat online, kaya mas mahirap ang mga ito para sa mga language model.
Distillation (knowledge distillation)
Ang distillation, o knowledge distillation, ay isang paraan ng training kung saan natututo ang mas maliit na student model na gayahin ang output ng mas malaking teacher model, gaya ng mga probability distribution o nabuong sagot nito, para mapanatili ng student ang malaking bahagi ng kalidad ng teacher sa mas mababang gastos sa pagpapatakbo.
Embeddings
Ang embeddings ay mga listahan ng floating-point na numero (vector) na binubuo ng isang model para kumatawan sa isang piraso ng text, larawan o ibang input. Magkakalapit ang vector ng mga input na magkatulad ang kahulugan, kaya magagamit ang layo ng mga vector para i-rank ang search results, i-cluster ang mga dokumento o hanapin ang magkakaugnay na item.
Eval (LLM evaluation)
Ang eval (maikli para sa evaluation) ay isang paulit-ulit na test ng language model o prompt: fixed na set ng mga input, paglalarawan kung ano ang magandang output, at grader (code, tao o ibang model) na nagbibigay ng score sa bawat output para maikumpara ang mga bersyon.
Few-shot prompting
Ang few-shot prompting ay isang technique kung saan may kasamang ilang halimbawang pares ng input at output ang prompt bago ang totoong input, para mahinuha ng language model ang task at format mula sa mga ito. Hindi nagbabago ang weights ng model; walang example ang zero-shot at isa ang one-shot.
Fine-tuning
Ang fine-tuning ay ang proseso ng pagpapatuloy ng training ng isang pre-trained na language model sa mas maliit na dataset para sa isang partikular na task, gaya ng mga halimbawang conversation, para magbago ang weights nito at mas maaasahan nitong magawa ang task o style na iyon nang hindi kailangan ng mahahabang instruction o example sa bawat prompt.
FP8
Ang FP8 ay isang 8-bit floating-point na number format na ginagamit sa deep learning, na may dalawang encoding: E4M3, na may 4 na exponent bit at 3 mantissa bit, at E5M2, na may 5 exponent bit at 2 mantissa bit. Kalahati ang memory nito kumpara sa mga 16-bit format at native itong tumatakbo sa mga bagong GPU.
Frequency at presence penalty
Ang frequency at presence penalty ay mga sampling setting na nagbababa sa score ng mga token na nasa output na. Isang beses inilalapat ang presence penalty kapag lumabas na ang token; lumalaki naman ang frequency penalty sa bawat pag-ulit. Sa API ng OpenAI, parehong -2.0 hanggang 2.0 ang range, at 0 ang default.
GGUF
Ang GGUF ay isang binary file format para sa pag-iimbak ng mga language model para sa inference gamit ang mga GGML-based na runtime gaya ng llama.cpp. Hawak ng iisang GGUF file ang weights, na kadalasang quantized, at ang metadata na kailangan para i-load ang model, kasama ang tokenizer at architecture, at puwede itong i-memory-map para mabilis mag-load.
Grounding
Ang grounding ay ang pagkonekta ng output ng language model sa mga partikular at nabe-verify na source ng impormasyon, gaya ng mga ibinigay na dokumento, search result o database record, at pag-utos dito na sumagot mula sa mga iyon. Natutunton pabalik sa source ang mga grounded na sagot at mas maliit ang tsansang may gawa-gawang fact.
Hamza
Ang hamza (ء) ang letra ng glottal stop sa Arabic. Isinusulat ito nang mag-isa o nakapatong sa isang upuan: alef (أ إ), waw (ؤ) o yeh (ئ), at pinagsasama ng آ ang alef at madda. Dahil hindi pare-pareho ang pag-type nito, madalas ginagawang ا ng mga search engine at speech scoring ang mga anyong may alef.
Image tokens
Ang image tokens ay mga input token na ginagamit ng vision language model para i-represent ang isang larawan sa prompt. Kinukuwenta ito ng mga provider mula sa laki ng larawan, kadalasan sa paghati nito sa mga patch o tile na pare-pareho ang laki pagkatapos i-resize, at sinisingil gaya ng text input token, kaya mas mahal ang mas malalaking larawan.
INT4
Ang INT4 ay 4-bit na integer number format na kayang mag-represent ng 16 na level. Sa LLM inference, kadalasan itong tumutukoy sa 4-bit weight-only quantization (W4A16): iniimbak ang weights bilang INT4 kasama ng mga scale factor at pinalalawak sa 16-bit habang nagkukuwenta, kaya mga sangkapat lang ng memory ng 16-bit na weights ang gamit.
KV cache
Ang KV cache ay ang memory kung saan iniimbak ng transformer language model ang attention keys at values ng bawat token na naproseso na nito, kaya nire-reuse ito ng bawat bagong token sa halip na kuwentahin ulit ang buong sequence. Lumalaki ito kasabay ng context length at madalas nitong nililimitahan kung ilang request ang kaya ng isang GPU.
LLM benchmark
Ang LLM benchmark ay fixed at kadalasang public na set ng mga task na may paraan ng pag-score, na ginagamit para sukatin at ikumpara ang mga language model sa iisang kakayahan, gaya ng kaalaman, coding o speech recognition. Ipinapakita ng score ang relatibong galing sa test na iyon, hindi kung paano gagana ang model sa sarili mong workload.
LLM-as-a-judge
Ang LLM-as-a-judge ay paraan ng evaluation kung saan isang language model ang nagma-marka sa output ng ibang model, sa pag-score ng iisang sagot batay sa rubric o sa pagpili ng mas mahusay sa dalawang sagot. Malapit ito sa paghusga ng tao sa mas mababang gastos pero may mga kilalang bias, gaya ng pagpabor sa una o mas mahabang sagot.
Logprobs
Ang logprobs ay ang mga log probability na ibinigay ng language model sa mga token na nabuo nito. Kapag ibinabalik ito ng API, makikita mo sa bawat output token kung gaano ito kalamang sa tingin ng model at, kung gusto mo, ang pinaka-malamang na alternatibong token sa posisyong iyon.
LoRA (low-rank adaptation)
Ang LoRA (low-rank adaptation) ay parameter-efficient na paraan ng fine-tuning na nagfi-freeze sa weights ng isang pre-trained na model at nagte-train ng isang pares ng maliliit na low-rank matrix para sa mga piling layer. Puwedeng i-store ang natutunang update bilang maliit na adapter o i-merge sa weights, nang walang dagdag na inference latency.
Lost in the middle
Ang lost in the middle ay ang napansing hilig ng mga language model na pinakamahusay gamitin ang mahalagang impormasyon kapag nasa simula o dulo ito ng mahabang input, at pinakamahina kapag nasa gitna. Pinangalanan ito sa isang 2023 na pag-aaral nina Liu et al.
max_tokens
Ang max_tokens ay isang parameter ng LLM API na nagtatakda ng pinakamaraming token na puwedeng isulat ng model sa isang response. Kapag naabot ang limit, humihinto ang pagbuo ng sagot at minamarkahang naputol ang response, halimbawa may finish_reason na "length".
Mixture of experts (MoE)
Ang mixture of experts (MoE) ay disenyo ng neural network kung saan may maraming expert sub-network ang isang layer at ipinapadala ng isang natutong router ang bawat token sa iilan lang sa mga ito. Malaki ang kabuuang bilang ng parameter ng isang MoE language model pero maliit na active na bahagi lang ang ginagamit kada token.
Model license (lisensya ng model)
Ang model license ay ang legal na terms kung paano puwedeng gamitin, baguhin at ibahagi ang weights, code at outputs ng isang model. Gumagamit ang mga open-weight model ng karaniwang software license gaya ng Apache 2.0 o MIT, o ng custom model license na puwedeng magdagdag ng kondisyon, gaya ng limit sa malalaking commercial service.
Modern Standard Arabic (MSA)
Ang Modern Standard Arabic (MSA) ay ang standardized na anyo ng Arabic na ginagamit sa pagsulat, balita, edukasyon at pormal na pananalita sa buong mundong Arabo. Hindi ito katutubong pang-araw-araw na wika ninuman: mga rehiyonal na dialect gaya ng Egyptian o Gulf Arabic ang sinasalita, at lumilipat sa MSA sa pormal na sitwasyon.
Multimodal AI
Ang multimodal AI ay isang model o system na gumagana sa higit sa isang uri ng data, gaya ng text, larawan, video at audio. Puwedeng sabay na basahin ng multimodal model ang isang litrato at isang tanong, o tumanggap ng speech at sumagot sa text. Ang vision-language model ang pinakakaraniwang uri.
Named entity recognition (NER)
Ang named entity recognition (NER) ay ang task ng paghahanap ng mga pangalan sa text at paglalagay ng uri sa bawat isa, gaya ng tao, organisasyon o lokasyon. Tina-tag ng mga klasikong system ang bawat token; sa mga LLM naman, madalas hinihingi ang listahan ng entities bilang JSON, na sinusuri pagkatapos laban sa source.
Open-weight model
Ang open-weight model ay machine learning model na inilathala ang trained weights para i-download at patakbuhin ng kahit sino, kadalasan sa ilalim ng lisensyang may kondisyon. Iba ito sa ganap na open-source AI, na naglalabas din ng training code at detalyadong impormasyon tungkol sa training data para mapag-aralan at ma-reproduce ng iba ang model.
Optical character recognition (OCR)
Ang optical character recognition (OCR) ay teknolohiyang tumutukoy at nagko-convert ng naka-print o sulat-kamay na text sa isang larawan, scan o PDF tungo sa machine-readable na character. Text at posisyon nito sa page ang output ng klasikong OCR; ang vision-language model naman ay kayang basahin ang text at direktang sagutin ang mga tanong tungkol dito.
Prefill at decode
Ang prefill at decode ay ang dalawang yugto ng LLM inference. Sa prefill, pinoproseso ng model ang buong prompt nang parallel at pinupuno ang KV cache nito; sa decode, binubuo nito ang sagot nang isang token bawat hakbang, gamit ulit ang cache na iyon. Ang prefill ang halos nagtatakda ng time to first token; ang decode, ng bilis ng output.
Prompt engineering
Ang prompt engineering ay ang proseso ng pagsulat, pag-aayos at pag-test ng mga instruction na ibinibigay sa isang language model para palagi itong makagawa ng output na tumutugon sa mga requirement mo. Sakop nito ang mga role message, malinaw na instruction, mga example, format, at pagsukat ng resulta gamit ang mga test case.
Quantization
Ang quantization ay ang proseso ng pag-iimbak ng mga numero ng isang neural network, pangunahin ang weights nito, sa format na mas mababa ang precision gaya ng 8-bit o 4-bit sa halip na 16-bit, para mas kaunti ang memory na gamit ng model at kadalasang mas bumilis ito. Maliit lang ang nababawas sa accuracy sa mahuhusay na method.
Reasoning tokens
Ang reasoning tokens ay mga token na binubuo ng isang reasoning model para pag-isipan ang isang problema bago nito isulat ang nakikitang sagot. Kadalasang sinisingil ang mga ito bilang output token, binibilang sa output limit at sa context window, at puwedeng itago o ibuod ng API.
Speculative decoding
Ang speculative decoding ay inference technique kung saan nagmumungkahi ang isang maliit at mabilis na draft model ng ilang susunod na token, at sabay-sabay itong bine-verify ng malaking target model sa iisang forward pass, saka pinapanatili ang mga tinanggap. Pinapabilis nito ang generation nang hindi binabago ang distribution ng output.
Taa marbuta
Ang taa marbuta (ة, U+0629) ay Arabic na letrang lumalabas lang sa dulo ng salita, at madalas na tanda ng pambabaeng pangngalan at pang-uri. Kamukha ito ng heh (ه, U+0647) na may dalawang tuldok, kaya nahahalo ang dalawa sa tina-type na text, at maraming search normalizer ang nagpapalit ng ة sa ه.
Temperature
Ang temperature ay isang sampling parameter na kumokontrol kung gaano ka-random ang output ng isang language model. Hinahati ng model ang score ng bawat token sa temperature bago gawing probability: sa mababang value, nangingibabaw ang pinaka-malamang na token; sa mataas na value, pumapantay ang distribution kaya mas madalas mapili ang hindi gaanong malamang na token.
Token
Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.
Tokenizer
Ang tokenizer ay ang bahaging ginagawang sunod ng integer token ID na binabasa ng language model ang text, at ibinabalik sa text ang mga nabuong ID. May sariling tokenizer ang bawat model, kaya puwedeng magkaiba ang bilang ng token ng iisang text sa magkakaibang model.
Tokens per second (TPS)
Ang tokens per second (TPS) ay ang bilis ng pagbuo ng language model ng mga output token, kadalasang sinusukat para sa isang request pagkatapos dumating ang unang token. Ito ang bilis ng pag-stream ng sagot kapag nagsimula na. Kapag pinagsama sa lahat ng sabay na request, nagiging throughput ito ng system; hiwalay na sinusukat ang paghihintay bago ang unang token.
Top-p (nucleus sampling)
Ang top-p, na tinatawag ding nucleus sampling, ay isang paraan ng decoding kung saan kumukuha lang ang language model ng susunod na token mula sa pinakamaliit na set ng pinaka-malamang na token na umaabot sa threshold p, gaya ng 0.9, ang pinagsamang probability, at itinatapon ang hindi malamang na buntot.
Vision-language model (VLM)
Ang vision-language model (VLM) ay isang model na tumatanggap ng larawan at text nang sabay bilang input at naglalabas ng text, kaya kaya nitong ilarawan ang mga larawan, sagutin ang tanong tungkol dito, at basahin ang mga dokumento, chart o screenshot. Tinatawag din ang mga VLM na image-text-to-text o multimodal na model.
vLLM
Ang vLLM ay isang open-source na library para sa LLM inference at serving, na unang binuo sa Sky Computing Lab ng UC Berkeley. Pinamamahalaan nito ang KV cache memory gamit ang PagedAttention, tuloy-tuloy na bina-batch ang mga papasok na request, sumusuporta sa maraming quantization format at may OpenAI-compatible na HTTP server.
Vocabulary size (vocab size)
Ang vocabulary size ay ang bilang ng magkakaibang token sa tokenizer ng isang language model, bawat isa may sariling ID at embedding. Kayang i-encode ng mas malaking vocabulary ang karaniwang text sa mas kaunting token, pero pinalalaki nito ang embedding at output layer, at nakakatulong lang ito sa text na pinag-trainan ng vocabulary.

Presyo at billing

Cached input token (cached input tokens)
Ang cached input token ay prompt token na kamakailan lang naproseso ng LLM provider at magagamit ulit mula sa cache sa halip na kuwentahin muli, kadalasang paulit-ulit na prefix gaya ng system prompt o dokumento. Mas mababa ang singil dito kaysa sa bagong input token.
Flat-rate LLM plan (unlimited na plan)
Ang flat-rate LLM plan ay naniningil ng fixed na presyo para sa isang period, gaya ng isang buwan, para sa access sa language model API sa halip na maningil kada token. Kadalasang may ibang nililimitahan ang ganitong plan, gaya ng concurrency, bilis, mga model o usage window, kaya kasinghalaga ng presyo ang mga limit.
GPU-hour
Ang GPU-hour ay isang graphics processor na ginamit nang isang oras. Sinisingil ng mga cloud provider ang mga inuupahang GPU instance kada oras o kada segundo, at ginagamit ng mga researcher ang GPU-hours para sabihin kung gaano karaming compute ang nagamit ng isang job. Binabayaran mo ang oras ng makina, abala man ito o hindi.
Input at output token (input and output tokens)
Ang input token ay ang mga token na binabasa ng language model sa isang request, kasama ang system prompt, history ng usapan, tool definitions at mga larawan. Ang output token ay ang mga token na binubuo nito bilang sagot, kasama ang anumang reasoning. Kadalasang magkahiwalay ang presyo ng dalawa, at mas mahal ang output.
Pay-as-you-go
Ang pay-as-you-go ay paraan ng pagpepresyo kung saan ang nagamit mo lang ang binabayaran mo, sinusukat kada yunit gaya ng token, request o minuto ng audio, nang walang subscription o minimum na commitment. Ganito naniningil ang karamihan ng LLM API, mula sa prepaid na balance o sa pana-panahong invoice.
Prepaid credit
Ang prepaid credit ay perang idinadagdag sa isang API account bago gamitin. Ibinabawas sa balance ang gastos ng bawat request, at kapag naubos ang balance, titigil ang mga metered request hanggang mag-top-up ka. Nililimitahan nito ang gastos sa halagang naibayad mo na.
Spend limit
Ang spend limit ay hangganan sa kung magkano ang puwedeng gastusin ng isang API account, project o key sa isang yugto, kadalasang isang buwan. Kapag naabot ito, tinatanggihan ng provider ang mga susunod na request, madalas na may HTTP 429 o 400 na error, hanggang mag-reset ang yugto o itaas ang limit.

Privacy at seguridad

API key
Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.
Data processing agreement (DPA)
Ang data processing agreement (DPA) ay kontrata sa pagitan ng controller at processor na nagtatakda kung paano hahawakan ng processor ang personal data. Hinihingi ito ng GDPR Article 28(3), na naglilista rin ng laman nito: dokumentadong instruction, confidentiality, security, patakaran sa subprocessor, pagbura o pagbabalik ng data, at audit.
Data residency
Ang data residency ay requirement o commitment na iniimbak at pino-process ang data sa isang partikular na bansa o rehiyon. Sa isang LLM API, sakop nito kung saan pino-process ang mga prompt habang nag-i-inference at kung saan nakalagay ang anumang naka-store na content, at kadalasang hindi kasama ang account at billing data.
GDPR
Ang GDPR (General Data Protection Regulation, Regulation (EU) 2016/679) ay ang batas ng EU sa pagproseso ng personal data. Ipinapatupad ito mula Mayo 25, 2018 at sakop nito ang mga organisasyong nasa EU at ilang nasa labas nito. Sa mga LLM API, kinokontrol nito ang mga kontrata sa processor, international transfer at data minimisation.
Guardrails (LLM guardrails)
Ang guardrails ay mga check na pinapatakbo ng application sa paligid ng isang language model call para manatili ito sa itinakdang limit. Sinasala ng input guardrails ang pumapasok sa model, chine-check ng output guardrails ang lumalabas, at vina-validate ng tool guardrails ang mga aksyon bago tumakbo. Kapag pumalya ang check, bina-block, binabago o fina-flag ang request.
IP allow list
Ang IP allow list ay security control na tumatanggap lang ng request mula sa mga nakalistang IP address o CIDR range at tinatanggihan ang lahat ng iba. Sa isang API, nililimitahan nito ang pinsala ng na-leak na key, dahil hindi gumagana ang key mula sa mga network na wala sa listahan.
Jailbreak (LLM)
Ang jailbreak ay input na sadyang ginawa para balewalain ng isang language model ang safety training nito o ang mga rule na itinakda ng application na gumagamit dito, para makagawa ito ng content o aksyon na karaniwan nitong tinatanggihan. Itinuturing ng OWASP ang jailbreaking na isang anyo ng prompt injection.
PDPL (data protection law ng Saudi at UAE)
Ang PDPL (Personal Data Protection Law) ay karaniwang pangalan ng batas sa personal data ng Saudi Arabia (Royal Decree M/19, ipinapatupad ng SDAIA) at ng Federal Decree-Law No. 45 of 2021 ng UAE. Pareho nilang kinokontrol ang pagproseso ng personal data at nagtatakda ng kondisyon sa transfer sa ibang bansa, kasama ang mga prompt sa dayuhang LLM API.
PII (personally identifiable information)
Ang PII (personally identifiable information) ay impormasyong magagamit para makilala o ma-trace ang pagkakakilanlan ng isang tao, gaya ng pangalan, ID number o biometric record, pati ibang impormasyong naka-link o mali-link sa taong iyon. Personal data ang mas malawak na termino ng GDPR. Sa LLM, tinatanggal ng PII redaction ito sa mga prompt bago lumabas sa system mo.
Prompt injection
Ang prompt injection ay isang atake kung saan binabago ng text na ibinigay sa isang language model, mula sa user o nakatago sa web page, email, file o tool result, ang kilos ng model laban sa layunin ng developer. Inilalagay ito ng OWASP sa unang puwesto (LLM01:2025) sa Top 10 for LLM Applications nito.
Subprocessor
Ang subprocessor ay third party na kinukuha ng isang processor para magproseso ng personal data para sa controller. Sa isang LLM API, puwedeng kasama sa mga subprocessor ang mga GPU host, partner na inference provider at backup capacity. Sa ilalim ng GDPR Article 28, kailangan nila ng awtorisasyon ng controller at ng parehong obligasyon sa data protection.
Zero data retention (ZDR)
Ang zero data retention (ZDR) ay patakaran kung saan pinoproseso lang ng AI provider ang mga prompt at output para i-serve ang isang request, at hindi na nito itinatago ang content na iyon pagkatapos, sa log, cache o training data. Kadalasang itinatago pa rin ang mga record na walang content, gaya ng bilang ng token at timing.

Boses

Character error rate (CER)
Sinusukat ng character error rate (CER) ang accuracy ng transcription o OCR sa antas ng character: ang mga substitution, deletion at insertion na kailangan para maging reference text ang output, hinati sa bilang ng character sa reference. Mas mababa, mas maganda, at 0 ang perpektong match.
Code-switching
Ang code-switching ay ang paggamit ng dalawa o higit pang wika, o ng mga variety ng iisang wika, sa iisang usapan o pangungusap, sa pagsasalita man o pagsulat. Halimbawa nito ang mga nagsasalita ng Arabic na naghahalo ng English sa dialect, o nagpapalipat-lipat sa Modern Standard Arabic at sa dialect nila.
Ogg Opus
Ang Ogg Opus ay audio na naka-encode gamit ang Opus codec (RFC 6716) at naka-store sa isang Ogg container (RFC 7845). Ginawa ito para sa speech at interactive na audio sa mababang bitrate, at ito ang format na ginagamit ng WhatsApp para sa voice notes, kadalasan bilang .ogg o .opus na file.
Sample rate
Ang sample rate ay ang bilang ng audio sample na kinukuha kada segundo, na sinusukat sa hertz (Hz). Karaniwang 16,000 Hz (16 kHz) na mono audio ang inaasahan ng mga speech recognition model. Kasama ng bit depth at bilang ng channel, ang sample rate ang nagtatakda kung gaano kalaki kada minuto ang hindi naka-compress na audio file.
Speaker diarization
Ang speaker diarization ay ang task ng paghahati ng audio recording sa mga segment ayon sa nagsasalita, na sumasagot sa tanong na "sino ang nagsalita at kailan". Nilalagyan nito ang bawat bahagi ng pananalita ng anonymous na speaker ID gaya ng SPEAKER_00, at kadalasang isinasama sa transcript para makita kung sino ang nagsabi ng bawat linya.
Speech-to-text (STT)
Ang speech-to-text, na tinatawag ding automatic speech recognition (ASR), ay teknolohiyang ginagawang nakasulat na text ang binigkas na audio. Tumatanggap ang speech-to-text API ng audio file o stream at nagbabalik ng transcript, kadalasang may presyo kada minuto ng audio. Sinusukat ang accuracy gamit ang word error rate, at nag-iiba ito ayon sa accent, dialect at kalidad ng recording.
SRT subtitles
Ang SRT (SubRip) ay plain-text na subtitle format. Binubuo ang bawat caption ng sequence number, oras ng simula at dulo na nakasulat bilang hh:mm:ss,mmm --> hh:mm:ss,mmm, isa o higit pang linya ng text, at isang blangkong linya. Ang WebVTT ang katulad na web format na ginagamit ng HTML video.
Text-to-speech (TTS)
Ang text-to-speech (TTS), o speech synthesis, ay ang paggawa ng binigkas na audio mula sa nakasulat na text. Tumatanggap ang TTS API ng text, boses at output format gaya ng MP3 o WAV, at nagbabalik ng nabuong pananalita. Kabaligtaran ito ng speech-to-text, na ginagawang text ang audio.
Timestamps (speech-to-text)
Ang mga timestamp sa speech-to-text ay oras ng simula at dulo, sa segundo, na nakakabit sa mga bahagi ng transcript. Sakop ng segment timestamp ang isang parirala o pangungusap; sakop ng word timestamp ang bawat salita. Kailangan ang mga ito para sa subtitle, paghahanap sa loob ng recording at pagtutugma ng text sa mga nagsasalita.
Voice activity detection (VAD)
Ang voice activity detection (VAD) ay isang signal-processing step na nag-uuri sa maiikling frame ng audio bilang speech o non-speech. Ginagamit ito ng mga speech system para laktawan ang katahimikan, hatiin ang mahahabang recording sa mga pause, malaman kung tapos nang magsalita ang speaker, at iwasang i-transcribe ang ingay sa background.
WAV
Ang WAV (Waveform Audio File Format, o WAVE) ay isang audio container na nakabatay sa RIFF format ng Microsoft at IBM. Kadalasang uncompressed na linear PCM sample ang laman nito, kaya predictable ang laki: sample rate na pinarami sa bytes per sample at sa bilang ng channel, bawat segundo.
Word error rate (WER)
Ang word error rate (WER) ay ang karaniwang sukatan ng accuracy sa speech recognition: ang bilang ng substitution, deletion at insertion ng salita na kailangan para gawing tamang reference ang isang transcript, hinati sa bilang ng salita sa reference. Mas mababa, mas maganda.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity