LLM API शब्दावली
अपडेट किया गया
उन शब्दों की छोटी, स्रोत-सहित परिभाषाएँ जो डेवलपर्स को LLM या स्पीच-टू-टेक्स्ट API कॉल करते समय मिलते हैं: टोकन और कॉन्टेक्स्ट विंडो क्या हैं, कैश्ड इनपुट और फ़्लैट-रेट प्लान बिल को कैसे बदलते हैं, और रेट लिमिट और ज़ीरो डेटा रिटेंशन का व्यवहार में क्या मतलब है।
API और इंटीग्रेशन
- इन्फ़रेंस प्रोवाइडर (inference provider)
- इन्फ़रेंस प्रोवाइडर वह कंपनी है जो मशीन लर्निंग मॉडल, अक्सर ओपन-वेट LLM, अपने, लीज़ पर लिए या किराए के GPU पर चलाती है और API के ज़रिए उन तक पहुँच बेचती है, आम तौर पर प्रति टोकन, प्रति अनुरोध या प्रति समय-इकाई की कीमत पर। सर्विंग, स्केलिंग और हार्डवेयर वही सँभालती है।
- एक्सपोनेंशियल बैकऑफ़ (exponential backoff)
- एक्सपोनेंशियल बैकऑफ़ री-ट्राई की एक रणनीति है जिसमें क्लाइंट हर नाकाम कोशिश के बाद, दोबारा कोशिश करने से पहले, ज़्यादा देर इंतज़ार करता है, आम तौर पर देरी को एक सीमा तक दोगुना करते हुए। हर इंतज़ार में रैंडम jitter जोड़ने से कई क्लाइंट के री-ट्राई बिखर जाते हैं, ताकि वे एक ही पल सर्वर पर न पहुँचें।
- कॉन्करेंसी (concurrency)
- कॉन्करेंसी, किसी क्लाइंट के एक ही समय पर चल रहे (in-flight) अनुरोधों की संख्या है। LLM API अक्सर इसकी सीमा हर key या प्लान पर, प्रति मिनट अनुरोधों से अलग रखते हैं, क्योंकि हर खुला अनुरोध जवाब पूरा होने तक GPU क्षमता घेरे रहता है।
- चंकिंग (chunking, RAG)
- Chunking retrieval पाइपलाइन का वह चरण है जो दस्तावेज़ों को embed और इंडेक्स करने से पहले छोटे टुकड़ों, यानी chunks, में बाँटता है। Chunk size तय करता है कि हर टुकड़े में कितना टेक्स्ट हो, और chunk overlap पड़ोसी chunks के बीच कुछ टेक्स्ट दोहराता है ताकि सीमा पर कटे विचार न खोएँ।
- टूल कॉलिंग (tool calling)
- टूल कॉलिंग, जिसे function calling भी कहते हैं, LLM API की वह सुविधा है जिसमें मॉडल डेवलपर के तय किए किसी फ़ंक्शन को चलाने का एक स्ट्रक्चर्ड अनुरोध, JSON आर्ग्युमेंट के साथ, लौटाता है। ऐप्लिकेशन फ़ंक्शन चलाकर नतीजा वापस भेजता है; मॉडल ख़ुद कभी कोड नहीं चलाता।
- थ्रूपुट (throughput)
- LLM सर्विंग में थ्रूपुट वह कुल काम है जो कोई सिस्टम सभी कॉन्करेंट अनुरोधों में प्रति इकाई समय पूरा करता है, आम तौर पर आउटपुट टोकन प्रति सेकंड या अनुरोध प्रति सेकंड में नापा जाता है। यह प्रति-स्ट्रीम स्पीड से अलग है, जो बताती है कि एक अनुरोध को उसके टोकन कितनी तेज़ी से मिलते हैं।
- पहले टोकन तक का समय (TTFT, time to first token)
- Time to first token (TTFT) वह समय है जो लैंग्वेज मॉडल को अनुरोध भेजने से पहला आउटपुट टोकन आने तक लगता है। इसमें नेटवर्क का समय, सर्वर पर कतार और prefill शामिल हैं, यानी वह चरण जिसमें मॉडल पूरा प्रॉम्प्ट पढ़ता है, इसलिए यह प्रॉम्प्ट की लंबाई और लोड के साथ बढ़ता है।
- पैरेलल टूल कॉल (parallel tool calls)
- Parallel tool calls तब होते हैं जब मॉडल एक ही जवाब में एक से ज़्यादा टूल कॉल लौटाता है, जैसे एक साथ तीन फ़ाइलें पढ़ना। OpenAI फ़ॉर्मैट में ये tool_calls की कई एंट्री के रूप में आते हैं, और parallel_tool_calls को false करने पर मॉडल हर टर्न में शून्य या एक कॉल तक सीमित रहता है।
- मल्टी-एजेंट सिस्टम (multi-agent system)
- मल्टी-एजेंट सिस्टम एक LLM ऐप्लिकेशन है जिसमें कई एजेंट, हर एक अपने प्रॉम्प्ट, टूल और कॉन्टेक्स्ट के साथ, एक ही काम के अलग-अलग हिस्सों पर काम करते हैं। आम डिज़ाइन orchestrator-worker है: एक lead एजेंट योजना बनाता है, worker एजेंट समानांतर शुरू करता है और उनके नतीजे जोड़ता है।
- मॉडल डिप्रिकेशन (model deprecation)
- मॉडल डिप्रिकेशन तब होता है जब कोई API प्रोवाइडर घोषणा करता है कि एक मॉडल मिलना बंद हो जाएगा, आम तौर पर रिटायरमेंट या शटडाउन की तारीख़ और सुझाए गए विकल्प के साथ। उस तारीख़ के बाद उस मॉडल के अनुरोध फ़ेल होते हैं, इसलिए ऐप को पहले ही किसी दूसरी मॉडल ID पर जाना होता है।
- मॉडल फ़ॉलबैक (model fallback)
- मॉडल फ़ॉलबैक भरोसेमंदी का एक पैटर्न है जिसमें फ़ेल हुआ LLM अनुरोध एक क्रमबद्ध सूची के किसी दूसरे मॉडल या प्रोवाइडर पर दोबारा भेजा जाता है। ट्रिगर कोई एरर, रेट लिमिट, context-length एरर या content-policy इनकार हो सकता है। यह आपके क्लाइंट में या API के आगे लगे गेटवे में चलता है।
- राइट-टू-लेफ़्ट टेक्स्ट (right-to-left, RTL text)
- राइट-टू-लेफ़्ट (RTL) टेक्स्ट वह लिखावट है, जैसे अरबी या हिब्रू, जो दाएँ से बाएँ दिखाई जाती है। कंप्यूटर इसे लॉजिकल पढ़ने के क्रम में सेव करते हैं, और जब RTL टेक्स्ट लेफ़्ट-टू-राइट टेक्स्ट, अंकों, मॉडल नामों या कोड के साथ मिलता है, तब Unicode Bidirectional Algorithm दिखने का क्रम तय करता है।
- रिक्वेस्ट टाइमआउट (request timeout)
- रिक्वेस्ट टाइमआउट वह अधिकतम समय है जितना कोई HTTP क्लाइंट सर्वर का इंतज़ार करता है, उसके बाद अनुरोध छोड़ देता है। क्लाइंट आम तौर पर इसे कनेक्शन खोलने के connect टाइमआउट और डेटा के इंतज़ार वाले read टाइमआउट में बाँटते हैं। LLM कॉल को खुले read टाइमआउट चाहिए, क्योंकि लंबे जवाबों में समय लगता है।
- रीरैंकिंग (reranking)
- Reranking retrieval का दूसरा चरण है जिसमें एक ज़्यादा सटीक पर धीमा मॉडल, आम तौर पर cross-encoder, पहली सर्च से आए हर query और दस्तावेज़ जोड़े को स्कोर करके उनका क्रम बदलता है, ताकि सिर्फ़ सबसे प्रासंगिक कुछ ही लैंग्वेज मॉडल तक पहुँचें।
- रेट लिमिट (rate limit)
- रेट लिमिट वह सीमा है जो कोई API तय करता है कि एक क्लाइंट किसी समय-अवधि में उसका कितना इस्तेमाल कर सकता है, जैसे प्रति मिनट अनुरोध या प्रति मिनट टोकन। सीमा से ऊपर के अनुरोध ठुकरा दिए जाते हैं, आम तौर पर HTTP 429 Too Many Requests के साथ, जब तक इस्तेमाल फिर सीमा के नीचे न आ जाए।
- लेटेंसी (latency)
- लैंग्वेज मॉडल API के लिए लेटेंसी वह समय है जो किसी अनुरोध के भेजे जाने से अंतिम आउटपुट टोकन मिलने तक लगता है। यह पहले टोकन तक के समय और जनरेशन टाइम का जोड़ है, और आम तौर पर औसत के बजाय p50 और p95 जैसे परसेंटाइल में बताई जाती है।
- वेक्टर डेटाबेस (vector database)
- वेक्टर डेटाबेस एक डेटा स्टोर है जो embedding वेक्टर, अक्सर उनके सोर्स टेक्स्ट और मेटाडेटा के साथ, रखता है और nearest-neighbour क्वेरी का जवाब देता है: क्वेरी वेक्टर मिलने पर यह सबसे मिलते-जुलते सेव वेक्टर लौटाता है, आम तौर पर cosine दूरी, Euclidean दूरी या inner product से।
- सबएजेंट (subagent)
- सबएजेंट एक अलग एजेंट है जिसे मुख्य एजेंट किसी एक तय काम के लिए शुरू करता है। यह अपनी कॉन्टेक्स्ट विंडो, सिस्टम प्रॉम्प्ट और टूल एक्सेस के साथ चलता है, काम करता है, और मुख्य एजेंट को सिर्फ़ नतीजा या सारांश लौटाता है, जिससे मुख्य बातचीत छोटी रहती है।
- सर्वरलेस इन्फ़रेंस (serverless inference)
- सर्वरलेस इन्फ़रेंस मशीन लर्निंग मॉडल चलाने का ऐसा तरीका है जिसमें प्लेटफ़ॉर्म एंडपॉइंट के पीछे का कंप्यूट अपने आप शुरू, स्केल और बंद करता है, अक्सर खाली रहने पर ज़ीरो तक, और रिज़र्व मशीनों के बजाय इस्तेमाल का बिल लेता है। इसकी क़ीमत संभावित कोल्ड-स्टार्ट देरी है।
- सिस्टम प्रॉम्प्ट (system prompt)
- सिस्टम प्रॉम्प्ट वह निर्देश टेक्स्ट है जो कोई ऐप्लिकेशन बातचीत से पहले लैंग्वेज मॉडल को भेजता है, आम तौर पर system या developer रोल वाले मैसेज के रूप में। यह मॉडल की भूमिका, नियम, लहजा और आउटपुट फ़ॉर्मैट तय करता है, और टकराव होने पर मॉडल को यूज़र के मैसेज के बजाय इसी का पालन करना होता है।
- स्टॉप सीक्वेंस (stop sequences)
- स्टॉप सीक्वेंस वे स्ट्रिंग हैं जो आप अनुरोध के साथ भेजते हैं, ताकि मॉडल इनमें से कोई भी लिखते ही जनरेशन रोक दे। OpenAI इस फ़ील्ड को stop कहता है और 4 सीक्वेंस तक लेता है; Anthropic इसे stop_sequences कहता है। मिला हुआ टेक्स्ट आम तौर पर लौटाए गए आउटपुट में नहीं होता।
- स्ट्रक्चर्ड आउटपुट (structured output)
- स्ट्रक्चर्ड आउटपुट LLM API का एक फ़ीचर है जो मॉडल के जवाब को डेवलपर के तय फ़ॉर्मैट, आम तौर पर JSON Schema, तक सीमित करता है, ताकि कोड उसे भरोसे से पार्स कर सके। यह JSON mode से सख़्त है, जो मान्य JSON की गारंटी देता है, लेकिन किसी ख़ास ढाँचे की नहीं।
- स्ट्रीमिंग (streaming)
- स्ट्रीमिंग, लैंग्वेज मॉडल के जवाब को अंत में एक साथ लौटाने के बजाय, बनते समय ही छोटे-छोटे टुकड़ों (chunks) में लौटाने का तरीक़ा है। OpenAI-कम्पैटिबल API, अनुरोध में stream को true सेट करने पर server-sent events से स्ट्रीम करते हैं।
- हाइब्रिड सर्च (hybrid search)
- हाइब्रिड सर्च एक रिट्रीवल तरीक़ा है जो एक ही क्वेरी पर BM25 जैसी कीवर्ड सर्च और embeddings पर वेक्टर सर्च दोनों चलाता है, फिर दोनों रैंक की गई सूचियों को एक में मिलाता है, अक्सर reciprocal rank fusion (RRF) या normalized स्कोर के weighted sum से।
- AI एजेंट (AI agent)
- AI एजेंट ऐसा सिस्टम है जिसमें लैंग्वेज मॉडल किसी लक्ष्य की ओर अपने क़दम ख़ुद तय करता है: कौन-से टूल कॉल करने हैं, चुनता है, नतीजे पढ़ता है और अंतिम जवाब या किसी सीमा तक दोहराता रहता है। तय बिंदुओं पर मॉडल को कॉल करने वाली स्क्रिप्ट को आम तौर पर workflow कहते हैं।
- AI कोडिंग एजेंट (AI coding agent)
- AI कोडिंग एजेंट एक सॉफ़्टवेयर टूल है जिसमें लैंग्वेज मॉडल कोडबेस पर लूप में काम करता है: फ़ाइलें पढ़ता है, उन्हें बदलता है, टेस्ट जैसी कमांड चलाता है, आउटपुट पढ़ता है और अगला क़दम तय करता है, जब तक टास्क पूरा न हो या कोई सीमा न आ जाए।
- base URL
- base URL किसी API का तय मूल पता है, जैसे https://api.example.com/v1, जिसे क्लाइंट /chat/completions जैसे हर एंडपॉइंट पाथ के आगे जोड़ता है। OpenAI-compatible SDK में base URL को API key और मॉडल ID के साथ बदलने से वही कोड किसी दूसरे प्रोवाइडर से जुड़ जाता है।
- Batch API (बैच API)
- Batch API एक asynchronous LLM एंडपॉइंट है जो एक साथ कई अनुरोध लेता है, आम तौर पर एक फ़ाइल के रूप में, उन्हें तुरंत नहीं बल्कि एक तय समय-सीमा में प्रोसेस करता है, और नतीजे एक साथ लौटाता है। OpenAI और Anthropic जैसे प्रोवाइडर batch अनुरोधों की कीमत अपने सामान्य API से कम रखते हैं।
- BM25
- BM25 (Okapi BM25) कीवर्ड सर्च का एक रैंकिंग फ़ंक्शन है जो दस्तावेज़ को तीन बातों से स्कोर करता है: क्वेरी के शब्द उसमें कितनी बार आते हैं, वे पूरे कलेक्शन में कितने दुर्लभ हैं, और दस्तावेज़ कितना लंबा है। यह Lucene और Elasticsearch की डिफ़ॉल्ट similarity है।
- Chat Completions API
- Chat Completions API, OpenAI का HTTP एंडपॉइंट POST /v1/chat/completions है, जो एक मॉडल का नाम और रोल वाले मैसेज की सूची लेता है और मॉडल का अगला मैसेज लौटाता है। इसके अनुरोध और जवाब का ढाँचा वह आम फ़ॉर्मैट बन गया जिसे OpenAI-कम्पैटिबल प्रोवाइडर और SDK अपनाते हैं।
- finish_reason (जवाब रुकने की वजह)
- finish_reason, chat completion जवाब की हर choice में एक फ़ील्ड है जो बताता है कि मॉडल ने जनरेट करना क्यों रोका। OpenAI फ़ॉर्मैट में इसकी वैल्यू stop, length, tool_calls, content_filter और पुरानी (deprecated) function_call हैं। Anthropic का Messages API यही बात stop_reason में बताता है।
- Idempotency key (आइडेम्पोटेंसी key)
- Idempotency key एक यूनिक वैल्यू है, आम तौर पर UUID जैसी रैंडम ID, जिसे क्लाइंट स्टेट बदलने वाले अनुरोध, जैसे पेमेंट या ख़रीद, के साथ जोड़ता है। अगर वही अनुरोध उसी key के साथ दोबारा आए, तो सर्वर काम दो बार करने के बजाय पहला नतीजा लौटाता है।
- JSON मोड (JSON mode)
- JSON मोड, LLM API की एक सेटिंग है, OpenAI जैसे API में response_format {"type": "json_object"}, जो मॉडल के जवाब को वैलिड और पार्स होने लायक़ JSON बनाती है। JSON Schema वाले स्ट्रक्चर्ड आउटपुट के उलट, यह गारंटी नहीं देती कि ऑब्जेक्ट में कौन-सी keys, टाइप या वैल्यू होंगी।
- JSON Schema (JSON स्कीमा)
- JSON Schema, JSON में लिखी एक शब्दावली है, जो JSON डेटा की बनावट बताती और जाँचती है: टाइप, ज़रूरी फ़ील्ड, स्वीकार्य वैल्यू और नेस्टिंग। मौजूदा वर्ज़न 2020-12 है। LLM API इससे टूल पैरामीटर तय करते हैं, और वह सटीक आकार भी जिसका स्ट्रक्चर्ड आउटपुट को पालन करना है।
- LLM राउटर (LLM router)
- LLM राउटर एक सॉफ़्टवेयर या सर्विस है जो ऐप और एक या ज़्यादा लैंग्वेज मॉडल API के बीच बैठती है और हर अनुरोध के लिए तय करती है कि उसे कौन-सा मॉडल या प्रोवाइडर संभालेगा, लागत, latency, उपलब्धता या टास्क के प्रकार जैसे नियमों के आधार पर।
- MCP (Model Context Protocol)
- MCP (Model Context Protocol) JSON-RPC 2.0 पर बना एक ओपन प्रोटोकॉल है, जो तय करता है कि LLM ऐप्लिकेशन बाहरी टूल और डेटा से कैसे जुड़ें। MCP सर्वर टूल, रिसोर्स और प्रॉम्प्ट उपलब्ध कराता है; होस्ट ऐप्लिकेशन के अंदर का MCP क्लाइंट उन्हें ढूँढता है और मॉडल की टूल कॉल सर्वर तक पहुँचाता है।
- OpenAI-compatible API
- OpenAI-compatible API ऐसा HTTP API है जो OpenAI API वाले ही अनुरोध और रिस्पॉन्स फ़ॉर्मैट स्वीकार करता है, जैसे POST /v1/chat/completions, ताकि OpenAI के SDK और टूल सिर्फ़ base URL, API key और मॉडल का नाम बदलकर इसे इस्तेमाल कर सकें।
- RAG (retrieval-augmented generation)
- RAG (retrieval-augmented generation) एक पैटर्न है जिसमें ऐप्लिकेशन पहले किसी बाहरी स्टोर, जैसे सर्च या वेक्टर इंडेक्स, से सवाल से जुड़े हिस्से निकालता है, और फिर उन्हें प्रॉम्प्ट में जोड़ता है, ताकि लैंग्वेज मॉडल सिर्फ़ अपनी याददाश्त के बजाय उस टेक्स्ट से जवाब दे सके।
- ReAct (reason and act)
- ReAct (reason and act) एक प्रॉम्प्टिंग पैटर्न है, जिसे Yao और साथियों ने 2022 में पेश किया, जिसमें लैंग्वेज मॉडल reasoning traces को सर्च या टूल कॉल जैसी कार्रवाइयों के साथ बारी-बारी चलाता है। वह हर observation पढ़ता है, अपनी योजना अपडेट करता है, और अंतिम जवाब तक यही दोहराता है।
- seed पैरामीटर (seed parameter)
- seed पैरामीटर एक पूर्णांक है जो आप अनुरोध के साथ भेजते हैं, ताकि वही अनुरोध दोहराने पर API वही टोकन सैंपल करने की कोशिश करे। OpenAI इसे best effort बताता है: determinism की गारंटी नहीं है, और system_fingerprint फ़ील्ड दिखाता है कि बैकएंड कॉन्फ़िगरेशन कब बदला।
- Server-sent events (SSE)
- Server-sent events (SSE) एक वेब स्टैंडर्ड है, जिसमें सर्वर text/event-stream कंटेंट टाइप वाले एक लंबे खुले HTTP जवाब पर क्लाइंट को टेक्स्ट events की स्ट्रीम भेजता है। हर event में data: जैसी एक या ज़्यादा फ़ील्ड लाइनें होती हैं, और वह एक ख़ाली लाइन पर ख़त्म होता है।
- SLA (सर्विस लेवल एग्रीमेंट)
- SLA (सर्विस लेवल एग्रीमेंट) प्रोवाइडर की ओर से सर्विस के नापे जा सकने वाले स्तर का अनुबंधित वादा है, आम तौर पर मासिक अपटाइम प्रतिशत, और उसके पूरा न होने पर तय उपाय, आम तौर पर सर्विस क्रेडिट। SLA बताता है कि डाउनटाइम किसे माना जाएगा, क्या बाहर है और दावा कैसे करें।
- tool_choice
- tool_choice एक अनुरोध पैरामीटर है जो टूल के इस्तेमाल को नियंत्रित करता है। OpenAI के Chat Completions में यह auto (मॉडल तय करे), required (एक या ज़्यादा टूल कॉल करने ही हैं), none (कोई टूल नहीं) या ज़बरदस्ती कॉल के लिए किसी फ़ंक्शन का नाम हो सकता है। Anthropic के बराबर विकल्प auto, any, tool और none हैं।
- Unicode नॉर्मलाइज़ेशन (Unicode normalization)
- Unicode नॉर्मलाइज़ेशन टेक्स्ट को एक मानक रूप में बदलता है, ताकि एक जैसी दिखने वाली स्ट्रिंग एक जैसे कोड पॉइंट इस्तेमाल करें। चार रूप हैं NFD, NFC, NFKD और NFKC; K वाले रूप compatibility कैरेक्टर, जैसे अरबी presentation forms और ligatures, को भी सामान्य अक्षरों में बदल देते हैं।
मॉडल और टोकन
- अरबी टेक्स्ट नॉर्मलाइज़ेशन (Arabic text normalization)
- अरबी टेक्स्ट नॉर्मलाइज़ेशन वह चरण है जो मिलान से पहले एक ही शब्द की अलग-अलग वर्तनियों को एक रूप में बदलता है: डायक्रिटिक्स और tatweel हटाना, alef के रूप एक करना, और अक्सर ى को ي और ة को ه करना। यह सर्च key और मूल्यांकन पर लगता है, दिखाए जाने वाले टेक्स्ट पर नहीं।
- अरबी डायक्रिटिक्स (tashkeel)
- अरबी डायक्रिटिक्स, या tashkeel, अक्षरों के ऊपर या नीचे लगने वाले छोटे चिह्न हैं जो छोटे स्वर, दोहरे व्यंजन और स्वर के न होने को दिखाते हैं। ये वैकल्पिक हैं: ख़बरों समेत ज़्यादातर अरबी टेक्स्ट इन्हें छोड़ देता है, इसलिए पाठक और सॉफ़्टवेयर संदर्भ से स्वर का अंदाज़ा लगाते हैं।
- अरबी बोलियाँ (dialectal Arabic)
- अरबी बोलियाँ किसी क्षेत्र या शहर में रोज़ बोली जाने वाली अरबी हैं, जैसे मिस्री, खाड़ी, लेवेंटाइन या मग़रिबी अरबी। ये आधुनिक मानक अरबी से आवाज़ों, शब्दों और व्याकरण में अलग हैं, इनकी कोई मानक वर्तनी नहीं, और ऑनलाइन इन्हें तेज़ी से लिखा जा रहा है, जिससे लैंग्वेज मॉडल के लिए ये मुश्किल हैं।
- अरबी बोली की पहचान (Arabic dialect identification)
- अरबी बोली की पहचान वह टास्क है जिसमें तय किया जाता है कि कोई टेक्स्ट या रिकॉर्डिंग किस अरबी रूप में है, जैसे मिस्री, खाड़ी, लेवेंटाइन, मग़रिबी या मॉडर्न स्टैंडर्ड अरबी, और यह क्षेत्र, देश या शहर के स्तर पर होता है। इसका इस्तेमाल मैसेज रूट करने, प्रॉम्प्ट चुनने और मूल्यांकन सेट बाँटने में होता है।
- इमेज टोकन (image tokens)
- इमेज टोकन वे इनपुट टोकन हैं जिनसे कोई vision language मॉडल प्रॉम्प्ट में एक इमेज को दर्शाता है। प्रोवाइडर इन्हें इमेज के साइज़ से निकालते हैं, आम तौर पर रीसाइज़ के बाद उसे तय साइज़ के patches या tiles में बाँटकर, और टेक्स्ट इनपुट टोकन की तरह बिल करते हैं, इसलिए बड़ी इमेज ज़्यादा महँगी पड़ती है।
- एम्बेडिंग (embeddings)
- एम्बेडिंग, फ़्लोटिंग-पॉइंट संख्याओं की सूचियाँ (वेक्टर) हैं जो कोई मॉडल टेक्स्ट, इमेज या दूसरे इनपुट को दर्शाने के लिए बनाता है। मिलते-जुलते अर्थ वाले इनपुट के वेक्टर पास-पास होते हैं, इसलिए वेक्टर के बीच की दूरी से सर्च नतीजों की रैंकिंग, दस्तावेज़ों का समूह बनाना या जुड़ी चीज़ें ढूँढना संभव होता है।
- ओपन-वेट मॉडल (open-weight model)
- ओपन-वेट मॉडल ऐसा मशीन लर्निंग मॉडल है जिसके ट्रेन किए weights सबके डाउनलोड करने और चलाने के लिए प्रकाशित होते हैं, आम तौर पर शर्तों वाले लाइसेंस के साथ। यह पूरी तरह ओपन-सोर्स AI से अलग है, जो ट्रेनिंग कोड और ट्रेनिंग डेटा की विस्तृत जानकारी भी जारी करता है, ताकि दूसरे मॉडल को समझ और दोबारा बना सकें।
- कॉन्टेक्स्ट इंजीनियरिंग (context engineering)
- कॉन्टेक्स्ट इंजीनियरिंग वह काम है जिसमें तय किया और सँभाला जाता है कि लैंग्वेज मॉडल हर अनुरोध में कौन-से टोकन देखे: सिस्टम प्रॉम्प्ट, टूल डेफ़िनिशन, इतिहास, रिट्रीव किए डॉक्यूमेंट और नोट्स, ताकि मॉडल को काम के लिए ज़रूरी, सबसे छोटी और सबसे काम की जानकारी मिले।
- कॉन्टेक्स्ट कॉम्पैक्शन (context compaction)
- Context compaction वह तरीक़ा है जिसमें कॉन्टेक्स्ट विंडो की सीमा के पास पहुँची बातचीत का सारांश बनाया जाता है और सेशन उसी सारांश से आगे चलता है, ताकि एजेंट मुख्य फ़ैसले और स्थिति रखे और पुराने टूल आउटपुट जैसी कच्ची हिस्ट्री छोड़ दे।
- कॉन्टेक्स्ट रॉट (context rot)
- कॉन्टेक्स्ट रॉट सटीकता और भरोसेमंदी का वह धीरे-धीरे होने वाला नुक़सान है जो लैंग्वेज मॉडल में इनपुट लंबा होने पर दिखता है, तब भी जब काम वही रहे और इनपुट कॉन्टेक्स्ट विंडो के अंदर ही हो। यह शब्द 2025 की Chroma तकनीकी रिपोर्ट से मशहूर हुआ, जिसने 18 मॉडल टेस्ट किए।
- कॉन्टेक्स्ट विंडो (context window)
- कॉन्टेक्स्ट विंडो टोकन की वह अधिकतम संख्या है जिसके साथ लैंग्वेज मॉडल एक अनुरोध में काम कर सकता है। इसमें प्रॉम्प्ट, बातचीत का इतिहास, टूल डेफ़िनिशन, इमेज और जनरेट हुआ आउटपुट, रीज़निंग टोकन समेत, सब आता है। जो इसमें न समाए, उसे काटना, सारांश बनाना या कई अनुरोधों में बाँटना पड़ता है।
- क्वांटाइज़ेशन (quantization)
- क्वांटाइज़ेशन, न्यूरल नेटवर्क की संख्याओं, मुख्य रूप से उसके weights, को 16-bit के बजाय 8-bit या 4-bit जैसे कम प्रिसिज़न वाले फ़ॉर्मैट में रखने की प्रक्रिया है, ताकि मॉडल कम मेमोरी ले और अक्सर तेज़ चले। अच्छे तरीक़े सटीकता में होने वाले नुक़सान को कम रखते हैं।
- ग्राउंडिंग (grounding)
- ग्राउंडिंग लैंग्वेज मॉडल के आउटपुट को जानकारी के ठोस, जाँचे जा सकने वाले स्रोतों, जैसे दिए गए डॉक्यूमेंट, सर्च नतीजे या डेटाबेस रिकॉर्ड, से जोड़ने और मॉडल को उन्हीं से जवाब देने का निर्देश देने का तरीक़ा है। ग्राउंडेड जवाब का स्रोत खोजा जा सकता है और उसमें गढ़े हुए तथ्य कम होते हैं।
- चेन-ऑफ़-थॉट (chain-of-thought, CoT)
- Chain-of-thought (CoT) एक प्रॉम्प्टिंग तकनीक है जिसमें लैंग्वेज मॉडल को अंतिम जवाब से पहले बीच के रीज़निंग चरण लिखकर दिखाए जाते हैं या लिखने को कहा जाता है। इससे गणित और तर्क जैसी कई-चरण वाली समस्याओं पर सटीकता बढ़ती है, और रीज़निंग मॉडल अब इसे अपने-आप बनाते हैं।
- चैट टेम्पलेट (chat template)
- चैट टेम्पलेट वह फ़ॉर्मैटिंग नियम है, आम तौर पर Jinja में लिखा और मॉडल के tokenizer के साथ आने वाला, जो roles वाले चैट मैसेज की सूची को उस एक टोकन क्रम में बदलता है जिसकी मॉडल उम्मीद करता है, उसके special control टोकन समेत। ग़लत टेम्पलेट से मॉडल के जवाब बहुत बिगड़ सकते हैं।
- टेम्परेचर (temperature)
- टेम्परेचर एक सैंपलिंग पैरामीटर है जो तय करता है कि लैंग्वेज मॉडल का आउटपुट कितना रैंडम होगा। मॉडल अपने टोकन स्कोर को प्रायिकता में बदलने से पहले टेम्परेचर से भाग देता है: कम वैल्यू पर सबसे संभावित टोकन हावी रहता है, ज़्यादा वैल्यू पर वितरण सपाट हो जाता है और कम संभावित टोकन ज़्यादा बार चुने जाते हैं।
- टॉप-पी (top-p, nucleus sampling)
- टॉप-पी, जिसे nucleus sampling भी कहते हैं, डिकोडिंग का एक तरीक़ा है जिसमें मॉडल अगला टोकन सिर्फ़ सबसे संभावित टोकन के उस सबसे छोटे सेट से चुनता है जिनकी कुल प्रायिकता 0.9 जैसी सीमा p तक पहुँचती है, और बाक़ी कम संभावित टोकन छोड़ देता है।
- टोकन (token)
- टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।
- टोकन प्रति सेकंड (tokens per second, TPS)
- टोकन प्रति सेकंड (TPS) वह दर है जिस पर लैंग्वेज मॉडल आउटपुट टोकन बनाता है, आम तौर पर एक अनुरोध का पहला टोकन आने के बाद नापी जाती है। यह तय करती है कि शुरू होकर जवाब कितना तेज़ स्ट्रीम होगा। सभी कॉन्करेंट अनुरोधों का जोड़ सिस्टम थ्रूपुट है; पहले टोकन से पहले का इंतज़ार अलग नापा जाता है।
- टोकनाइज़र (tokenizer)
- टोकनाइज़र वह हिस्सा है जो टेक्स्ट को इंटीजर टोकन ID के उस क्रम में बदलता है जिसे लैंग्वेज मॉडल पढ़ता है, और जनरेट हुई ID को वापस टेक्स्ट में बदलता है। हर मॉडल अपने टोकनाइज़र के साथ आता है, इसलिए एक ही टेक्स्ट अलग-अलग मॉडलों पर अलग संख्या में टोकन बना सकता है।
- डिस्टिलेशन (knowledge distillation)
- डिस्टिलेशन, या नॉलेज डिस्टिलेशन, ट्रेनिंग का वह तरीक़ा है जिसमें एक छोटा स्टूडेंट मॉडल बड़े टीचर मॉडल के आउटपुट, जैसे उसके प्रायिकता वितरण या जनरेट किए जवाब, दोहराना सीखता है, ताकि स्टूडेंट कम लागत पर चलते हुए टीचर की काफ़ी क्वालिटी बनाए रखे।
- ता मरबूता (taa marbuta, ة)
- ता मरबूता (ة, U+0629) एक अरबी अक्षर है जो सिर्फ़ शब्द के अंत में आता है, अक्सर स्त्रीलिंग संज्ञा और विशेषण का संकेत देता है। यह दो बिंदुओं वाले हे (ه, U+0647) जैसा दिखता है, इसलिए टाइप किए टेक्स्ट में दोनों मिल जाते हैं, और कई सर्च नॉर्मलाइज़र ة को ه में बदल देते हैं।
- नेम्ड एंटिटी रिकग्निशन (NER)
- Named entity recognition (NER) टेक्स्ट में नाम ढूँढने और हर नाम को व्यक्ति, संगठन या जगह जैसे किसी प्रकार का लेबल देने का काम है। पुराने सिस्टम हर टोकन को टैग करते हैं; LLM से अक्सर entities की सूची JSON में माँगी जाती है, जिसे फिर स्रोत टेक्स्ट से मिलाकर जाँचा जाता है।
- प्रॉम्प्ट इंजीनियरिंग (prompt engineering)
- प्रॉम्प्ट इंजीनियरिंग, लैंग्वेज मॉडल को दिए जाने वाले निर्देशों को लिखने, ढाँचा देने और टेस्ट करने की प्रक्रिया है, ताकि मॉडल लगातार आपकी ज़रूरतों के मुताबिक़ आउटपुट दे। इसमें रोल मैसेज, साफ़ निर्देश, उदाहरण, फ़ॉर्मैटिंग और टेस्ट केस पर नतीजों को मापना शामिल है।
- फ़ाइन-ट्यूनिंग (fine-tuning)
- फ़ाइन-ट्यूनिंग पहले से ट्रेन हुए लैंग्वेज मॉडल को किसी छोटे, काम-विशेष डेटासेट, जैसे उदाहरण वाली बातचीत, पर आगे ट्रेन करने की प्रक्रिया है, ताकि उसके वेट बदलें और वह हर प्रॉम्प्ट में लंबे निर्देश या उदाहरण दिए बिना वह काम या स्टाइल ज़्यादा भरोसे से करे।
- फ़्यू-शॉट प्रॉम्प्टिंग (few-shot prompting)
- फ़्यू-शॉट प्रॉम्प्टिंग वह तकनीक है जिसमें प्रॉम्प्ट असली इनपुट से पहले इनपुट-आउटपुट के कुछ हल किए उदाहरण देता है, ताकि लैंग्वेज मॉडल उनसे काम और फ़ॉर्मैट समझ ले। मॉडल के वेट नहीं बदलते; ज़ीरो-शॉट में कोई उदाहरण नहीं होता और वन-शॉट में एक।
- फ़्रीक्वेंसी और प्रेज़ेंस पेनल्टी
- फ़्रीक्वेंसी और प्रेज़ेंस पेनल्टी सैंपलिंग सेटिंग हैं जो आउटपुट में पहले आ चुके टोकन का स्कोर घटाती हैं। प्रेज़ेंस पेनल्टी टोकन के एक बार भी आने पर लगती है; फ़्रीक्वेंसी पेनल्टी हर दोहराव के साथ बढ़ती है। OpenAI के API में दोनों की रेंज -2.0 से 2.0 है, डिफ़ॉल्ट 0।
- बाइट पेयर एन्कोडिंग (byte pair encoding, BPE)
- Byte pair encoding (BPE) एक subword tokenization एल्गोरिदम है जो अकेले कैरेक्टर या bytes से शुरू होता है और सबसे आम पास-पास के जोड़े को बार-बार मिलाकर नई शब्दावली एंट्री बनाता है, जब तक लक्ष्य शब्दावली आकार न आ जाए। आज के ज़्यादातर LLM tokenizer BPE या उसका byte-level रूप इस्तेमाल करते हैं।
- मल्टीमोडल AI (multimodal AI)
- मल्टीमोडल AI ऐसा मॉडल या सिस्टम है जो एक से ज़्यादा तरह के डेटा, जैसे टेक्स्ट, इमेज, वीडियो और ऑडियो, के साथ काम करता है। कोई मल्टीमोडल मॉडल फ़ोटो और सवाल साथ पढ़ सकता है, या आवाज़ लेकर टेक्स्ट में जवाब दे सकता है। vision-language मॉडल इसका सबसे आम रूप है।
- मानक आधुनिक अरबी (Modern Standard Arabic, MSA)
- Modern Standard Arabic (MSA) अरबी का मानक रूप है, जो पूरी अरब दुनिया में लेखन, समाचार, शिक्षा और औपचारिक भाषण में इस्तेमाल होता है। यह किसी की रोज़मर्रा की मातृभाषा नहीं है: लोग मिस्री या खाड़ी अरबी जैसी क्षेत्रीय बोलियाँ बोलते हैं और औपचारिक मौक़ों पर MSA अपनाते हैं।
- मॉडल लाइसेंस (model license)
- मॉडल लाइसेंस वे क़ानूनी शर्तें हैं जिनके तहत किसी मॉडल के weights, कोड और आउटपुट इस्तेमाल, बदले और साझा किए जा सकते हैं। ओपन-वेट मॉडल Apache 2.0 या MIT जैसे आम सॉफ़्टवेयर लाइसेंस, या कस्टम मॉडल लाइसेंस इस्तेमाल करते हैं, जो बड़ी कमर्शियल सेवाओं पर सीमा जैसी शर्तें जोड़ सकते हैं।
- रीज़निंग टोकन (reasoning tokens)
- रीज़निंग टोकन वे टोकन हैं जो रीज़निंग मॉडल अपना दिखने वाला जवाब लिखने से पहले किसी समस्या को हल करने के लिए बनाता है। इनका बिल आम तौर पर आउटपुट टोकन की तरह बनता है, ये आउटपुट लिमिट और कॉन्टेक्स्ट विंडो में गिने जाते हैं, और API इन्हें छिपा सकता है या इनका सारांश दे सकता है।
- लॉगप्रॉब्स (logprobs)
- लॉगप्रॉब्स वे लॉग प्रायिकताएँ हैं जो लैंग्वेज मॉडल ने अपने जनरेट किए टोकन को दीं। इन्हें लौटाने वाला API हर आउटपुट टोकन के लिए दिखाता है कि मॉडल ने उसे कितना संभावित माना, और चाहें तो उस जगह के सबसे संभावित वैकल्पिक टोकन भी।
- विज़न-लैंग्वेज मॉडल (VLM)
- विज़न-लैंग्वेज मॉडल (VLM) ऐसा मॉडल है जो इमेज और टेक्स्ट को साथ में इनपुट के रूप में लेकर टेक्स्ट बनाता है, ताकि वह तस्वीरों का वर्णन कर सके, उनके बारे में सवालों के जवाब दे सके और दस्तावेज़, चार्ट या स्क्रीनशॉट पढ़ सके। VLM को image-text-to-text या multimodal मॉडल भी कहते हैं।
- वोकैबुलरी साइज़ (vocabulary size)
- वोकैबुलरी साइज़ किसी लैंग्वेज मॉडल के टोकनाइज़र में अलग-अलग टोकन की संख्या है, जिनमें हर एक का अपना ID और embedding होता है। बड़ी वोकैबुलरी आम टेक्स्ट को कम टोकन में लिख सकती है, पर इससे embedding और आउटपुट लेयर बड़ी होती हैं, और यह सिर्फ़ उसी टेक्स्ट पर मदद करती है जिस पर वोकैबुलरी ट्रेन हुई।
- स्पेक्युलेटिव डिकोडिंग (speculative decoding)
- स्पेक्युलेटिव डिकोडिंग एक इन्फ़रेंस तकनीक है जिसमें छोटा, तेज़ ड्राफ़्ट मॉडल अगले कई टोकन सुझाता है और बड़ा टारगेट मॉडल उन्हें एक ही forward pass में जाँचकर स्वीकार किए गए टोकन रखता है। यह आउटपुट के डिस्ट्रिब्यूशन को बदले बिना जनरेशन तेज़ करती है।
- हम्ज़ा (hamza)
- हम्ज़ा (ء) ग्लॉटल स्टॉप के लिए अरबी अक्षर है। यह अकेले या किसी कुर्सी पर लिखा जाता है: अलिफ़ (أ إ), वाव (ؤ) या ये (ئ), और آ अलिफ़ को मद्दा के साथ जोड़ता है। टाइप किए टेक्स्ट में यह एक-सा नहीं लिखा जाता, सो सर्च इंजन और स्पीच स्कोरिंग अक्सर अलिफ़ वाले रूपों को ا में बदल देते हैं।
- हैलुसिनेशन (hallucination)
- हैलुसिनेशन, लैंग्वेज मॉडल का ऐसा आउटपुट है जो सुनने में सही लगता है लेकिन ग़लत, गढ़ा हुआ या दिए गए इनपुट से असमर्थित होता है, जैसे नक़ली हवाला, ग़लत संख्या या मनगढ़ंत API। यह इसलिए होता है क्योंकि मॉडल तथ्य जाँचने के बजाय संभावित टेक्स्ट का अनुमान लगाता है।
- Arabizi (अरबीज़ी)
- Arabizi लैटिन अक्षरों में अनौपचारिक रूप से लिखी गई अरबी है, जिसमें उन अरबी ध्वनियों के लिए अंक लगते हैं जिनका लैटिन में कोई बराबर अक्षर नहीं, जैसे ع के लिए 3। यह चैट और सोशल मीडिया में आम है, ज़्यादातर बोलचाल की होती है, इसकी तय वर्तनी नहीं, और यह अक्सर अंग्रेज़ी या फ़्रेंच से मिली होती है।
- AWQ (activation-aware weight quantization)
- AWQ (activation-aware weight quantization) एक post-training तरीक़ा है जो LLM के weights को कम प्रिसिज़न, आम तौर पर 4-bit integers, में दबाता है। यह छोटे calibration सेट के activation आँकड़ों से सबसे अहम weight चैनल पहचानता है और उन्हें scale करता है, ताकि उनकी सटीकता कम घटे। इसे backpropagation की ज़रूरत नहीं।
- Eval (LLM इवैल्यूएशन)
- Eval (evaluation का छोटा रूप) किसी लैंग्वेज मॉडल या प्रॉम्प्ट का दोहराने लायक़ टेस्ट है: इनपुट का एक तय सेट, अच्छे आउटपुट का वर्णन, और एक ग्रेडर (कोड, इंसान या दूसरा मॉडल) जो हर आउटपुट को स्कोर करता है, ताकि अलग-अलग वर्ज़न की तुलना हो सके।
- FP8 (8-बिट फ़्लोटिंग पॉइंट)
- FP8 डीप लर्निंग में इस्तेमाल होने वाला 8-बिट फ़्लोटिंग-पॉइंट नंबर फ़ॉर्मैट है, जिसकी दो एन्कोडिंग हैं: E4M3, जिसमें 4 एक्सपोनेंट और 3 मैंटिसा बिट हैं, और E5M2, जिसमें 5 एक्सपोनेंट और 2 मैंटिसा बिट हैं। यह 16-बिट फ़ॉर्मैट के मुक़ाबले मेमोरी आधी करता है और नए GPU पर नेटिव चलता है।
- GGUF
- GGUF लैंग्वेज मॉडल स्टोर करने का एक बाइनरी फ़ाइल फ़ॉर्मैट है, जो llama.cpp जैसे GGML-आधारित रनटाइम पर इन्फ़रेंस के लिए बना है। एक GGUF फ़ाइल में वेट, अक्सर क्वांटाइज़्ड, और मॉडल लोड करने का ज़रूरी मेटाडेटा होता है, जैसे टोकनाइज़र और आर्किटेक्चर की जानकारी, और इसे तेज़ लोडिंग के लिए मेमोरी-मैप किया जा सकता है।
- INT4 (4-bit क्वांटाइज़ेशन)
- INT4 एक 4-bit integer नंबर फ़ॉर्मैट है जो 16 स्तर दर्शा सकता है। LLM इन्फ़रेंस में इसका मतलब आम तौर पर 4-bit weight-only क्वांटाइज़ेशन (W4A16) होता है: weights scale factors के साथ INT4 में रखे जाते हैं और गणना के दौरान 16-bit में फैलाए जाते हैं, जिससे 16-bit weights की लगभग एक चौथाई मेमोरी लगती है।
- KV cache (की-वैल्यू कैश)
- KV cache वह मेमोरी है जहाँ ट्रांसफ़ॉर्मर लैंग्वेज मॉडल पहले से प्रोसेस हुए हर टोकन के लिए निकाले गए attention keys और values रखता है, ताकि हर नया टोकन पूरी sequence दोबारा गिनने के बजाय उन्हें इस्तेमाल करे। यह context की लंबाई के साथ बढ़ता है और अक्सर तय करता है कि GPU कितने अनुरोध संभाले।
- LLM बेंचमार्क (LLM benchmark)
- LLM बेंचमार्क टास्क का एक तय, आम तौर पर पब्लिक सेट है जिसके साथ स्कोर करने का तरीक़ा भी तय होता है, और जिससे लैंग्वेज मॉडल को किसी एक हुनर, जैसे ज्ञान के सवाल, कोडिंग या स्पीच रिकग्निशन, पर मापा और तुलना की जाती है। बेंचमार्क स्कोर उस टेस्ट पर तुलनात्मक क्षमता दिखाता है, आपके अपने वर्कलोड पर प्रदर्शन नहीं।
- LLM-as-a-judge (LLM जज)
- LLM-as-a-judge एक मूल्यांकन तरीक़ा है जिसमें एक लैंग्वेज मॉडल दूसरे मॉडल के आउटपुट को ग्रेड करता है, या तो एक जवाब को rubric पर स्कोर देकर या दो जवाबों में से बेहतर चुनकर। यह इंसानी फ़ैसले के क़रीब पहुँचता है और बहुत सस्ता है, लेकिन इसके जाने-माने bias हैं, जैसे पहले या लंबे जवाब को तरजीह देना।
- LoRA (low-rank adaptation)
- LoRA (low-rank adaptation) एक पैरामीटर-कुशल fine-tuning तरीक़ा है जो पहले से ट्रेन हुए मॉडल के weights को जमा (freeze) देता है और चुनी हुई layers के लिए छोटी low-rank मैट्रिक्स की एक जोड़ी ट्रेन करता है। सीखा गया बदलाव छोटे adapter के रूप में रखा जा सकता है या weights में मिलाया जा सकता है, बिना इन्फ़रेंस latency बढ़ाए।
- Lost in the middle (बीच में खो जाना)
- Lost in the middle लैंग्वेज मॉडल का देखा गया रुझान है कि वे काम की जानकारी का सबसे अच्छा इस्तेमाल तब करते हैं जब वह लंबे इनपुट की शुरुआत या अंत के पास हो, और सबसे ख़राब तब जब वह बीच में हो। यह नाम Liu और साथियों की 2023 की स्टडी ने दिया।
- max_tokens (आउटपुट टोकन सीमा)
- max_tokens एक LLM API पैरामीटर है जो तय करता है कि मॉडल एक जवाब में ज़्यादा से ज़्यादा कितने टोकन जनरेट कर सकता है। सीमा पर पहुँचते ही जनरेशन रुक जाता है और जवाब को कटा हुआ चिह्नित किया जाता है, जैसे finish_reason को "length" पर सेट करके।
- Mixture of experts (MoE)
- Mixture of experts (MoE) एक न्यूरल नेटवर्क डिज़ाइन है जिसमें एक layer में कई expert सब-नेटवर्क होते हैं और एक सीखा हुआ router हर टोकन को उनमें से सिर्फ़ कुछ के पास भेजता है। MoE लैंग्वेज मॉडल के कुल पैरामीटर बहुत होते हैं, लेकिन हर टोकन पर वह एक छोटा active हिस्सा ही इस्तेमाल करता है।
- OCR (optical character recognition)
- OCR (optical character recognition) वह तकनीक है जो किसी इमेज, स्कैन या PDF में छपे या हाथ से लिखे टेक्स्ट को पहचानकर मशीन से पढ़े जा सकने वाले अक्षरों में बदलती है। क्लासिक OCR टेक्स्ट और पेज पर उसकी जगह देता है; vision-language मॉडल टेक्स्ट पढ़कर उसके बारे में सीधे सवालों के जवाब दे सकते हैं।
- Prefill और decode
- Prefill और decode LLM इन्फ़रेंस के दो चरण हैं। Prefill में मॉडल पूरा प्रॉम्प्ट समानांतर रूप से प्रोसेस करके अपना KV cache भरता है; decode में वह उसी cache को दोबारा इस्तेमाल करते हुए जवाब एक-एक टोकन करके बनाता है। Prefill मुख्य रूप से पहले टोकन तक का समय तय करता है; decode आउटपुट की रफ़्तार।
- vLLM
- vLLM, LLM inference और सर्विंग के लिए एक ओपन-सोर्स लाइब्रेरी है, जिसे पहले UC Berkeley की Sky Computing Lab में बनाया गया। यह PagedAttention से KV cache मेमोरी सँभालती है, आने वाले अनुरोधों को लगातार बैच करती है, कई quantization फ़ॉर्मैट सपोर्ट करती है और OpenAI-compatible HTTP सर्वर देती है।
कीमतें और बिलिंग
- इनपुट और आउटपुट टोकन (input and output tokens)
- इनपुट टोकन वे टोकन हैं जिन्हें लैंग्वेज मॉडल किसी अनुरोध में पढ़ता है, जिनमें सिस्टम प्रॉम्प्ट, बातचीत का इतिहास, टूल डेफ़िनिशन और इमेज शामिल हैं। आउटपुट टोकन वे हैं जो वह जवाब में बनाता है, रीज़निंग समेत। LLM API आम तौर पर दोनों की कीमत अलग रखते हैं, और आउटपुट आम तौर पर महँगा होता है।
- उपयोग के अनुसार भुगतान (pay-as-you-go)
- उपयोग के अनुसार भुगतान (pay-as-you-go) एक प्राइसिंग मॉडल है जिसमें आप सिर्फ़ उतना देते हैं जितना इस्तेमाल करते हैं, जिसे टोकन, अनुरोध या ऑडियो मिनट जैसी इकाइयों में मापा जाता है, बिना सब्सक्रिप्शन या न्यूनतम प्रतिबद्धता के। ज़्यादातर LLM API इसी तरह बिल बनाते हैं, प्रीपेड बैलेंस या समय-समय पर बनने वाले इनवॉइस से।
- कैश्ड इनपुट टोकन (cached input tokens)
- कैश्ड इनपुट टोकन वे प्रॉम्प्ट टोकन हैं जिन्हें LLM प्रोवाइडर ने हाल ही में प्रोसेस किया है और दोबारा गणना करने के बजाय कैश से फिर इस्तेमाल कर सकता है, आम तौर पर सिस्टम प्रॉम्प्ट या डॉक्यूमेंट जैसा दोहराया गया प्रीफ़िक्स। प्रोवाइडर इनका बिल नए इनपुट टोकन से कम दर पर बनाते हैं।
- प्रीपेड क्रेडिट (prepaid credit)
- प्रीपेड क्रेडिट वह पैसा है जो इस्तेमाल से पहले API अकाउंट में डाला जाता है। हर अनुरोध की लागत बैलेंस से कटती है, और बैलेंस ख़त्म होने पर मीटर वाले अनुरोध तब तक रुक जाते हैं जब तक आप टॉप-अप न करें। इससे खर्च उतने तक सीमित रहता है जितना आपने जमा किया है।
- फ़्लैट-रेट LLM प्लान (flat-rate LLM plan)
- फ़्लैट-रेट LLM प्लान किसी लैंग्वेज मॉडल API तक पहुँच के लिए प्रति टोकन बिल बनाने के बजाय एक अवधि, जैसे एक महीने, की तय कीमत लेता है। ऐसे प्लान आम तौर पर कुछ और सीमित करते हैं, जैसे concurrency, स्पीड, मॉडल या इस्तेमाल की समय-सीमा, इसलिए सीमाएँ कीमत जितनी ही अहम हैं।
- स्पेंड लिमिट (spend limit)
- स्पेंड लिमिट वह सीमा है कि कोई API अकाउंट, प्रोजेक्ट या key एक अवधि में, आम तौर पर एक महीने में, कितना ख़र्च कर सकती है। इस्तेमाल वहाँ पहुँचने पर प्रोवाइडर आगे के अनुरोध रिजेक्ट करता है, अक्सर HTTP 429 या 400 एरर के साथ, जब तक अवधि रीसेट न हो या लिमिट बढ़ाई न जाए।
- GPU-घंटा (GPU-hour)
- GPU-घंटा एक ग्राफ़िक्स प्रोसेसर का एक घंटे तक इस्तेमाल है। क्लाउड प्रोवाइडर किराए के GPU इंस्टेंस का बिल घंटे या सेकंड के हिसाब से बनाते हैं, और रिसर्चर किसी जॉब का कंप्यूट GPU-घंटों में बताते हैं। आप मशीन के समय का भुगतान करते हैं, चाहे वह व्यस्त हो या नहीं।
प्राइवेसी और सुरक्षा
- गार्डरेल (LLM guardrails)
- गार्डरेल वे जाँचें हैं जो कोई ऐप्लिकेशन लैंग्वेज मॉडल कॉल के इर्द-गिर्द चलाता है, ताकि वह तय सीमाओं में रहे। इनपुट गार्डरेल मॉडल में जाने वाली चीज़ परखते हैं, आउटपुट गार्डरेल बाहर आने वाली, और टूल गार्डरेल कार्रवाई चलने से पहले उसे जाँचते हैं। जाँच फ़ेल होने पर अनुरोध रुकता, बदलता या फ़्लैग होता है।
- ज़ीरो डेटा रिटेंशन (zero data retention, ZDR)
- ज़ीरो डेटा रिटेंशन (ZDR) डेटा सँभालने की एक पॉलिसी है, जिसमें AI प्रोवाइडर प्रॉम्प्ट और आउटपुट सिर्फ़ अनुरोध पूरा करने के लिए प्रोसेस करता है और बाद में वह सामग्री लॉग, कैश या ट्रेनिंग डेटा में स्टोर नहीं करता। टोकन गिनती और समय जैसे बिना सामग्री वाले रिकॉर्ड आम तौर पर फिर भी रखे जाते हैं।
- जेलब्रेक (LLM jailbreak)
- जेलब्रेक एक ऐसा इनपुट है जो किसी लैंग्वेज मॉडल से उसकी सेफ़्टी ट्रेनिंग या उसे चलाने वाले ऐप के नियमों की अनदेखी करवाने के लिए बनाया जाता है, ताकि वह ऐसा कंटेंट दे या ऐसे काम करे जिनसे वह आम तौर पर इनकार करता। OWASP जेलब्रेकिंग को prompt injection का एक रूप मानता है।
- डेटा प्रोसेसिंग एग्रीमेंट (DPA)
- डेटा प्रोसेसिंग एग्रीमेंट (DPA) कंट्रोलर और प्रोसेसर के बीच का अनुबंध है, जो तय करता है कि प्रोसेसर पर्सनल डेटा कैसे संभालेगा। GDPR अनुच्छेद 28(3) इसे ज़रूरी बनाता है और इसकी सामग्री गिनाता है: लिखित निर्देश, गोपनीयता, सुरक्षा, सबप्रोसेसर के नियम, डेटा मिटाना या लौटाना, और ऑडिट।
- डेटा रेज़िडेंसी (data residency)
- डेटा रेज़िडेंसी वह शर्त या वादा है कि डेटा किसी तय देश या क्षेत्र में ही स्टोर और प्रोसेस होगा। LLM API के लिए यह बताती है कि इन्फ़रेंस के दौरान प्रॉम्प्ट कहाँ प्रोसेस होते हैं और कोई स्टोर किया कंटेंट कहाँ रहता है; अक्सर अकाउंट और बिलिंग डेटा इसमें शामिल नहीं होता।
- प्रॉम्प्ट इंजेक्शन (prompt injection)
- Prompt injection एक हमला है जिसमें लैंग्वेज मॉडल को दिया गया टेक्स्ट, चाहे यूज़र ने लिखा हो या किसी वेब पेज, ईमेल, फ़ाइल या टूल नतीजे में छिपा हो, मॉडल का बर्ताव डेवलपर की मंशा के ख़िलाफ़ बदल देता है। OWASP अपनी LLM ऐप्लिकेशन Top 10 सूची में इसे पहले स्थान (LLM01:2025) पर रखता है।
- सबप्रोसेसर (subprocessor)
- सबप्रोसेसर वह तीसरा पक्ष है जिसे प्रोसेसर कंट्रोलर की ओर से पर्सनल डेटा प्रोसेस करने के लिए लगाता है। LLM API के मामले में सबप्रोसेसर में GPU होस्ट, पार्टनर इन्फ़रेंस प्रोवाइडर और बैकअप क्षमता शामिल हो सकते हैं। GDPR अनुच्छेद 28 के तहत इन्हें कंट्रोलर की अनुमति और वही डेटा सुरक्षा दायित्व चाहिए।
- API key
- API key एक गुप्त स्ट्रिंग है जो API कॉल करने वाले क्लाइंट को पहचानती और अधिकृत करती है। LLM API आम तौर पर इसे Authorization: Bearer हेडर में चाहते हैं, और जिसके पास भी यह key हो, वह ऐसे अनुरोध कर सकता है जिनका बिल key वाले अकाउंट पर बनता है।
- GDPR (जनरल डेटा प्रोटेक्शन रेगुलेशन)
- GDPR (General Data Protection Regulation, Regulation (EU) 2016/679) पर्सनल डेटा की प्रोसेसिंग पर EU का क़ानून है। यह 25 मई 2018 से लागू है और EU में स्थापित संगठनों के साथ EU के बाहर के कुछ संगठनों को भी कवर करता है। LLM API के लिए यह प्रोसेसर अनुबंध, अंतरराष्ट्रीय ट्रांसफ़र और डेटा मिनिमाइज़ेशन तय करता है।
- IP allow list (IP अनुमति सूची)
- IP allow list एक सुरक्षा नियंत्रण है जो सिर्फ़ सूची में दिए IP पतों या CIDR रेंज से आए अनुरोध स्वीकार करता है और बाक़ी सबको ठुकरा देता है। किसी API पर यह लीक हुई key से होने वाला नुक़सान सीमित करता है, क्योंकि सूची से बाहर के नेटवर्क से key काम नहीं करती।
- PDPL (सऊदी और UAE के डेटा संरक्षण क़ानून)
- PDPL (Personal Data Protection Law) सऊदी अरब के पर्सनल डेटा क़ानून का आम नाम है, जो Royal Decree M/19 से जारी हुआ और SDAIA लागू करता है, और UAE के Federal Decree-Law No. 45 of 2021 का भी। दोनों पर्सनल डेटा की प्रोसेसिंग नियंत्रित करते और विदेश ट्रांसफ़र की शर्तें तय करते हैं, विदेशी LLM API को भेजे प्रॉम्प्ट समेत।
- PII (personally identifiable information)
- PII (personally identifiable information) वह जानकारी है जिससे किसी व्यक्ति की पहचान अलग की या खोजी जा सके, जैसे नाम, ID नंबर या बायोमेट्रिक रिकॉर्ड, साथ ही उस व्यक्ति से जुड़ी या जोड़ी जा सकने वाली दूसरी जानकारी। GDPR का व्यापक शब्द personal data है। LLM में PII redaction इसे सिस्टम से निकलने से पहले प्रॉम्प्ट से हटाता है।
आवाज़
- कैरेक्टर एरर रेट (character error rate, CER)
- Character error rate (CER) ट्रांसक्रिप्शन या OCR की सटीकता कैरेक्टर स्तर पर मापता है: आउटपुट को रेफ़रंस टेक्स्ट बनाने के लिए ज़रूरी substitutions, deletions और insertions, भाग रेफ़रंस के कैरेक्टर की संख्या। कम बेहतर है, और 0 पूरा मेल है।
- कोड-स्विचिंग (code-switching)
- Code-switching एक ही बातचीत या वाक्य में, बोलकर या लिखकर, दो या ज़्यादा भाषाओं, या एक भाषा के अलग रूपों, का इस्तेमाल है। उदाहरण: अरबी बोलने वाले अपनी बोली में अंग्रेज़ी शब्द मिलाते हैं, या मॉडर्न स्टैंडर्ड अरबी और अपनी बोली के बीच आते-जाते हैं।
- टाइमस्टैम्प (स्पीच-टू-टेक्स्ट, timestamps)
- स्पीच-टू-टेक्स्ट में टाइमस्टैम्प ट्रांसक्रिप्ट के हिस्सों से जुड़े शुरू और अंत के समय हैं, सेकंड में। सेगमेंट टाइमस्टैम्प किसी वाक्यांश या वाक्य को कवर करते हैं; वर्ड टाइमस्टैम्प हर शब्द को। सबटाइटल, रिकॉर्डिंग के अंदर सर्च और टेक्स्ट को स्पीकर से मिलाने के लिए ये ज़रूरी हैं।
- टेक्स्ट-टू-स्पीच (text-to-speech, TTS)
- टेक्स्ट-टू-स्पीच (TTS), या स्पीच सिंथेसिस, लिखे टेक्स्ट को बोले गए ऑडियो में बदलता है। TTS API टेक्स्ट, एक आवाज़ और MP3 या WAV जैसा आउटपुट फ़ॉर्मैट लेता है और जनरेट की गई आवाज़ लौटाता है। यह स्पीच-टू-टेक्स्ट का उलटा है, जो ऑडियो को टेक्स्ट में बदलता है।
- वर्ड एरर रेट (WER)
- वर्ड एरर रेट (WER) स्पीच रिकग्निशन की सटीकता का मानक पैमाना है: ट्रांसक्रिप्ट को सही रेफ़रंस में बदलने के लिए ज़रूरी शब्दों के substitutions, deletions और insertions की संख्या, जिसे रेफ़रंस के कुल शब्दों से भाग दिया जाता है। जितना कम, उतना बेहतर।
- वॉइस एक्टिविटी डिटेक्शन (VAD)
- वॉइस एक्टिविटी डिटेक्शन (VAD) सिग्नल-प्रोसेसिंग का एक क़दम है जो ऑडियो के छोटे फ़्रेम को स्पीच या नॉन-स्पीच में बाँटता है। स्पीच सिस्टम इससे ख़ामोशी छोड़ते हैं, लंबी रिकॉर्डिंग को ठहराव पर काटते हैं, पहचानते हैं कि बोलने वाला कब रुका, और बैकग्राउंड शोर को ट्रांसक्राइब होने से बचाते हैं।
- सैंपल रेट (sample rate)
- सैंपल रेट हर सेकंड रिकॉर्ड होने वाले ऑडियो सैंपल की संख्या है, जिसे हर्ट्ज़ (Hz) में नापा जाता है। स्पीच रिकग्निशन मॉडल आम तौर पर 16,000 Hz (16 kHz) मोनो ऑडियो की उम्मीद करते हैं। बिट डेप्थ और चैनल संख्या के साथ मिलकर सैंपल रेट तय करता है कि बिना कंप्रेशन वाली ऑडियो फ़ाइल प्रति मिनट कितनी बड़ी होगी।
- स्पीकर डायराइज़ेशन (speaker diarization)
- स्पीकर डायराइज़ेशन ऑडियो रिकॉर्डिंग को बोलने वालों के हिसाब से हिस्सों में बाँटने का काम है, जो बताता है कि "कौन कब बोला"। यह बोली के हर हिस्से पर SPEAKER_00 जैसा गुमनाम स्पीकर ID लगाता है, और आम तौर पर ट्रांसक्रिप्ट के साथ मिलाकर दिखाता है कि हर लाइन किसने कही।
- स्पीच-टू-टेक्स्ट (speech-to-text)
- स्पीच-टू-टेक्स्ट, जिसे automatic speech recognition (ASR) भी कहते हैं, बोले गए ऑडियो को लिखित टेक्स्ट में बदलने की तकनीक है। speech-to-text API ऑडियो फ़ाइल या स्ट्रीम लेकर ट्रांसक्रिप्ट लौटाता है, आम तौर पर प्रति ऑडियो मिनट की कीमत पर। सटीकता वर्ड एरर रेट से मापी जाती है और लहजे, बोली और रिकॉर्डिंग क्वालिटी के साथ बदलती है।
- Ogg Opus
- Ogg Opus वह ऑडियो है जो Opus codec (RFC 6716) से एन्कोड होकर Ogg कंटेनर (RFC 7845) में रखा जाता है। यह कम bitrate पर बोली और इंटरैक्टिव ऑडियो के लिए बना है, और WhatsApp वॉइस नोट के लिए यही फ़ॉर्मैट इस्तेमाल करता है, आम तौर पर .ogg या .opus फ़ाइलों के रूप में।
- SRT सबटाइटल (SRT subtitles)
- SRT (SubRip) एक प्लेन-टेक्स्ट सबटाइटल फ़ॉर्मैट है। हर कैप्शन में एक क्रम संख्या, hh:mm:ss,mmm --> hh:mm:ss,mmm रूप में लिखा शुरू और अंत का समय, टेक्स्ट की एक या ज़्यादा लाइनें और एक ख़ाली लाइन होती है। WebVTT इससे मिलता-जुलता वेब फ़ॉर्मैट है, जिसे HTML वीडियो इस्तेमाल करता है।
- WAV फ़ाइल (WAV)
- WAV (Waveform Audio File Format, या WAVE) Microsoft और IBM के RIFF फ़ॉर्मैट पर बना एक ऑडियो कंटेनर है। इसमें आम तौर पर बिना कंप्रेशन वाले linear PCM सैंपल होते हैं, इसलिए इसका साइज़ पहले से पता होता है: प्रति सेकंड सैंपल रेट गुणा प्रति सैंपल बाइट गुणा चैनल।
Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें