Glossaire des API de LLM
Mis à jour
Des définitions courtes et sourcées des termes que les développeurs rencontrent en appelant une API de LLM ou de reconnaissance vocale : ce que sont les tokens et la fenêtre de contexte, comment l’entrée en cache et les forfaits à prix fixe changent la facture, et ce que signifient en pratique les limites de débit et la conservation zéro des données.
API et intégration
- Agent de code IA (AI coding agent)
- Un agent de code IA est un outil logiciel dans lequel un modèle de langage travaille en boucle sur une base de code : il lit des fichiers, les modifie, lance des commandes comme les tests, lit la sortie et décide de l’étape suivante jusqu’à ce que la tâche soit terminée ou qu’une limite soit atteinte.
- Agent IA (AI agent)
- Un agent IA est un système dans lequel un modèle de langage dirige lui-même ses étapes vers un objectif : il décide quels outils appeler, lit les résultats et recommence jusqu’à produire une réponse finale ou atteindre une limite. Un script fixe qui appelle un modèle à des moments prévus s’appelle plutôt un workflow.
- API batch (traitement par lots)
- Une API batch est un endpoint LLM asynchrone qui accepte de nombreuses requêtes d’un coup, généralement sous forme de fichier, les traite dans une fenêtre définie plutôt qu’immédiatement et renvoie les résultats ensemble. Des fournisseurs comme OpenAI et Anthropic facturent les requêtes batch avec une remise par rapport à leurs API standard.
- API Chat Completions
- L’API Chat Completions est l’endpoint HTTP d’OpenAI, POST /v1/chat/completions, qui reçoit un nom de modèle et une liste de messages associés à un rôle, et renvoie le message suivant du modèle. Sa forme de requête et de réponse est devenue le format commun que reprennent les fournisseurs et SDK compatibles OpenAI.
- API compatible OpenAI
- Une API compatible OpenAI est une API HTTP qui accepte les mêmes formats de requête et de réponse que l’API OpenAI, comme POST /v1/chat/completions. Les SDK et outils OpenAI peuvent donc l’utiliser en changeant seulement l’URL de base, la clé d’API et le nom du modèle.
- Appel d’outils (tool calling, function calling)
- L’appel d’outils, aussi appelé function calling, est une fonctionnalité des API LLM dans laquelle le modèle renvoie une demande structurée d’exécution d’une fonction définie par le développeur, avec des arguments JSON. L’application exécute la fonction et renvoie le résultat ; le modèle n’exécute jamais de code lui-même.
- Appels d’outils parallèles (parallel tool calls)
- On parle d’appels d’outils parallèles quand un modèle renvoie plus d’un appel d’outil dans une même réponse, par exemple trois lectures de fichiers d’un coup. Au format OpenAI, ils arrivent comme plusieurs entrées dans tool_calls, et parallel_tool_calls à false limite le modèle à zéro ou un appel par tour.
- Backoff exponentiel (exponential backoff)
- Le backoff exponentiel est une stratégie de nouvelle tentative dans laquelle un client attend plus longtemps après chaque échec, en doublant généralement le délai jusqu’à un plafond, avant de réessayer. Ajouter un jitter aléatoire à chaque attente étale les tentatives de nombreux clients, pour qu’elles ne frappent pas le serveur au même instant.
- Base de données vectorielle (vector database)
- Une base de données vectorielle est un système de stockage qui conserve des vecteurs d’embedding, souvent avec leur texte source et des métadonnées, et répond aux requêtes de plus proches voisins : pour un vecteur de requête, elle renvoie les vecteurs stockés les plus similaires, en général selon la distance cosinus, la distance euclidienne ou le produit scalaire.
- BM25
- BM25 (Okapi BM25) est une fonction de classement pour la recherche par mots-clés qui note un document selon la fréquence des termes de la requête dans ce document, la rareté de ces termes dans la collection et la longueur du document. C’est la similarité par défaut de Lucene et d’Elasticsearch.
- Chunking (découpage pour le RAG)
- Le chunking est l’étape d’un pipeline de récupération qui découpe les documents en morceaux plus petits, les chunks, avant de les vectoriser et de les indexer. La taille de chunk fixe la quantité de texte par morceau, et le chevauchement répète un peu de texte entre chunks voisins pour ne pas perdre les idées coupées à une frontière.
- Clé d’idempotence (idempotency key)
- Une clé d’idempotence est une valeur unique, généralement un identifiant aléatoire comme un UUID, qu’un client joint à une requête qui modifie un état, comme un paiement ou un achat. Si la même requête est renvoyée avec la même clé, le serveur renvoie le résultat d’origine au lieu d’exécuter l’action deux fois.
- Concurrence (requêtes simultanées)
- La concurrence est le nombre de requêtes qu’un client a en cours au même moment. Les API de LLM la plafonnent souvent par clé ou par forfait, indépendamment des requêtes par minute, car chaque requête ouverte occupe de la capacité GPU jusqu’à la fin de sa réponse.
- Débit (throughput)
- Le débit (throughput), dans le service de LLM, est la quantité totale de travail qu’un système accomplit par unité de temps sur toutes les requêtes simultanées, généralement mesurée en tokens de sortie par seconde ou en requêtes par seconde. Il se distingue de la vitesse par flux, c’est-à-dire la vitesse à laquelle une seule requête reçoit ses tokens.
- Dépréciation de modèle (model deprecation)
- La dépréciation d’un modèle, c’est l’annonce par un fournisseur d’API qu’un modèle cessera d’être proposé, en général avec une date de retrait ou d’arrêt et un remplaçant recommandé. Après cette date, les requêtes vers le modèle échouent : les applications doivent donc migrer vers un autre ID de modèle avant.
- Fallback de modèle (model fallback)
- Le fallback de modèle est un schéma de fiabilité où une requête LLM échouée est relancée sur un autre modèle ou fournisseur d’une liste ordonnée. Déclencheurs possibles : erreur, limite de débit, contexte trop long ou refus lié à la politique de contenu. Il s’exécute dans votre client ou dans une passerelle devant les API.
- finish_reason
- finish_reason est un champ présent sur chaque choice d’une réponse de chat completion, qui indique pourquoi le modèle a arrêté de générer. Au format OpenAI, les valeurs sont stop, length, tool_calls, content_filter et function_call, obsolète. L’API Messages d’Anthropic exprime la même idée avec stop_reason.
- Fournisseur d’inférence (inference provider)
- Un fournisseur d’inférence est une entreprise qui fait tourner des modèles de machine learning, souvent des LLM open-weight, sur des GPU qu’elle possède, loue ou prend en location, et qui en vend l’accès via une API, généralement facturée au token, à la requête ou au temps. Il gère le service, la montée en charge et le matériel.
- Inférence serverless (serverless inference)
- L’inférence serverless est une façon d’exécuter des modèles de machine learning où la plateforme démarre, met à l’échelle et arrête automatiquement le calcul derrière un endpoint, souvent jusqu’à zéro au repos, et facture l’usage plutôt que des machines réservées. La contrepartie est un possible délai de démarrage à froid (cold start).
- JSON Schema
- JSON Schema est un vocabulaire, écrit en JSON, qui sert à décrire et à valider la structure de données JSON : types, champs obligatoires, valeurs autorisées et imbrication. La version actuelle est la 2020-12. Les API de LLM l’utilisent pour définir les paramètres des outils et la forme exacte que doit suivre une sortie structurée.
- Latence (LLM)
- Pour une API de modèle de langage, la latence est le temps que prend une requête entre son envoi et la réception du dernier token de sortie. C’est la somme du time to first token et du temps de génération, généralement exprimée en percentiles comme le p50 et le p95 plutôt qu’en moyenne.
- Limite de débit (rate limit)
- Une limite de débit (rate limit) est un plafond qu’une API impose à l’usage d’un client sur une période, par exemple en requêtes ou en tokens par minute. Les requêtes au-delà sont refusées, généralement avec HTTP 429 Too Many Requests, jusqu’à ce que l’usage repasse sous la limite.
- MCP (Model Context Protocol)
- MCP (Model Context Protocol) est un protocole ouvert, fondé sur JSON-RPC 2.0, qui normalise la façon dont les applications LLM se connectent à des outils et des données externes. Un serveur MCP expose des outils, des ressources et des prompts ; un client MCP, dans l’application hôte, les découvre et transmet au serveur les appels d’outils du modèle.
- Mode JSON (JSON mode)
- Le mode JSON est un réglage des API de LLM, response_format {"type": "json_object"} dans les API de style OpenAI, qui fait de la réponse du modèle un JSON valide et analysable. Contrairement aux Structured Outputs avec un JSON Schema, il ne garantit pas les clés, les types ni les valeurs de l’objet.
- Normalisation Unicode
- La normalisation Unicode convertit un texte dans une forme standard afin que des chaînes d’apparence identique utilisent les mêmes points de code. Les quatre formes sont NFD, NFC, NFKD et NFKC ; les formes K ramènent aussi les caractères de compatibilité, comme les formes de présentation arabes et les ligatures, à des lettres ordinaires.
- Paramètre seed (graine aléatoire)
- Le paramètre seed est un entier envoyé avec une requête pour que l’API essaie de tirer les mêmes tokens quand la même requête est répétée. OpenAI parle de « best effort » : le déterminisme n’est pas garanti, et le champ system_fingerprint signale quand la configuration du backend a changé.
- Prompt système (system prompt)
- Le prompt système est le texte d’instructions qu’une application envoie à un modèle de langage avant la conversation, généralement sous forme de message au rôle system ou developer. Il fixe le rôle, les règles, le ton et le format de sortie du modèle, qui est censé le suivre même face à des messages contradictoires de l’utilisateur.
- RAG (génération augmentée par récupération)
- Le RAG (retrieval-augmented generation, génération augmentée par récupération) est une approche dans laquelle une application récupère d’abord, dans une source externe comme un index de recherche ou un index vectoriel, les passages pertinents pour une question, puis les ajoute au prompt pour qu’un modèle de langage réponde à partir de ce texte et pas seulement de sa mémoire.
- ReAct (reason and act)
- ReAct (reason and act) est un schéma de prompting, présenté par Yao et al. en 2022, dans lequel un modèle de langage entrelace des traces de raisonnement et des actions, comme une recherche ou un appel d’outil. Il lit chaque observation, met à jour son plan et recommence jusqu’à pouvoir donner une réponse finale.
- Recherche hybride (hybrid search)
- La recherche hybride est une méthode de récupération qui exécute, sur la même requête, une recherche par mots-clés comme BM25 et une recherche vectorielle sur des embeddings, puis fusionne les deux listes classées en une seule, souvent par reciprocal rank fusion (RRF) ou par somme pondérée de scores normalisés.
- Reranking (reclassement)
- Le reranking est une seconde étape de recherche dans laquelle un modèle plus précis mais plus lent, en général un cross-encoder, note chaque paire requête-document candidat issue d’une première recherche et les réordonne, afin que seuls les quelques plus pertinents soient transmis au modèle de langage.
- Routeur LLM (LLM router)
- Un routeur LLM est un logiciel ou un service placé entre une application et une ou plusieurs API de modèles de langage, qui décide pour chaque requête quel modèle ou quel fournisseur la traite, selon des règles comme le coût, la latence, la disponibilité ou le type de tâche.
- Séquences d’arrêt (stop sequences)
- Les séquences d’arrêt (stop sequences) sont des chaînes envoyées avec une requête qui font cesser la génération dès que le modèle produit l’une d’elles. OpenAI appelle ce champ stop et accepte jusqu’à 4 séquences ; Anthropic l’appelle stop_sequences. Le texte trouvé est normalement exclu de la sortie renvoyée.
- Server-sent events (SSE)
- Les server-sent events (SSE) sont un standard du web qui permet à un serveur de pousser un flux d’événements texte vers un client, via une seule réponse HTTP de longue durée de type text/event-stream. Chaque événement se compose d’une ou plusieurs lignes de champ, comme data:, et se termine par une ligne vide.
- SLA (accord de niveau de service)
- Un SLA (accord de niveau de service) est un engagement contractuel d’un fournisseur sur un niveau de service mesurable, le plus souvent un pourcentage de disponibilité mensuelle, avec une compensation définie, généralement des crédits de service, s’il n’est pas atteint. Un SLA précise ce qui compte comme indisponibilité, ce qui est exclu et comment réclamer.
- Sortie structurée (structured output)
- La sortie structurée est une fonction des API LLM qui contraint la réponse d’un modèle à un format défini par le développeur, en général un JSON Schema, pour que le code puisse l’analyser de façon fiable. Elle est plus stricte que le mode JSON, qui garantit un JSON valide mais pas une structure précise.
- Sous-agent (subagent)
- Un sous-agent est un agent distinct que l’agent principal lance pour traiter une tâche ciblée. Il s’exécute avec sa propre fenêtre de contexte, son prompt système et ses accès aux outils, fait le travail et ne renvoie qu’un résultat ou un résumé à l’agent principal, ce qui garde la conversation principale légère.
- Streaming
- Le streaming est une manière de renvoyer la réponse d’un modèle de langage par petits chunks pendant sa génération, plutôt qu’en un seul bloc à la fin. Les API compatibles OpenAI streament via des server-sent events quand la requête règle stream sur true.
- Système multi-agents (multi-agent system)
- Un système multi-agents est une application LLM dans laquelle plusieurs agents, chacun avec son prompt, ses outils et son contexte, traitent les parties d’une même tâche. Un schéma courant est orchestrateur-workers : un agent principal planifie, lance des agents workers en parallèle et combine leurs résultats.
- Texte de droite à gauche (RTL)
- Le texte de droite à gauche (RTL) est une écriture, comme l’arabe ou l’hébreu, affichée de droite à gauche. Les ordinateurs la stockent dans l’ordre logique de lecture, et l’algorithme bidirectionnel Unicode décide de l’ordre d’affichage quand le texte RTL se mêle à du texte de gauche à droite, des chiffres, des noms de modèles ou du code.
- Time to first token (TTFT)
- Le time to first token (TTFT) est le temps écoulé entre l’envoi d’une requête à un modèle de langage et l’arrivée du premier token de sortie. Il comprend le temps réseau, la file d’attente côté serveur et le prefill, où le modèle lit tout le prompt : il augmente donc avec la longueur du prompt et la charge.
- Timeout de requête (délai d’expiration)
- Un timeout de requête est la durée maximale pendant laquelle un client HTTP attend un serveur avant d’abandonner la requête. Les clients le divisent souvent en un timeout de connexion, pour ouvrir la connexion, et un timeout de lecture, pour attendre les données. Les appels de LLM exigent des timeouts de lecture généreux, car les longues réponses prennent du temps.
- tool_choice
- tool_choice est un paramètre de requête qui contrôle l’usage des outils. Dans les Chat Completions d’OpenAI, il vaut auto (le modèle décide), required (il doit appeler un ou plusieurs outils), none (aucun outil) ou le nom d’une fonction à forcer. Les options équivalentes chez Anthropic sont auto, any, tool et none.
- URL de base (base URL)
- L’URL de base est l’adresse racine fixe d’une API, comme https://api.example.com/v1, que le client place devant chaque chemin d’endpoint, comme /chat/completions. Dans les SDK compatibles OpenAI, changer l’URL de base, avec la clé d’API et l’ID du modèle, oriente le même code vers un autre fournisseur.
Modèles et tokens
- Arabe dialectal (dialectal Arabic)
- L’arabe dialectal est l’arabe parlé au quotidien dans une région ou une ville, comme l’égyptien, l’arabe du Golfe, le levantin ou le maghrébin. Les dialectes diffèrent de l’arabe standard moderne par les sons, les mots et la grammaire, n’ont pas d’orthographe standard et s’écrivent de plus en plus en ligne, ce qui complique la tâche des modèles de langage.
- Arabe standard moderne (MSA)
- L’arabe standard moderne (MSA) est la forme standardisée de l’arabe utilisée à l’écrit, dans l’information, l’enseignement et le discours formel dans tout le monde arabe. Ce n’est la langue maternelle de personne : on parle au quotidien des dialectes régionaux, comme l’égyptien ou l’arabe du Golfe, et on passe au MSA dans les contextes formels.
- Arabizi (franco-arabe)
- L’arabizi est de l’arabe écrit de façon informelle en lettres latines, avec des chiffres pour les sons arabes sans équivalent latin, comme 3 pour ع. Courant dans les messageries et sur les réseaux sociaux, il est surtout dialectal, n’a pas d’orthographe standard et se mêle souvent d’anglais ou de français.
- AWQ (activation-aware weight quantization)
- L’AWQ (activation-aware weight quantization) est une méthode post-entraînement qui compresse les poids d’un LLM en basse précision, généralement des entiers 4 bits. Elle utilise les statistiques d’activation d’un petit jeu de calibration pour repérer les canaux de poids les plus importants et les met à l’échelle pour qu’ils perdent moins de précision. Elle ne nécessite aucune rétropropagation.
- Benchmark de LLM
- Un benchmark de LLM est un ensemble fixe de tâches, généralement public, avec une méthode de notation, qui mesure et compare des modèles de langage sur une compétence : connaissances, code ou reconnaissance vocale. Un score de benchmark indique un niveau relatif sur ce test, pas les résultats d’un modèle sur votre propre charge de travail.
- Byte pair encoding (BPE)
- Le byte pair encoding (BPE) est un algorithme de tokenisation en sous-mots qui part de caractères ou d’octets isolés et fusionne de façon répétée la paire adjacente la plus fréquente en une nouvelle entrée de vocabulaire, jusqu’à atteindre une taille de vocabulaire cible. La plupart des tokenizers de LLM actuels utilisent le BPE ou une variante au niveau octet.
- Cache KV (KV cache)
- Le cache KV est la mémoire où un modèle de langage transformer stocke les clés et les valeurs d’attention calculées pour chaque token déjà traité, afin que chaque nouveau token les réutilise au lieu de recalculer toute la séquence. Il grossit avec la longueur du contexte et limite souvent le nombre de requêtes qu’un GPU peut servir.
- Chaîne de pensée (chain-of-thought, CoT)
- La chaîne de pensée (chain-of-thought, CoT) est une technique de prompting dans laquelle on montre à un modèle de langage, ou on lui demande d’écrire, des étapes de raisonnement intermédiaires avant sa réponse finale. Elle améliore la précision sur les problèmes à plusieurs étapes comme l’arithmétique et la logique, et les modèles de raisonnement la génèrent désormais automatiquement.
- Chat template (modèle de conversation)
- Un chat template est la règle de mise en forme, généralement écrite en Jinja et livrée avec le tokenizer d’un modèle, qui convertit une liste de messages de chat avec leurs rôles en la séquence unique de tokens attendue par le modèle, tokens de contrôle spéciaux compris. Un mauvais template peut fortement dégrader les réponses d’un modèle.
- Compaction du contexte (context compaction)
- La compaction du contexte consiste à résumer une conversation qui approche de la limite de la fenêtre de contexte et à poursuivre la session à partir de ce résumé, afin qu’un agent conserve les décisions clés et l’état tout en abandonnant l’historique brut, comme les anciennes sorties d’outils.
- Context engineering (ingénierie du contexte)
- Le context engineering est le travail qui consiste à choisir et à entretenir l’ensemble des tokens qu’un modèle de langage voit à chaque requête (prompt système, définitions d’outils, historique, documents récupérés et notes) pour que le modèle reçoive le plus petit ensemble d’informations pertinentes dont il a besoin pour bien faire la tâche.
- Context rot (dégradation du contexte)
- Le context rot est la perte progressive de précision et de fiabilité que montrent les modèles de langage quand leur entrée s’allonge, même si la tâche reste la même et que l’entrée tient largement dans la fenêtre de contexte. Le terme a été popularisé par un rapport technique de Chroma de 2025 qui a testé 18 modèles.
- Décodage spéculatif (speculative decoding)
- Le décodage spéculatif est une technique d’inférence dans laquelle un petit modèle brouillon rapide propose plusieurs tokens suivants, que le grand modèle cible vérifie en une seule passe avant (forward pass) en gardant ceux qu’il accepte. Il accélère la génération sans changer la distribution de la sortie.
- Diacritiques arabes (tashkeel)
- Les diacritiques arabes, ou tashkeel, sont de petits signes placés au-dessus ou au-dessous des lettres pour noter les voyelles brèves, les consonnes doublées et l’absence de voyelle. Ils sont facultatifs : la plupart des textes arabes, presse comprise, les omettent, et lecteurs comme logiciels déduisent les voyelles du contexte.
- Distillation (knowledge distillation)
- La distillation, ou distillation des connaissances, est une méthode d’entraînement dans laquelle un modèle élève plus petit apprend à reproduire les sorties d’un modèle maître plus grand, comme ses distributions de probabilités ou ses réponses générées, afin de conserver une grande partie de sa qualité pour un coût d’exécution moindre.
- Embeddings (plongements vectoriels)
- Les embeddings sont des listes de nombres à virgule flottante (des vecteurs) qu’un modèle produit pour représenter un texte, une image ou une autre entrée. Des entrées de sens proche obtiennent des vecteurs voisins : la distance entre vecteurs permet de classer des résultats de recherche, de regrouper des documents ou de trouver des éléments apparentés.
- Eval (évaluation de LLM)
- Une eval (abréviation d’évaluation) est un test reproductible d’un modèle de langage ou d’un prompt : un ensemble fixe d’entrées, une description de ce qu’est une bonne sortie et un correcteur (du code, un humain ou un autre modèle) qui note chaque sortie pour pouvoir comparer les versions.
- Fenêtre de contexte (context window)
- La fenêtre de contexte est le nombre maximal de tokens qu’un modèle de langage peut traiter dans une seule requête. Elle couvre le prompt, l’historique de conversation, les définitions d’outils, les images et la sortie générée, tokens de raisonnement compris. Ce qui ne tient pas doit être coupé, résumé ou réparti sur plusieurs requêtes.
- Few-shot prompting (prompt avec exemples)
- Le few-shot prompting est une technique où le prompt contient quelques exemples entrée-sortie résolus avant l’entrée réelle, pour qu’un modèle de langage en déduise la tâche et le format. Les poids du modèle ne changent pas ; le zero-shot n’utilise aucun exemple et le one-shot un seul.
- Fine-tuning (affinage d’un modèle)
- Le fine-tuning consiste à poursuivre l’entraînement d’un modèle de langage pré-entraîné sur un jeu de données plus petit et propre à une tâche, comme des conversations d’exemple, pour que ses poids changent et qu’il exécute cette tâche ou ce style de façon plus fiable, sans longues instructions ni exemples dans chaque prompt.
- FP8
- Le FP8 est un format de nombres à virgule flottante sur 8 bits utilisé en deep learning, défini en deux encodages : E4M3, avec 4 bits d’exposant et 3 de mantisse, et E5M2, avec 5 bits d’exposant et 2 de mantisse. Il divise par deux la mémoire par rapport aux formats 16 bits et s’exécute nativement sur les GPU récents.
- Frequency penalty et presence penalty
- La frequency penalty et la presence penalty sont des réglages d’échantillonnage qui abaissent le score des tokens déjà présents dans la sortie. La presence penalty s’applique une fois dès qu’un token est apparu ; la frequency penalty augmente à chaque répétition. Dans l’API d’OpenAI, les deux vont de -2.0 à 2.0, avec 0 par défaut.
- GGUF
- Le GGUF est un format de fichier binaire qui stocke des modèles de langage pour l’inférence avec des runtimes basés sur GGML comme llama.cpp. Un fichier GGUF contient les poids, souvent quantifiés, ainsi que les métadonnées nécessaires au chargement, dont le tokenizer et l’architecture, et peut être mappé en mémoire pour un chargement rapide.
- Grounding (ancrage dans les sources)
- Le grounding consiste à rattacher la sortie d’un modèle de langage à des sources d’information précises et vérifiables, comme des documents fournis, des résultats de recherche ou des enregistrements de base de données, et à lui demander d’y puiser sa réponse. Une réponse ancrée peut être retracée jusqu’à une source et contient moins de faits inventés.
- Hallucination (IA)
- Une hallucination est une sortie d’un modèle de langage qui paraît plausible mais qui est fausse, inventée ou non étayée par l’entrée fournie : une référence inventée, un chiffre erroné ou une API qui n’existe pas. Elle vient du fait que le modèle prédit un texte probable au lieu de vérifier des faits.
- Hamza
- La hamza (ء) est la lettre arabe qui note le coup de glotte. Elle s’écrit seule ou sur un support : alif (أ إ), waw (ؤ) ou ya (ئ), et آ combine alif et madda. Comme le texte saisi l’écrit de façon irrégulière, les moteurs de recherche et l’évaluation de la parole ramènent souvent les formes d’alif à ا.
- IA multimodale (multimodal AI)
- L’IA multimodale désigne un modèle ou un système qui travaille avec plusieurs types de données, comme le texte, les images, la vidéo et l’audio. Un modèle multimodal peut lire une photo et une question ensemble, ou recevoir de la parole et répondre en texte. Le modèle vision-langage en est le type le plus courant.
- Identification des dialectes arabes
- L’identification des dialectes arabes consiste à déterminer dans quelle variété d’arabe est un texte ou un enregistrement, par exemple égyptien, du Golfe, levantin, maghrébin ou arabe standard moderne, au niveau de la région, du pays ou de la ville. Elle sert à router les messages, choisir les prompts et découper les jeux d’évaluation.
- INT4 (quantification 4 bits)
- INT4 est un format d’entier sur 4 bits qui représente 16 niveaux. En inférence de LLM, il désigne en général la quantification des poids seuls sur 4 bits (W4A16) : les poids sont stockés en INT4 avec des facteurs d’échelle et repassés en 16 bits pendant le calcul, pour environ un quart de la mémoire de poids en 16 bits.
- Licence de modèle (model license)
- Une licence de modèle désigne les conditions juridiques selon lesquelles les poids, le code et les sorties d’un modèle peuvent être utilisés, modifiés et partagés. Les modèles open-weight utilisent des licences logicielles standard comme Apache 2.0 ou MIT, ou des licences propres pouvant ajouter des conditions, par exemple pour les grands services commerciaux.
- LLM-as-a-judge (LLM juge)
- LLM-as-a-judge est une méthode d’évaluation dans laquelle un modèle de langage note les sorties d’autres modèles, soit en évaluant une réponse unique selon une grille, soit en choisissant la meilleure de deux réponses. Elle approche le jugement humain pour un coût bien moindre, mais présente des biais connus, comme une préférence pour la première réponse ou la plus longue.
- Logprobs (log-probabilités)
- Les logprobs sont les log-probabilités qu’un modèle de langage a attribuées aux tokens qu’il a générés. Une API qui les renvoie montre, pour chaque token de sortie, à quel point le modèle le jugeait probable et, en option, les tokens alternatifs les plus probables à cette position.
- LoRA (low-rank adaptation)
- LoRA (low-rank adaptation) est une méthode de fine-tuning économe en paramètres qui gèle les poids d’un modèle pré-entraîné et entraîne une paire de petites matrices de bas rang pour certaines couches. La mise à jour apprise peut être stockée comme un petit adaptateur ou fusionnée dans les poids, sans latence d’inférence supplémentaire.
- Lost in the middle (perdu au milieu)
- Lost in the middle désigne la tendance observée des modèles de langage à mieux exploiter une information pertinente lorsqu’elle se trouve près du début ou de la fin d’une longue entrée, et moins bien lorsqu’elle se situe au milieu. Le phénomène a été nommé dans une étude de Liu et al. en 2023.
- max_tokens
- max_tokens est un paramètre des API LLM qui fixe le nombre maximal de tokens qu’un modèle peut générer dans une réponse. Quand la génération atteint la limite, elle s’arrête et la réponse est marquée comme coupée, par exemple avec finish_reason égal à « length ».
- Mixture of experts (MoE, mélange d’experts)
- Le mixture of experts (MoE) est une architecture de réseau de neurones dans laquelle une couche contient de nombreux sous-réseaux experts et un routeur appris envoie chaque token vers quelques-uns seulement. Un modèle de langage MoE a un grand nombre total de paramètres mais n’en utilise qu’un petit sous-ensemble actif par token.
- Modèle open-weight (à poids ouverts)
- Un modèle open-weight est un modèle d’apprentissage automatique dont les poids entraînés sont publiés pour que chacun puisse les télécharger et les exécuter, généralement sous une licence assortie de conditions. Il se distingue de l’IA entièrement open source, qui publie aussi le code d’entraînement et des informations détaillées sur les données, pour que d’autres puissent étudier et reproduire le modèle.
- Modèle vision-langage (VLM)
- Un modèle vision-langage (VLM) est un modèle qui prend en entrée des images et du texte ensemble et produit du texte : il peut décrire des images, répondre à des questions à leur sujet et lire des documents, des graphiques ou des captures d’écran. On parle aussi de modèles image-texte-vers-texte ou multimodaux.
- Normalisation du texte arabe
- La normalisation du texte arabe est l’étape qui ramène les variantes orthographiques d’un même mot à une seule forme avant la comparaison : suppression des diacritiques et du tatweel, unification des formes d’alif, et souvent ى vers ي et ة vers ه. Elle s’applique aux clés de recherche et à l’évaluation, pas au texte affiché.
- Prefill et decode
- Le prefill et le decode sont les deux phases de l’inférence d’un LLM. Pendant le prefill, le modèle traite tout le prompt en parallèle et remplit son cache KV ; pendant le decode, il génère la réponse token par token en réutilisant ce cache. Le prefill détermine surtout le time to first token, le decode la vitesse de sortie.
- Prompt engineering (ingénierie de prompt)
- Le prompt engineering est le travail qui consiste à écrire, structurer et tester les instructions données à un modèle de langage pour qu’il produise de façon constante une sortie conforme à vos exigences. Il couvre les messages de rôle, des instructions claires, des exemples, la mise en forme et la mesure des résultats sur des cas de test.
- Quantification (quantization)
- La quantification consiste à stocker les nombres d’un réseau de neurones, surtout ses poids, dans un format de moindre précision comme 8 ou 4 bits au lieu de 16 bits, pour que le modèle utilise moins de mémoire et tourne souvent plus vite. Les bonnes méthodes limitent la perte de précision.
- Reconnaissance d’entités nommées (NER)
- La reconnaissance d’entités nommées (NER) est la tâche qui consiste à trouver les noms dans un texte et à attribuer à chacun un type, comme personne, organisation ou lieu. Les systèmes classiques étiquettent chaque token ; on demande plutôt aux LLM une liste d’entités en JSON, ensuite vérifiée par rapport au texte source.
- Reconnaissance optique de caractères (OCR)
- La reconnaissance optique de caractères (OCR) est une technologie qui détecte le texte imprimé ou manuscrit d’une image, d’un scan ou d’un PDF et le convertit en caractères lisibles par une machine. L’OCR classique produit le texte et sa position sur la page ; les modèles vision-langage peuvent lire le texte et répondre directement à des questions dessus.
- Tâ’ marbûta (ة)
- Le tâ’ marbûta (ة, U+0629) est une lettre arabe qui n’apparaît qu’en fin de mot et marque souvent les noms et adjectifs féminins. Il ressemble au hâ’ (ه, U+0647) surmonté de deux points : les textes saisis mélangent donc les deux, et de nombreux normaliseurs de recherche remplacent ة par ه.
- Taille du vocabulaire (vocabulary size)
- La taille du vocabulaire est le nombre de tokens distincts dans le tokenizer d’un modèle de langage, chacun avec son propre identifiant et son propre embedding. Un vocabulaire plus grand peut encoder le texte courant en moins de tokens, mais il alourdit les couches d’embedding et de sortie, et n’aide que pour le texte sur lequel il a été entraîné.
- Température (temperature)
- La température est un paramètre d’échantillonnage qui règle le degré de hasard de la sortie d’un modèle de langage. Le modèle divise les scores des tokens par la température avant de les convertir en probabilités : une valeur basse fait dominer le token le plus probable, une valeur haute aplatit la distribution et favorise les tokens moins probables.
- Token
- Un token est l’unité de texte qu’un modèle de langage lit et écrit : un mot, une partie de mot, un signe de ponctuation ou une suite d’octets produite par le tokenizer du modèle. Les API LLM comptent, limitent et facturent généralement l’usage en tokens.
- Tokenizer (tokeniseur)
- Un tokenizer est le composant qui convertit un texte en la suite d’ID entiers de tokens que lit un modèle de langage, et reconvertit les ID générés en texte. Chaque modèle a son propre tokenizer : un même texte peut donc produire un nombre de tokens différent selon le modèle.
- Tokens d’image (image tokens)
- Les tokens d’image sont les tokens d’entrée qu’un modèle vision-langage utilise pour représenter une image dans un prompt. Les fournisseurs les calculent à partir de la taille de l’image, en général en la découpant en patchs ou tuiles de taille fixe après redimensionnement, et les facturent comme des tokens d’entrée texte : une image plus grande coûte plus cher.
- Tokens de raisonnement (reasoning tokens)
- Les tokens de raisonnement sont les tokens qu’un modèle de raisonnement génère pour résoudre un problème avant d’écrire sa réponse visible. Ils sont généralement facturés comme des tokens de sortie, comptent dans la limite de sortie et dans la fenêtre de contexte, et peuvent être masqués ou résumés par l’API.
- Tokens par seconde (TPS)
- Les tokens par seconde (TPS) sont le rythme auquel un modèle de langage génère des tokens de sortie, généralement mesuré pour une requête après son premier token. Ils fixent la vitesse d’affichage d’une réponse lancée. Additionnés sur toutes les requêtes simultanées, ils donnent le débit du système ; l’attente avant le premier token se mesure à part.
- Top-p (nucleus sampling)
- Le top-p, aussi appelé nucleus sampling (échantillonnage par noyau), est une méthode de décodage dans laquelle un modèle de langage tire le token suivant uniquement dans le plus petit ensemble de tokens les plus probables dont la probabilité cumulée atteint un seuil p, par exemple 0,9, et écarte la traîne improbable.
- vLLM
- vLLM est une bibliothèque open source d’inférence et de serving de LLM, développée à l’origine au Sky Computing Lab de UC Berkeley. Elle gère la mémoire du cache KV avec PagedAttention, regroupe en continu les requêtes entrantes (continuous batching), prend en charge de nombreux formats de quantification et expose un serveur HTTP compatible OpenAI.
Tarifs et facturation
- Crédit prépayé (prepaid credit)
- Le crédit prépayé est de l’argent versé sur un compte API avant utilisation. Chaque requête déduit son coût du solde, et quand le solde est épuisé, les requêtes facturées s’arrêtent jusqu’à la prochaine recharge. Les dépenses sont ainsi plafonnées à ce que vous avez versé.
- Forfait LLM (flat rate)
- Un forfait LLM facture un prix fixe pour une période, par exemple un mois, en échange de l’accès à une API de modèle de langage, au lieu de facturer au token. Ces forfaits limitent généralement autre chose, comme la concurrence, la vitesse, les modèles ou des fenêtres d’usage : les plafonds comptent donc autant que le prix.
- Heure GPU (GPU-hour)
- Une heure GPU correspond à un processeur graphique utilisé pendant une heure. Les fournisseurs cloud facturent les instances GPU louées à l’heure ou à la seconde, et les chercheurs expriment en heures GPU la quantité de calcul qu’a demandée un travail. Vous payez le temps de la machine, qu’elle soit occupée ou non.
- Paiement à l’usage (pay-as-you-go)
- Le paiement à l’usage (pay-as-you-go) est un modèle tarifaire où vous ne payez que ce que vous consommez, mesuré par unité, comme les tokens, les requêtes ou les minutes d’audio, sans abonnement ni engagement minimal. La plupart des API LLM facturent ainsi, à partir d’un solde prépayé ou d’une facture périodique.
- Plafond de dépenses (spend limit)
- Un plafond de dépenses (spend limit) limite ce qu’un compte, un projet ou une clé API peut dépenser sur une période, généralement un mois. Une fois atteint, le fournisseur rejette les requêtes suivantes, souvent avec une erreur HTTP 429 ou 400, jusqu’à la réinitialisation de la période ou au relèvement de la limite.
- Tokens d’entrée en cache (cached input tokens)
- Les tokens d’entrée en cache sont des tokens de prompt qu’un fournisseur de LLM a traités récemment et peut réutiliser depuis un cache au lieu de les recalculer, en général un préfixe répété comme un prompt système ou un document. Les fournisseurs les facturent moins cher que les nouveaux tokens d’entrée.
- Tokens d’entrée et de sortie
- Les tokens d’entrée sont les tokens qu’un modèle de langage lit dans une requête, dont le prompt système, l’historique de conversation, les définitions d’outils et les images. Les tokens de sortie sont ceux qu’il génère en réponse, raisonnement compris. Les API LLM les facturent généralement séparément, et la sortie coûte en général plus cher.
Confidentialité et sécurité
- Accord de traitement des données (DPA)
- Un accord de traitement des données (DPA, data processing agreement) est le contrat entre un responsable du traitement et un sous-traitant qui encadre la manière dont le sous-traitant traite les données personnelles. L’article 28, paragraphe 3, du RGPD l’impose et en liste le contenu : instructions documentées, confidentialité, sécurité, règles de sous-traitance ultérieure, suppression ou restitution des données, et audits.
- Clé d’API (API key)
- Une clé d’API est une chaîne secrète qui identifie et autorise un client qui appelle une API. Les API LLM l’attendent généralement dans un en-tête Authorization: Bearer, et quiconque détient la clé peut envoyer des requêtes facturées au compte qui la possède.
- Conservation zéro des données (zero data retention, ZDR)
- La conservation zéro des données (zero data retention, ZDR) est une politique selon laquelle un fournisseur d’IA traite prompts et sorties uniquement pour servir une requête, sans conserver ce contenu ensuite, ni dans des logs, ni dans des caches, ni dans des données d’entraînement. Les enregistrements sans contenu, comme le nombre de tokens et les durées, restent généralement conservés.
- Guardrails (garde-fous pour LLM)
- Les guardrails sont des contrôles qu’une application exécute autour d’un appel à un modèle de langage pour le maintenir dans des limites définies. Ceux d’entrée filtrent ce qui entre dans le modèle, ceux de sortie vérifient ce qui en sort, et ceux d’outils valident les actions avant leur exécution. Un contrôle échoué bloque, réécrit ou signale la requête.
- Injection de prompt (prompt injection)
- L’injection de prompt est une attaque dans laquelle un texte fourni à un modèle de langage, par un utilisateur ou caché dans une page web, un e-mail, un fichier ou un résultat d’outil, modifie le comportement du modèle contre l’intention du développeur. L’OWASP la classe en tête (LLM01:2025) de son Top 10 pour les applications LLM.
- Jailbreak (LLM)
- Un jailbreak est une entrée conçue pour pousser un modèle de langage à ignorer son entraînement de sécurité ou les règles fixées par l’application qui le déploie, afin qu’il produise des contenus ou exécute des actions qu’il refuserait normalement. L’OWASP considère le jailbreaking comme une forme de prompt injection.
- Liste d’IP autorisées (IP allow list)
- Une liste d’IP autorisées est un contrôle de sécurité qui n’accepte que les requêtes provenant d’adresses IP ou de plages CIDR listées et refuse toutes les autres. Sur une API, elle limite les dégâts d’une clé divulguée, car la clé ne fonctionne pas depuis des réseaux absents de la liste.
- PDPL (lois saoudienne et émiratie sur les données)
- La PDPL (Personal Data Protection Law) désigne la loi saoudienne sur les données personnelles, promulguée par le décret royal M/19 et appliquée par la SDAIA, et le décret-loi fédéral n° 45 de 2021 des Émirats. Les deux encadrent le traitement des données personnelles et leurs transferts à l’étranger, y compris les prompts envoyés à des API LLM étrangères.
- PII (données d’identification personnelle)
- Les PII (personally identifiable information) sont les informations permettant de distinguer ou de retrouver l’identité d’une personne, comme un nom, un numéro d’identité ou des données biométriques, et toute information qui lui est liée ou rattachable. Le RGPD parle plus largement de données personnelles. Avec les LLM, le masquage des PII les retire des prompts avant qu’ils quittent vos systèmes.
- Résidence des données (data residency)
- La résidence des données est une exigence ou un engagement selon lequel les données sont stockées et traitées dans un pays ou une région précis. Pour une API LLM, elle couvre le lieu où les prompts sont traités pendant l’inférence et celui où se trouve tout contenu stocké ; elle exclut souvent les données de compte et de facturation.
- RGPD (GDPR)
- Le RGPD (règlement général sur la protection des données, règlement (UE) 2016/679, GDPR en anglais) est la loi de l’UE sur le traitement des données personnelles. Applicable depuis le 25 mai 2018, il couvre les organismes établis dans l’UE et certains organismes hors UE. Pour les API LLM, il encadre la sous-traitance, les transferts internationaux et la minimisation des données.
- Sous-traitant ultérieur (subprocessor)
- Un sous-traitant ultérieur (subprocessor) est un tiers qu’un sous-traitant engage pour effectuer des traitements de données personnelles pour le compte du responsable du traitement. Pour une API LLM, il peut s’agir d’hébergeurs GPU, de fournisseurs d’inférence partenaires ou de capacité de secours. Selon l’article 28 du RGPD, il faut l’autorisation du responsable et les mêmes obligations de protection des données.
Parole
- Code-switching (alternance codique)
- Le code-switching, ou alternance codique, est l’usage de deux langues ou plus, ou de plusieurs variétés d’une même langue, au sein d’une même conversation ou phrase, à l’oral comme à l’écrit. Par exemple, des arabophones qui glissent des mots anglais dans leur dialecte, ou qui passent de l’arabe standard moderne à leur dialecte.
- Détection d’activité vocale (VAD)
- La détection d’activité vocale (VAD, voice activity detection) est une étape de traitement du signal qui classe de courtes trames audio en parole ou non-parole. Les systèmes vocaux s’en servent pour sauter les silences, découper les longs enregistrements aux pauses, détecter la fin d’une prise de parole et éviter de transcrire le bruit de fond.
- Diarisation du locuteur (speaker diarization)
- La diarisation du locuteur consiste à découper un enregistrement audio en segments par locuteur, pour répondre à la question « qui parle quand ». Elle attribue à chaque passage de parole un identifiant anonyme comme SPEAKER_00 et se combine généralement avec une transcription pour montrer qui a dit chaque ligne.
- Fréquence d’échantillonnage (sample rate)
- La fréquence d’échantillonnage (sample rate) est le nombre d’échantillons audio captés par seconde, mesuré en hertz (Hz). Les modèles de reconnaissance vocale attendent souvent un audio mono à 16 000 Hz (16 kHz). Avec la profondeur de bits et le nombre de canaux, elle fixe la taille d’un fichier audio non compressé par minute.
- Horodatages (speech-to-text)
- En speech-to-text, les horodatages (timestamps) sont des heures de début et de fin, en secondes, attachées à des parties d’une transcription. Les horodatages de segment couvrent une phrase ou une expression ; les horodatages de mot couvrent chaque mot. Ils servent aux sous-titres, à la recherche dans les enregistrements et à l’alignement du texte avec les locuteurs.
- Ogg Opus
- L’Ogg Opus est de l’audio encodé avec le codec Opus (RFC 6716) et stocké dans un conteneur Ogg (RFC 7845). Conçu pour la parole et l’audio interactif à faible débit, c’est le format qu’utilise WhatsApp pour les messages vocaux, en général sous forme de fichiers .ogg ou .opus.
- Sous-titres SRT
- SRT (SubRip) est un format de sous-titres en texte brut. Chaque sous-titre comprend un numéro d’ordre, une heure de début et de fin écrite hh:mm:ss,mmm --> hh:mm:ss,mmm, une ou plusieurs lignes de texte et une ligne vide. WebVTT est le format web similaire utilisé par la vidéo HTML.
- Speech-to-text (reconnaissance vocale)
- Le speech-to-text, ou reconnaissance automatique de la parole (ASR), est une technologie qui convertit l’audio parlé en texte écrit. Une API speech-to-text accepte un fichier ou un flux audio et renvoie une transcription, généralement facturée à la minute d’audio. La précision se mesure avec le taux d’erreur de mots et varie selon l’accent, le dialecte et la qualité d’enregistrement.
- Synthèse vocale (text-to-speech, TTS)
- La synthèse vocale (text-to-speech, TTS) convertit un texte écrit en audio parlé. Une API TTS reçoit un texte, une voix et un format de sortie comme MP3 ou WAV, et renvoie la parole générée. C’est l’inverse du speech-to-text, qui transforme l’audio en texte.
- Taux d’erreur sur les caractères (CER)
- Le taux d’erreur sur les caractères (CER) mesure la précision d’une transcription ou d’un OCR au niveau du caractère : substitutions, suppressions et insertions nécessaires pour transformer la sortie en texte de référence, divisées par le nombre de caractères de la référence. Plus il est bas, mieux c’est ; 0 signifie une correspondance parfaite.
- Taux d’erreur sur les mots (WER)
- Le taux d’erreur sur les mots (WER) est la mesure standard de précision en reconnaissance vocale : le nombre de substitutions, suppressions et insertions de mots nécessaires pour transformer une transcription en référence correcte, divisé par le nombre de mots de la référence. Plus il est bas, mieux c’est.
- WAV
- Le WAV (Waveform Audio File Format, ou WAVE) est un conteneur audio fondé sur le format RIFF de Microsoft et IBM. Il contient en général des échantillons PCM linéaires non compressés, d’où une taille prévisible : fréquence d’échantillonnage fois octets par échantillon fois canaux, par seconde.
Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity