BroadRouter
Comenzar

Glosario de APIs de LLM

Actualizado

Definiciones breves y con fuentes de los términos que encuentran los desarrolladores al llamar a una API de LLM o de voz a texto: qué son los tokens y la ventana de contexto, cómo cambian la factura la entrada en caché y los planes de tarifa plana, y qué significan en la práctica los límites de tasa y la retención cero de datos.

APIs e integración

Agente de IA (AI agent)
Un agente de IA es un sistema en el que un modelo de lenguaje dirige sus propios pasos hacia un objetivo: decide qué herramientas llamar, lee los resultados y repite hasta dar una respuesta final o alcanzar un límite. Un script fijo que llama a un modelo en puntos establecidos suele llamarse flujo de trabajo (workflow).
Agente de programación con IA (AI coding agent)
Un agente de programación con IA es una herramienta de software en la que un modelo de lenguaje trabaja sobre una base de código en un ciclo: lee archivos, los edita, ejecuta comandos como pruebas, lee la salida y decide el siguiente paso hasta que termina la tarea o alcanza un límite.
API compatible con OpenAI
Una API compatible con OpenAI es una API HTTP que acepta los mismos formatos de solicitud y respuesta que la API de OpenAI, como POST /v1/chat/completions, de modo que los SDKs y herramientas de OpenAI pueden usarla cambiando solo la URL base, la clave de API y el nombre del modelo.
API de Chat Completions
La API de Chat Completions es el endpoint HTTP de OpenAI, POST /v1/chat/completions, que recibe un nombre de modelo y una lista de mensajes etiquetados con su rol y devuelve el siguiente mensaje del modelo. Su forma de solicitud y respuesta se convirtió en el formato común que reutilizan los proveedores y SDKs compatibles con OpenAI.
Backoff exponencial (exponential backoff)
El backoff exponencial es una estrategia de reintento en la que el cliente espera más tiempo tras cada intento fallido, normalmente duplicando la espera hasta un tope, antes de volver a intentarlo. Añadir jitter aleatorio a cada espera dispersa los reintentos de muchos clientes para que no lleguen al servidor en el mismo instante.
Base de datos vectorial (vector database)
Una base de datos vectorial es un almacén de datos que guarda vectores de embeddings, a menudo con su texto de origen y metadatos, y responde consultas de vecinos más cercanos: dado un vector de consulta, devuelve los vectores guardados más parecidos, normalmente por distancia coseno, distancia euclidiana o producto interno.
Batch API (API de procesamiento por lotes)
Una Batch API es un endpoint asíncrono de LLM que acepta muchas solicitudes a la vez, normalmente en un archivo, las procesa dentro de un plazo fijado en lugar de inmediatamente y devuelve los resultados juntos. Proveedores como OpenAI y Anthropic cobran las solicitudes por lotes con descuento respecto de sus APIs estándar.
BM25 (ranking por palabras clave)
BM25 (Okapi BM25) es una función de ranking para búsqueda por palabras clave que puntúa un documento según la frecuencia con que aparecen en él los términos de la consulta, lo raros que son esos términos en la colección y la longitud del documento. Es la similitud predeterminada en Lucene y Elasticsearch.
Búsqueda híbrida (hybrid search)
La búsqueda híbrida es un método de recuperación que ejecuta sobre la misma consulta una búsqueda por palabras clave, como BM25, y una búsqueda vectorial sobre embeddings, y luego fusiona las dos listas ordenadas en una sola, a menudo con reciprocal rank fusion (RRF) o con una suma ponderada de puntuaciones normalizadas.
Chunking (fragmentación de documentos en RAG)
El chunking es el paso de un pipeline de recuperación que divide los documentos en piezas más pequeñas, llamadas chunks o fragmentos, antes de convertirlas en embeddings e indexarlas. El tamaño del chunk fija cuánto texto contiene cada pieza, y el solapamiento repite parte del texto entre fragmentos vecinos para que no se pierdan las ideas cortadas en un límite.
Clave de idempotencia (idempotency key)
Una clave de idempotencia es un valor único, normalmente un ID aleatorio como un UUID, que el cliente adjunta a una solicitud que cambia el estado, como un pago o una compra. Si la misma solicitud se envía de nuevo con la misma clave, el servidor devuelve el resultado original en lugar de ejecutar la acción dos veces.
Concurrencia (concurrency)
La concurrencia es el número de solicitudes que un cliente tiene en curso al mismo tiempo. Las APIs de LLM suelen limitarla por clave o por plan, aparte de las solicitudes por minuto, porque cada solicitud abierta ocupa capacidad de GPU hasta que su respuesta termina.
Deprecación de modelos (model deprecation)
La deprecación de un modelo es el anuncio de un proveedor de API de que dejará de ofrecer un modelo, normalmente con una fecha de retirada o apagado y un reemplazo recomendado. Después de esa fecha, las solicitudes al modelo fallan, así que las aplicaciones deben migrar antes a otro ID de modelo.
Fallback de modelos (model fallback)
El fallback de modelos es un patrón de fiabilidad: una solicitud fallida a un LLM se reintenta con otro modelo o proveedor de una lista ordenada. Puede dispararlo un error, un límite de frecuencia, un error de longitud de contexto o un rechazo por política de contenido. Se ejecuta en su cliente o en un gateway delante de las APIs.
finish_reason (motivo de finalización)
finish_reason es un campo de cada opción en la respuesta de un chat completion que indica por qué el modelo dejó de generar. En el formato de OpenAI los valores son stop, length, tool_calls, content_filter y el obsoleto function_call. La API Messages de Anthropic expresa la misma idea con stop_reason.
Inferencia serverless (serverless inference)
La inferencia serverless es una forma de ejecutar modelos de machine learning en la que la plataforma inicia, escala y detiene automáticamente el cómputo detrás de un endpoint, a menudo hasta cero cuando está inactivo, y cobra por uso en lugar de por máquinas reservadas. La contrapartida es un posible retraso por arranque en frío.
JSON mode (modo JSON)
El modo JSON (JSON mode) es un ajuste de las APIs de LLM, response_format {"type": "json_object"} en las APIs al estilo de OpenAI, que hace que la respuesta del modelo sea JSON válido y procesable. A diferencia de la salida estructurada con un JSON Schema, no garantiza qué claves, tipos o valores contiene el objeto.
JSON Schema (esquema JSON)
JSON Schema es un vocabulario, escrito en JSON, para describir y validar la estructura de datos JSON: tipos, campos obligatorios, valores permitidos y anidamiento. La versión actual es la 2020-12. Las APIs de LLM lo usan para definir los parámetros de las herramientas y la forma exacta que debe seguir una salida estructurada.
Latencia (latency)
La latencia, en una API de modelos de lenguaje, es el tiempo que tarda una solicitud desde que se envía hasta que se recibe el último token de salida. Es la suma del tiempo hasta el primer token y el tiempo de generación, y suele reportarse en percentiles como p50 y p95, no como promedio.
Límite de frecuencia (rate limit)
Un límite de frecuencia (rate limit) es un tope que una API impone a cuánto puede usarla un cliente en un periodo, como solicitudes por minuto o tokens por minuto. Las solicitudes que lo superan se rechazan, normalmente con HTTP 429 Too Many Requests, hasta que el uso vuelve a quedar por debajo.
Llamadas a herramientas (tool calling)
Las llamadas a herramientas (tool calling), también llamadas function calling, son una función de las APIs de LLM en la que el modelo devuelve una solicitud estructurada para ejecutar una función definida por el desarrollador, con argumentos JSON. La aplicación ejecuta la función y devuelve el resultado; el modelo nunca ejecuta código.
Llamadas a herramientas en paralelo (parallel tool calls)
Las llamadas a herramientas en paralelo se producen cuando un modelo devuelve más de una llamada a herramienta en una sola respuesta, por ejemplo tres lecturas de archivo a la vez. En el formato de OpenAI llegan como varias entradas en tool_calls, y parallel_tool_calls en false limita al modelo a cero o una llamada por turno.
MCP (Model Context Protocol)
MCP (Model Context Protocol, protocolo de contexto de modelo) es un protocolo abierto, basado en JSON-RPC 2.0, que estandariza cómo las aplicaciones de LLM se conectan con herramientas y datos externos. Un servidor MCP expone herramientas, recursos y prompts; un cliente MCP dentro de la aplicación host los descubre y pasa al servidor las llamadas a herramientas del modelo.
Normalización Unicode (Unicode normalization)
La normalización Unicode convierte el texto a una forma estándar para que las cadenas que se ven iguales usen los mismos puntos de código. Las cuatro formas son NFD, NFC, NFKD y NFKC; las formas K también convierten caracteres de compatibilidad, como las formas de presentación árabes y las ligaduras, en letras normales.
Parámetro seed (semilla)
El parámetro seed (semilla) es un entero que usted envía con la solicitud para que la API intente muestrear los mismos tokens cuando se repite la misma solicitud. OpenAI lo describe como un mejor esfuerzo: el determinismo no está garantizado, y el campo system_fingerprint muestra cuándo cambió la configuración del backend.
Prompt de sistema (system prompt)
Un prompt de sistema es el texto de instrucciones que una aplicación envía a un modelo de lenguaje antes de la conversación, normalmente como mensaje con el rol system o developer. Define el rol, las reglas, el tono y el formato de salida del modelo, que debe priorizarlo sobre mensajes del usuario que lo contradigan.
Proveedor de inferencia (inference provider)
Un proveedor de inferencia es una empresa que ejecuta modelos de aprendizaje automático, a menudo LLMs de pesos abiertos, en GPUs propias, arrendadas o alquiladas, y vende el acceso mediante una API, normalmente con precio por token, por solicitud o por unidad de tiempo. Se encarga del servicio, el escalado y el hardware.
RAG (generación aumentada por recuperación)
RAG (generación aumentada por recuperación) es un patrón en el que una aplicación primero recupera, de un almacén externo como un índice de búsqueda o vectorial, fragmentos relevantes para una pregunta, y luego los agrega al prompt para que un modelo de lenguaje responda con ese texto y no solo de memoria.
ReAct (razonar y actuar)
ReAct (reason and act, razonar y actuar) es un patrón de prompting, presentado por Yao et al. en 2022, en el que un modelo de lenguaje intercala trazas de razonamiento con acciones como búsquedas o llamadas a herramientas. Lee cada observación, actualiza su plan y repite hasta poder dar una respuesta final.
Reranking (reordenamiento de resultados)
El reranking es una segunda etapa de recuperación en la que un modelo más preciso pero más lento, normalmente un cross-encoder, puntúa cada par de consulta y documento candidato de una primera búsqueda y los reordena, de modo que solo los pocos más relevantes pasan al modelo de lenguaje.
Router de LLM (LLM router)
Un router de LLM es un software o servicio que se sitúa entre una aplicación y una o varias APIs de modelos de lenguaje y decide, para cada solicitud, qué modelo o proveedor la atiende, según reglas como el costo, la latencia, la disponibilidad o el tipo de tarea.
Salida estructurada (structured output)
La salida estructurada es una función de las APIs de LLM que restringe la respuesta del modelo a un formato que define el desarrollador, normalmente un JSON Schema, para que el código pueda procesarla de forma fiable. Es más estricta que JSON mode, que garantiza JSON válido pero no una forma concreta.
Secuencias de parada (stop sequences)
Las secuencias de parada (stop sequences) son cadenas que usted envía con la solicitud para que el modelo deje de generar en cuanto produzca una de ellas. OpenAI llama al campo stop y acepta hasta 4 secuencias; Anthropic lo llama stop_sequences. Normalmente el texto coincidente no se incluye en la salida devuelta.
Server-sent events (SSE)
Server-sent events (SSE), o eventos enviados por el servidor, es un estándar web para que un servidor envíe un flujo de eventos de texto a un cliente a través de una única respuesta HTTP de larga duración con el tipo de contenido text/event-stream. Cada evento es una o más líneas de campo, como data:, terminadas por una línea en blanco.
Sistema multiagente (multi-agent system)
Un sistema multiagente es una aplicación de LLM en la que varios agentes, cada uno con su propio prompt, herramientas y contexto, trabajan en partes de una misma tarea. Un diseño común es orquestador-trabajador: un agente líder planifica, lanza agentes trabajadores en paralelo y combina sus resultados.
SLA (acuerdo de nivel de servicio)
Un SLA (acuerdo de nivel de servicio) es un compromiso contractual de un proveedor con un nivel de servicio medible, normalmente un porcentaje de disponibilidad mensual, con una compensación definida, normalmente créditos de servicio, si no se cumple. El SLA define qué cuenta como caída, qué queda excluido y cómo reclamar.
Streaming (respuestas en tiempo real)
El streaming es una forma de devolver la respuesta de un modelo de lenguaje en pequeños fragmentos mientras aún se genera, en lugar de una sola respuesta al final. Las APIs compatibles con OpenAI hacen streaming mediante server-sent events cuando la solicitud define stream como true.
Subagente (subagent)
Un subagente es un agente independiente que un agente principal inicia para resolver una tarea concreta. Se ejecuta con su propia ventana de contexto, prompt de sistema y acceso a herramientas, hace el trabajo y devuelve al agente principal solo un resultado o resumen, lo que mantiene pequeña la conversación principal.
Texto de derecha a izquierda (RTL)
El texto de derecha a izquierda (RTL) es escritura, como la árabe o la hebrea, que se muestra de derecha a izquierda. Las computadoras lo guardan en orden lógico de lectura, y el algoritmo bidireccional de Unicode decide el orden de visualización cuando se mezcla con texto de izquierda a derecha, dígitos, nombres de modelos o código.
Throughput (rendimiento total)
El throughput, en el servicio de LLMs, es la cantidad total de trabajo que un sistema completa por unidad de tiempo en todas las solicitudes concurrentes, normalmente medida en tokens de salida por segundo o solicitudes por segundo. Es distinto de la velocidad por stream, que es qué tan rápido recibe sus tokens una sola solicitud.
Tiempo hasta el primer token (TTFT)
El tiempo hasta el primer token (TTFT) es lo que pasa desde que se envía una solicitud a un modelo de lenguaje hasta que llega el primer token de salida. Incluye la red, la cola del servidor y el prefill, cuando el modelo lee todo el prompt, así que crece con el largo del prompt y la carga.
Timeout de solicitud (tiempo de espera)
Un timeout de solicitud es el tiempo máximo que un cliente HTTP espera a un servidor antes de abandonar la solicitud. Los clientes suelen dividirlo en un timeout de conexión, para abrir la conexión, y uno de lectura, para esperar los datos. Las llamadas a LLMs necesitan timeouts de lectura generosos porque las respuestas largas tardan.
tool_choice (elección de herramienta)
tool_choice es un parámetro de la solicitud que controla el uso de herramientas. En Chat Completions de OpenAI puede ser auto (el modelo decide), required (debe llamar a una o más herramientas), none (sin herramientas) o una función con nombre para forzarla. Las opciones equivalentes de Anthropic son auto, any, tool y none.
URL base (base URL)
La URL base es la dirección raíz fija de una API, como https://api.example.com/v1, que un cliente antepone a cada ruta de endpoint, como /chat/completions. En los SDKs compatibles con OpenAI, cambiar la URL base, junto con la clave de API y el ID del modelo, dirige el mismo código a otro proveedor.

Modelos y tokens

Alucinación (hallucination)
Una alucinación es una salida de un modelo de lenguaje que suena plausible pero es falsa, inventada o no está respaldada por la entrada que recibió, como una cita inventada, una cifra errónea o una API que no existe. Surge porque el modelo predice texto probable en lugar de verificar hechos.
Árabe dialectal (dialectal Arabic)
El árabe dialectal es el árabe hablado a diario en una región o ciudad, como el árabe egipcio, del Golfo, levantino o magrebí. Los dialectos difieren del árabe estándar moderno en sonidos, palabras y gramática, no tienen ortografía estándar y se escriben cada vez más en internet, lo que los hace más difíciles para los modelos de lenguaje.
Árabe estándar moderno (MSA, fusha)
El árabe estándar moderno (MSA) es la forma estandarizada del árabe que se usa en la escritura, las noticias, la educación y el habla formal en todo el mundo árabe. No es la lengua materna cotidiana de nadie: la gente habla dialectos regionales, como el egipcio o el del Golfo, y cambia al MSA en contextos formales.
Arabizi (franco-árabe)
El arabizi es árabe escrito de manera informal con letras latinas, usando dígitos para los sonidos árabes sin equivalente latino, como 3 para ع. Es habitual en chats y redes sociales, es sobre todo dialectal, no tiene ortografía estándar y a menudo se mezcla con inglés o francés.
AWQ (cuantización de pesos consciente de activaciones)
AWQ (activation-aware weight quantization) es un método posterior al entrenamiento que comprime los pesos de un LLM a baja precisión, normalmente enteros de 4 bits. Usa estadísticas de activación de un pequeño conjunto de calibración para encontrar los canales de pesos más importantes y los escala para que pierdan menos precisión. No necesita retropropagación.
Benchmark de LLM (LLM benchmark)
Un benchmark de LLM es un conjunto fijo, normalmente público, de tareas con un método de puntuación, que se usa para medir y comparar modelos de lenguaje en una habilidad, como preguntas de conocimiento, programación o reconocimiento de voz. Su puntuación muestra la capacidad relativa en esa prueba, no cómo rendirá un modelo con su propia carga de trabajo.
Byte pair encoding (BPE)
Byte pair encoding (BPE) es un algoritmo de tokenización en subpalabras que parte de caracteres o bytes individuales y fusiona repetidamente el par adyacente más frecuente en una nueva entrada del vocabulario, hasta alcanzar un tamaño de vocabulario objetivo. La mayoría de los tokenizadores de LLM actuales usan BPE o una variante a nivel de byte.
Caché KV (KV cache)
La caché KV es la memoria donde un modelo de lenguaje transformer guarda las claves y valores de atención calculados para cada token ya procesado, de modo que cada token nuevo los reutiliza en lugar de recalcular toda la secuencia. Crece con la longitud del contexto y a menudo limita cuántas solicitudes puede atender una GPU.
Cadena de pensamiento (chain-of-thought, CoT)
La cadena de pensamiento (chain-of-thought, CoT) es una técnica de prompting en la que a un modelo de lenguaje se le muestra o se le pide que escriba pasos de razonamiento intermedios antes de su respuesta final. Mejora la precisión en problemas de varios pasos, como aritmética y lógica, y los modelos de razonamiento ya la generan automáticamente.
Compactación de contexto (context compaction)
La compactación de contexto es la práctica de resumir una conversación que se acerca al límite de la ventana de contexto y continuar la sesión desde ese resumen, de modo que un agente conserve las decisiones y el estado clave mientras descarta el historial en bruto, como la salida antigua de herramientas.
Context rot (deterioro del contexto)
El context rot (deterioro del contexto) es la pérdida gradual de precisión y fiabilidad que muestran los modelos de lenguaje cuando su entrada se alarga, aunque la tarea sea la misma y la entrada quepa holgadamente en la ventana de contexto. El término se popularizó con un informe técnico de Chroma de 2025 que evaluó 18 modelos.
Cuantización (quantization)
La cuantización es el proceso de almacenar los números de una red neuronal, sobre todo sus pesos, en un formato de menor precisión, como 8 o 4 bits en lugar de 16, para que el modelo use menos memoria y a menudo funcione más rápido. Los buenos métodos mantienen pequeña la pérdida de precisión.
Decodificación especulativa (speculative decoding)
La decodificación especulativa es una técnica de inferencia en la que un modelo borrador pequeño y rápido propone varios tokens siguientes y el modelo objetivo grande los verifica en una sola pasada hacia adelante, conservando los aceptados. Acelera la generación sin cambiar la distribución de la salida.
Destilación de conocimiento (distillation)
La destilación, o destilación de conocimiento, es un método de entrenamiento en el que un modelo alumno más pequeño aprende a reproducir las salidas de un modelo maestro más grande, como sus distribuciones de probabilidad o sus respuestas generadas, de modo que el alumno conserva buena parte de la calidad del maestro con un costo de ejecución menor.
Diacríticos árabes (tashkeel)
Los diacríticos árabes, o tashkeel, son pequeñas marcas que se escriben encima o debajo de las letras para indicar vocales breves, consonantes dobles y la ausencia de vocal. Son opcionales: la mayor parte del texto árabe, incluidas las noticias, las omite, así que lectores y software deducen las vocales por el contexto.
Embeddings (vectores de texto)
Los embeddings son listas de números de punto flotante (vectores) que un modelo produce para representar un texto, una imagen u otra entrada. Las entradas de significado parecido obtienen vectores cercanos, así que la distancia entre vectores sirve para ordenar resultados de búsqueda, agrupar documentos o encontrar elementos relacionados.
Evaluación de LLM (eval)
Una eval (abreviatura de evaluation, evaluación) es una prueba repetible de un modelo de lenguaje o de un prompt: un conjunto fijo de entradas, una descripción de cómo es una buena salida y un calificador (código, una persona u otro modelo) que puntúa cada salida para poder comparar versiones.
Few-shot prompting (prompting con pocos ejemplos)
El few-shot prompting es una técnica en la que el prompt incluye un pequeño número de ejemplos resueltos de entrada y salida antes de la entrada real, para que el modelo de lenguaje deduzca de ellos la tarea y el formato. Los pesos del modelo no cambian; zero-shot no usa ejemplos y one-shot usa uno.
Fine-tuning (ajuste fino)
El fine-tuning (ajuste fino) es el proceso de seguir entrenando un modelo de lenguaje preentrenado con un conjunto de datos más pequeño y específico de una tarea, como conversaciones de ejemplo, para que sus pesos cambien y realice esa tarea o estilo con más fiabilidad sin necesitar instrucciones o ejemplos largos en cada prompt.
FP8
FP8 es un formato de coma flotante de 8 bits para deep learning, con dos codificaciones: E4M3, con 4 bits de exponente y 3 de mantisa, y E5M2, con 5 bits de exponente y 2 de mantisa. Reduce a la mitad la memoria frente a los formatos de 16 bits y se ejecuta de forma nativa en GPU recientes.
GGUF
GGUF es un formato de archivo binario para almacenar modelos de lenguaje destinados a inferencia con runtimes basados en GGML, como llama.cpp. Un archivo GGUF contiene los pesos, a menudo cuantizados, y los metadatos necesarios para cargar el modelo, incluidos el tokenizador y la arquitectura, y puede mapearse en memoria para cargar rápido.
Grounding (anclaje en fuentes)
El grounding (anclaje en fuentes) es la práctica de conectar la salida de un modelo de lenguaje con fuentes de información concretas y verificables, como documentos aportados, resultados de búsqueda o registros de una base de datos, e indicarle que responda a partir de ellas. Las respuestas ancladas son rastreables hasta su fuente y menos propensas a datos inventados.
Hamza
La hamza (ء) es la letra árabe que representa la oclusiva glotal. Se escribe sola o sobre un soporte: alef (أ إ), waw (ؤ) o yeh (ئ), y آ combina alef con madda. Como el texto escrito es irregular al respecto, los buscadores y la evaluación de voz suelen plegar las formas de alef en ا.
IA multimodal (multimodal AI)
La IA multimodal es un modelo o sistema que trabaja con más de un tipo de datos, como texto, imágenes, vídeo y audio. Un modelo multimodal puede leer una foto y una pregunta a la vez, o recibir voz y responder en texto. El modelo de visión y lenguaje es el tipo más común.
Identificación de dialectos árabes
La identificación de dialectos árabes es la tarea de determinar en qué variedad del árabe está un texto o una grabación, como el egipcio, el del Golfo, el levantino, el magrebí o el árabe estándar moderno, a nivel de región, país o ciudad. Se usa para enrutar mensajes, elegir prompts y dividir conjuntos de evaluación.
Ingeniería de contexto (context engineering)
La ingeniería de contexto es el trabajo de elegir y mantener el conjunto de tokens que un modelo de lenguaje ve en cada solicitud (prompt de sistema, definiciones de herramientas, historial, documentos recuperados y notas) para que el modelo reciba el conjunto más pequeño de información de alta señal que necesita para hacer bien la tarea.
Ingeniería de prompts (prompt engineering)
La ingeniería de prompts es el proceso de escribir, estructurar y probar las instrucciones que se dan a un modelo de lenguaje para que produzca de forma constante una salida que cumpla sus requisitos. Abarca los mensajes de rol, instrucciones claras, ejemplos, formato y la medición de resultados con casos de prueba.
INT4
INT4 es un formato de enteros de 4 bits que puede representar 16 niveles. En la inferencia de LLM suele referirse a la cuantización solo de pesos en 4 bits (W4A16): los pesos se guardan como INT4 con factores de escala y se expanden a 16 bits al calcular, con cerca de un cuarto de la memoria de 16 bits.
Licencia de modelo (model license)
La licencia de un modelo son los términos legales bajo los que se pueden usar, modificar y compartir sus pesos, su código y sus salidas. Los modelos de pesos abiertos usan licencias de software estándar como Apache 2.0 o MIT, o licencias propias que pueden añadir condiciones, como límites a grandes servicios comerciales.
LLM como juez (LLM-as-a-judge)
LLM como juez (LLM-as-a-judge) es un método de evaluación en el que un modelo de lenguaje califica las salidas de otros modelos, ya sea puntuando una respuesta según una rúbrica o eligiendo la mejor de dos. Se aproxima al juicio humano a un costo mucho menor, pero tiene sesgos conocidos, como favorecer la primera respuesta o la más larga.
Logprobs (log-probabilidades de tokens)
Los logprobs son las probabilidades logarítmicas que un modelo de lenguaje asignó a los tokens que generó. Una API que los devuelve muestra, para cada token de salida, qué tan probable lo consideró el modelo y, de forma opcional, los tokens alternativos más probables en esa posición.
LoRA (adaptación de bajo rango)
LoRA (low-rank adaptation, adaptación de bajo rango) es un método de fine-tuning eficiente en parámetros que congela los pesos de un modelo preentrenado y entrena un par de pequeñas matrices de bajo rango para ciertas capas. La actualización aprendida puede guardarse como un pequeño adaptador o fusionarse con los pesos, sin añadir latencia de inferencia.
Lost in the middle (perdido en el medio)
Lost in the middle es la tendencia observada de los modelos de lenguaje a aprovechar mejor la información relevante cuando aparece cerca del principio o del final de una entrada larga, y peor cuando está en el medio. Recibió ese nombre en un estudio de Liu et al. de 2023.
max_tokens (límite de tokens de salida)
max_tokens es un parámetro de las APIs de LLM que fija el máximo de tokens que un modelo puede generar en una respuesta. Cuando la generación llega al límite, se detiene y la respuesta queda marcada como cortada, por ejemplo con finish_reason en "length".
Mixture of experts (MoE, mezcla de expertos)
Mixture of experts (MoE, mezcla de expertos) es un diseño de red neuronal en el que una capa contiene muchas subredes expertas y un router aprendido envía cada token solo a unas pocas. Un modelo de lenguaje MoE tiene un número total de parámetros grande, pero usa un pequeño subconjunto activo por token.
Modelo de pesos abiertos (open-weight model)
Un modelo de pesos abiertos es un modelo de aprendizaje automático cuyos pesos entrenados se publican para que cualquiera los descargue y ejecute, normalmente con una licencia con condiciones. Se diferencia de la IA totalmente de código abierto, que además publica el código de entrenamiento e información detallada sobre los datos, para que otros puedan estudiar y reproducir el modelo.
Modelo de visión y lenguaje (VLM)
Un modelo de visión y lenguaje (VLM) es un modelo que recibe imágenes y texto a la vez y produce texto, por lo que puede describir imágenes, responder preguntas sobre ellas y leer documentos, gráficos o capturas de pantalla. También se les llama modelos image-text-to-text o multimodales.
Normalización de texto árabe
La normalización de texto árabe es el paso que lleva las variantes ortográficas de una misma palabra a una sola forma antes de compararlas: quitar diacríticos y tatweel, unificar las formas de alef y, a menudo, convertir ى en ي y ة en ه. Se aplica a claves de búsqueda y evaluación, no al texto que se muestra.
Penalización de frecuencia y de presencia
Las penalizaciones de frecuencia y de presencia son ajustes de muestreo que bajan la puntuación de los tokens que ya están en la salida. La de presencia se aplica en cuanto un token ha aparecido; la de frecuencia crece con cada repetición. En la API de OpenAI ambas van de -2.0 a 2.0, con 0 por defecto.
Plantilla de chat (chat template)
Una plantilla de chat es la regla de formato, normalmente escrita en Jinja e incluida con el tokenizador de un modelo, que convierte una lista de mensajes de chat con roles en la única secuencia de tokens que el modelo espera, incluidos sus tokens de control especiales. Usar la plantilla equivocada puede empeorar mucho las respuestas del modelo.
Prefill y decode (fases de inferencia de un LLM)
Prefill y decode son las dos fases de la inferencia de un LLM. En el prefill, el modelo procesa todo el prompt en paralelo y llena su caché KV; en el decode, genera la respuesta token a token reutilizando esa caché. El prefill determina sobre todo el tiempo hasta el primer token; el decode, la velocidad de salida.
Reconocimiento de entidades nombradas (NER)
El reconocimiento de entidades nombradas (NER) es la tarea de encontrar nombres en un texto y etiquetar cada uno con un tipo, como persona, organización o lugar. Los sistemas clásicos etiquetan cada token; a los LLMs, en cambio, se les suele pedir una lista de entidades en JSON, que luego se contrasta con el texto original.
Reconocimiento óptico de caracteres (OCR)
El reconocimiento óptico de caracteres (OCR) es la tecnología que detecta el texto impreso o manuscrito de una imagen, un escaneo o un PDF y lo convierte en caracteres legibles por máquina. El OCR clásico devuelve el texto y su posición en la página; los modelos de visión y lenguaje pueden leer el texto y responder preguntas sobre él directamente.
Taa marbuta (ة)
La taa marbuta (ة, U+0629) es una letra árabe que solo aparece al final de una palabra y suele marcar sustantivos y adjetivos femeninos. Se parece a la heh (ه, U+0647) con dos puntos, por lo que el texto escrito mezcla ambas, y muchos normalizadores de búsqueda convierten ة en ه.
Tamaño de vocabulario (vocabulary size)
El tamaño de vocabulario es el número de tokens distintos en el tokenizador de un modelo de lenguaje, cada uno con su propio ID y embedding. Un vocabulario más grande puede codificar texto común con menos tokens, pero agranda las capas de embedding y de salida, y solo ayuda con el texto con el que se entrenó el vocabulario.
Temperatura (temperature)
La temperatura es un parámetro de muestreo que controla qué tan aleatoria es la salida de un modelo de lenguaje. El modelo divide las puntuaciones de los tokens entre la temperatura antes de convertirlas en probabilidades: los valores bajos hacen dominar al token más probable y los altos aplanan la distribución, de modo que los menos probables salen más seguido.
Token
Un token es la unidad de texto que un modelo de lenguaje lee y escribe: una palabra, parte de una palabra, un signo de puntuación o una secuencia de bytes producida por el tokenizador del modelo. Las APIs de LLM cuentan, limitan y normalmente facturan el uso en tokens.
Tokenizador (tokenizer)
Un tokenizador es el componente que convierte texto en la secuencia de IDs de token enteros que lee un modelo de lenguaje, y que vuelve a convertir en texto los IDs generados. Cada modelo trae su propio tokenizador, así que el mismo texto puede producir un número distinto de tokens en modelos distintos.
Tokens de imagen (image tokens)
Los tokens de imagen son los tokens de entrada que un modelo de lenguaje con visión usa para representar una imagen en el prompt. Los proveedores los calculan a partir del tamaño de la imagen, normalmente dividiéndola en parches de tamaño fijo tras redimensionarla, y los cobran como tokens de entrada de texto, así que las imágenes grandes cuestan más.
Tokens de razonamiento (reasoning tokens)
Los tokens de razonamiento son tokens que un modelo de razonamiento genera para resolver un problema antes de escribir su respuesta visible. Normalmente se facturan como tokens de salida, cuentan para el límite de salida y la ventana de contexto, y la API puede ocultarlos o resumirlos.
Tokens por segundo (TPS)
Los tokens por segundo (TPS) son la velocidad a la que un modelo de lenguaje genera tokens de salida, normalmente medida en una solicitud tras llegar su primer token. Marcan qué tan rápido fluye la respuesta. Sumados en todas las solicitudes concurrentes son el throughput del sistema; la espera hasta el primer token se mide aparte.
Top-p (nucleus sampling o muestreo de núcleo)
Top-p, también llamado muestreo de núcleo (nucleus sampling), es un método de decodificación en el que un modelo de lenguaje elige el siguiente token solo entre el conjunto más pequeño de tokens más probables cuya probabilidad combinada alcanza un umbral p, como 0.9, y descarta la cola improbable.
Ventana de contexto (context window)
La ventana de contexto es la cantidad máxima de tokens con la que un modelo de lenguaje puede trabajar en una sola solicitud. Incluye el prompt, el historial de la conversación, las definiciones de herramientas, las imágenes y la salida generada, incluidos los tokens de razonamiento. Lo que no cabe debe recortarse, resumirse o dividirse en varias solicitudes.
vLLM
vLLM es una biblioteca de código abierto para inferencia y servicio de LLM, desarrollada originalmente en el Sky Computing Lab de UC Berkeley. Gestiona la memoria de la caché KV con PagedAttention, agrupa las solicitudes entrantes de forma continua, admite muchos formatos de cuantización y ofrece un servidor HTTP compatible con OpenAI.

Precios y facturación

Crédito prepago (prepaid credit)
El crédito prepago es dinero que se añade a una cuenta de API antes de usarla. Cada solicitud descuenta su coste del saldo y, cuando el saldo se agota, las solicitudes medidas se detienen hasta que usted recargue. Limita el gasto a lo que ha pagado.
Hora de GPU (GPU-hour)
Una hora de GPU es un procesador gráfico usado durante una hora. Los proveedores de nube facturan las instancias de GPU alquiladas por hora o por segundo, y los investigadores usan las horas de GPU para expresar cuánto cómputo requirió un trabajo. Se paga el tiempo de la máquina, esté ocupada o no.
Límite de gasto (spend limit)
Un límite de gasto es un tope a cuánto puede gastar una cuenta, un proyecto o una clave de API en un periodo, normalmente un mes. Cuando el uso lo alcanza, el proveedor rechaza las solicitudes siguientes, a menudo con un error HTTP 429 o 400, hasta que el periodo se reinicia o se aumenta el límite.
Pago por uso (pay-as-you-go)
El pago por uso es un modelo de precios en el que usted paga solo lo que usa, medido por unidades como tokens, solicitudes o minutos de audio, sin suscripción ni compromiso mínimo. La mayoría de las APIs de LLM cobran así, desde un saldo prepagado o con una factura periódica.
Plan de LLM con tarifa plana (flat-rate LLM plan)
Un plan de LLM con tarifa plana cobra un precio fijo por un periodo, como un mes, por acceder a la API de un modelo de lenguaje, en lugar de facturar por token. Estos planes suelen limitar otra cosa, como la concurrencia, la velocidad, los modelos o las ventanas de uso, así que los topes importan tanto como el precio.
Tokens de entrada en caché (cached input tokens)
Los tokens de entrada en caché son tokens del prompt que un proveedor de LLM procesó recientemente y puede reutilizar desde un caché en lugar de calcularlos de nuevo; normalmente son un prefijo repetido, como un prompt de sistema o un documento. Los proveedores los cobran a una tarifa menor que los tokens de entrada nuevos.
Tokens de entrada y de salida (input and output tokens)
Los tokens de entrada son los que un modelo de lenguaje lee en una solicitud, incluidos el prompt de sistema, el historial de la conversación, las definiciones de herramientas y las imágenes. Los tokens de salida son los que genera en la respuesta, incluido el razonamiento. Las APIs de LLM suelen cobrarlos por separado, y la salida suele costar más.

Privacidad y seguridad

Acuerdo de tratamiento de datos (DPA)
Un acuerdo de tratamiento de datos (DPA) es el contrato entre el responsable y el encargado del tratamiento que regula cómo el encargado trata los datos personales. El artículo 28.3 del RGPD lo exige y fija su contenido: instrucciones documentadas, confidencialidad, seguridad, reglas sobre subencargados, supresión o devolución de los datos y auditorías.
Clave de API (API key)
Una clave de API es una cadena secreta que identifica y autoriza a un cliente que llama a una API. Las APIs de LLM suelen esperarla en un encabezado Authorization: Bearer, y cualquiera que tenga la clave puede hacer solicitudes que se facturan a la cuenta propietaria.
Guardrails (barreras de protección)
Los guardrails son controles que una aplicación ejecuta alrededor de una llamada a un modelo de lenguaje para mantenerla dentro de límites definidos. Los de entrada filtran lo que entra al modelo, los de salida revisan lo que sale y los de herramientas validan las acciones antes de ejecutarlas. Un control fallido bloquea, reescribe o marca la solicitud.
Inyección de prompts (prompt injection)
La inyección de prompts es un ataque en el que un texto que recibe un modelo de lenguaje, escrito por el usuario u oculto en una web, un correo, un archivo o el resultado de una herramienta, cambia su comportamiento contra la intención del desarrollador. OWASP la sitúa primera (LLM01:2025) en su Top 10 para aplicaciones LLM.
Jailbreak (LLM)
Un jailbreak es una entrada diseñada para que un modelo de lenguaje ignore su entrenamiento de seguridad o las reglas de la aplicación que lo despliega, de modo que produzca contenido o realice acciones que normalmente rechazaría. OWASP considera el jailbreaking una forma de inyección de prompts (prompt injection).
Lista de IP permitidas (IP allow list)
Una lista de IP permitidas es un control de seguridad que solo acepta solicitudes de direcciones IP o rangos CIDR incluidos en ella y rechaza todas las demás. En una API, limita el daño de una clave filtrada, porque la clave no funciona desde redes que no estén en la lista.
PDPL (leyes de protección de datos de Arabia Saudí y EAU)
PDPL (Personal Data Protection Law) es el nombre común de la ley saudí de datos personales, promulgada por el Real Decreto M/19 y aplicada por la SDAIA, y del Decreto-ley Federal n.º 45 de 2021 de los EAU. Ambas regulan el tratamiento de datos personales y condicionan su transferencia al extranjero, incluidos los prompts a APIs de LLM extranjeras.
PII (información de identificación personal)
La PII (información de identificación personal) es información que permite distinguir o rastrear la identidad de una persona, como su nombre, un número de identificación o un registro biométrico, más otra información vinculable a ella. El RGPD habla de datos personales, un término más amplio. Con LLMs, se anonimiza antes de que los prompts salgan de sus sistemas.
Residencia de datos (data residency)
La residencia de datos es un requisito o compromiso de que los datos se almacenen y procesen en un país o región concretos. En una API de LLM abarca dónde se procesan los prompts durante la inferencia y dónde queda el contenido almacenado, y a menudo excluye los datos de cuenta y facturación.
Retención cero de datos (zero data retention, ZDR)
La retención cero de datos (ZDR) es una política de manejo de datos en la que un proveedor de IA procesa los prompts y las salidas solo para atender una solicitud y después no guarda ese contenido en logs, cachés ni datos de entrenamiento. Los registros sin contenido, como conteos de tokens y tiempos, normalmente se conservan.
RGPD (GDPR)
El RGPD (Reglamento General de Protección de Datos, Reglamento (UE) 2016/679) es la ley de la UE sobre el tratamiento de datos personales. Se aplica desde el 25 de mayo de 2018 a organizaciones establecidas en la UE y a algunas de fuera. En las APIs de LLM regula contratos con encargados, transferencias internacionales y minimización de datos.
Subencargado del tratamiento (subprocessor)
Un subencargado del tratamiento es un tercero al que un encargado recurre para tratar datos personales por cuenta del responsable. En una API de LLM pueden ser hosts de GPU, proveedores de inferencia asociados o capacidad de respaldo. Según el artículo 28 del RGPD, requieren autorización del responsable y las mismas obligaciones de protección de datos.

Voz

Code-switching (alternancia de códigos)
El code-switching, o alternancia de códigos, es el uso de dos o más idiomas, o de variedades de un mismo idioma, dentro de la misma conversación o frase, de forma oral o escrita. Por ejemplo, hablantes de árabe que mezclan palabras inglesas en su dialecto o que pasan del árabe estándar moderno a su dialecto.
Detección de actividad de voz (VAD)
La detección de actividad de voz (VAD) es un paso de procesamiento de señal que clasifica tramas cortas de audio como habla o no habla. Los sistemas de voz la usan para saltar silencios, dividir grabaciones largas en las pausas, detectar cuándo un hablante terminó y evitar transcribir ruido de fondo.
Diarización de hablantes (speaker diarization)
La diarización de hablantes es la tarea de dividir una grabación de audio en segmentos por hablante para responder "quién habló y cuándo". Etiqueta cada tramo de habla con un ID de hablante anónimo, como SPEAKER_00, y suele combinarse con una transcripción para mostrar qué persona dijo cada línea.
Frecuencia de muestreo (sample rate)
La frecuencia de muestreo es la cantidad de muestras de audio capturadas por segundo, medida en hercios (Hz). Los modelos de reconocimiento de voz suelen esperar audio mono a 16,000 Hz (16 kHz). Junto con la profundidad de bits y el número de canales, determina cuánto ocupa por minuto un archivo de audio sin comprimir.
Marcas de tiempo en voz a texto (timestamps)
Las marcas de tiempo en voz a texto son tiempos de inicio y fin, en segundos, asociados a partes de una transcripción. Las de segmento cubren una frase u oración; las de palabra cubren cada palabra. Se necesitan para subtítulos, para buscar dentro de grabaciones y para alinear el texto con los hablantes.
Ogg Opus (formato de notas de voz de WhatsApp)
Ogg Opus es audio codificado con el códec Opus (RFC 6716) y guardado en un contenedor Ogg (RFC 7845). Está pensado para voz y audio interactivo a bajas tasas de bits, y es el formato que WhatsApp usa para las notas de voz, normalmente como archivos .ogg u .opus.
Subtítulos SRT (SRT subtitles)
SRT (SubRip) es un formato de subtítulos en texto plano. Cada subtítulo consta de un número de secuencia, una hora de inicio y fin escrita como hh:mm:ss,mmm --> hh:mm:ss,mmm, una o más líneas de texto y una línea en blanco. WebVTT es el formato web similar que usa el video en HTML.
Tasa de error por carácter (CER)
La tasa de error por carácter (CER) mide la precisión de una transcripción u OCR a nivel de carácter: las sustituciones, eliminaciones e inserciones necesarias para convertir la salida en el texto de referencia, divididas entre el número de caracteres de la referencia. Cuanto menor, mejor, y 0 es una coincidencia perfecta.
Tasa de error por palabra (WER)
La tasa de error por palabra (WER) es la medida estándar de precisión del reconocimiento de voz: el número de sustituciones, eliminaciones e inserciones de palabras necesarias para convertir una transcripción en la referencia correcta, dividido entre el número de palabras de la referencia. Cuanto más baja, mejor.
Texto a voz (TTS, text-to-speech)
Texto a voz (TTS), o síntesis de voz, convierte texto escrito en audio hablado. Una API de TTS recibe un texto, una voz y un formato de salida como MP3 o WAV, y devuelve voz generada. Es lo contrario de voz a texto, que convierte audio en texto.
Voz a texto (speech-to-text)
La conversión de voz a texto, o reconocimiento automático del habla (ASR), transforma audio hablado en texto escrito. Una API de voz a texto recibe un archivo o stream de audio y devuelve una transcripción, normalmente cobrada por minuto. La precisión se mide con la tasa de error por palabra y varía según el acento, el dialecto y la grabación.
WAV (archivo de audio)
WAV (Waveform Audio File Format, o WAVE) es un contenedor de audio basado en el formato RIFF de Microsoft e IBM. Suele llevar muestras PCM lineales sin comprimir, así que su tamaño es predecible: frecuencia de muestreo por bytes por muestra por canales, por segundo.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity