---
title: "¿Qué es la latencia de un LLM? Tiempo de respuesta total"
description: "La latencia de un LLM es lo que tarda una solicitud, desde enviar el prompt hasta el último token. Sus partes (TTFT, latencia entre tokens), percentiles y causas."
url: https://broadrouter.com/es/glossary/latency/
lang: es
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traducido del inglés con ayuda de IA. [Lea el original en inglés](https://broadrouter.com/glossary/latency/) (actualizado el 2026-11-16).

# Latencia (latency)

Actualizado 2026-11-16

La latencia, en una API de modelos de lenguaje, es el tiempo que tarda una solicitud desde que se envía hasta que se recibe el último token de salida. Es la suma del tiempo hasta el primer token y el tiempo de generación, y suele reportarse en percentiles como p50 y p95, no como promedio.

También llamado: latencia, latencia de LLM, latencia de extremo a extremo, tiempo de respuesta, latencia entre tokens, latency, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

La latencia es el número que sienten los usuarios. También es el que más suele sorprender a los equipos que pasan de una demo a producción.

## Cómo funciona

La guía de métricas de NVIDIA da la fórmula básica para una solicitud:

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

El [tiempo hasta el primer token](https://broadrouter.com/es/glossary/time-to-first-token/) abarca la red, la espera en cola y la lectura del prompt. El tiempo de generación es todo lo que ocurre después del primer token: (tokens de salida − 1) × latencia entre tokens (ITL), o aproximadamente tokens de salida × ITL en una respuesta larga. La latencia de extremo a extremo, según NVIDIA, “includes queueing, batching, and network latency” (traducción: incluye la espera en cola, el procesamiento por lotes y la latencia de red).

Un ejemplo con números redondos: suponga que un modelo transmite 50 tokens de salida por segundo. Una respuesta de 600 tokens tarda 600 ÷ 50 = 12 segundos en generarse. Sume un segundo de TTFT y la solicitud tarda unos 13 segundos. Si reduce la respuesta a la mitad, ahorra 6 segundos; si reduce el TTFT a la mitad, ahorra medio segundo. Aquí domina la longitud de la salida.

En una aplicación, una solicitud rara vez va sola. La latencia en la pantalla del usuario también incluye los reintentos tras errores, la espera por un espacio de [concurrencia](https://broadrouter.com/es/glossary/concurrency/), las llamadas a herramientas entre turnos del modelo y su propio código.

## Por qué importa

La guía de latencia de OpenAI enumera siete principios: procesar tokens más rápido, generar menos tokens, usar menos tokens de entrada, hacer menos solicitudes, paralelizar, hacer esperar menos a los usuarios y no recurrir a un LLM por defecto. La mayoría son decisiones de diseño, no de proveedor.

Reporte percentiles. Un p50 de 4 segundos con un p95 de 30 segundos significa que uno de cada veinte usuarios espera medio minuto o más. Los promedios ocultan esa cola, y los timeouts se definen en función de ella.

La latencia y el [throughput](https://broadrouter.com/es/glossary/throughput/) tiran en direcciones opuestas. NVIDIA señala que, a medida que crecen las solicitudes simultáneas, sube el total de tokens por segundo del sistema mientras bajan los tokens por segundo por usuario. Un proveedor ocupado puede atender a más personas y aun así parecer más lento para cada una.

## En BroadNet Inference

La página de planes de BroadNet indica una velocidad típica de unos 100 tokens por segundo. Su documentación no publica cifras de TTFT ni de latencia por percentiles. Una clave de pago por uso permite 4 solicitudes en curso; la documentación incluye un límite de concurrencia entre las causas del HTTP 429, y cada reintento posterior suma latencia de su lado. Las ejecuciones largas de agentes deben fijar timeouts y reintentos acotados; consulte [timeouts y reintentos para agentes de larga duración](https://broadrouter.com/es/blog/long-running-agents-timeouts-retries/). Para medir cada parte desde el cliente, consulte la [guía de latencia de LLM](https://broadrouter.com/es/blog/llm-latency-ttft-throughput/).

## Preguntas frecuentes

### ¿Cuál es la diferencia entre latencia y throughput?

La latencia es cuánto tarda una solicitud. El throughput es cuánto trabajo termina un sistema por segundo sumando todas las solicitudes. Un servidor puede subir el throughput agrupando más solicitudes en lotes mientras cada una se vuelve más lenta.

### ¿Qué es la latencia entre tokens?

Es la separación promedio entre los tokens de salida después del primero, también llamada tiempo por token de salida. NVIDIA la define como la latencia de extremo a extremo menos el TTFT, dividida entre los tokens de salida menos uno.

### ¿Cómo puedo reducir la latencia de un LLM?

Genere menos tokens de salida, envíe prompts más cortos, haga streaming de la respuesta para que los usuarios vean texto antes y ejecute en paralelo las llamadas independientes. La guía de latencia de OpenAI incluye estos puntos entre sus siete principios.

## Vea también

-   [Tiempo hasta el primer token (TTFT)](https://broadrouter.com/es/glossary/time-to-first-token/) (término)
-   [Throughput (rendimiento total)](https://broadrouter.com/es/glossary/throughput/) (término)
-   [Tokens por segundo (TPS)](https://broadrouter.com/es/glossary/tokens-per-second/) (término)
-   [Concurrencia (concurrency)](https://broadrouter.com/es/glossary/concurrency/) (término)
-   [Límite de frecuencia (rate limit)](https://broadrouter.com/es/glossary/rate-limit/) (término)
-   [Streaming de chat completions y conexiones interrumpidas](https://broadrouter.com/es/guides/streaming-chat-completions/) (guía)
-   [Códigos de error de BroadNet Inference y cuándo reintentar](https://broadrouter.com/es/guides/errors-and-retries/) (guía)
-   [Latencia de LLM: TTFT, tokens por segundo y latencia total](https://broadrouter.com/es/blog/llm-latency-ttft-throughput/) (artículo)
-   [Agentes de larga duración: timeouts, reintentos y checkpoints sólidos](https://broadrouter.com/es/blog/long-running-agents-timeouts-retries/) (artículo)

Pruébelo con su carga de trabajo real. Las cuentas nuevas empiezan con USD 5 de crédito para Gemma y transcripción. DeepSeek, GLM y Qwen3.8 requieren una recarga.

[Comenzar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-latency&utm_content=page-cta) ·

**Fuentes**

-   [NVIDIA NIM, métricas de benchmarking de LLM (latencia de extremo a extremo, latencia entre tokens)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, guía de optimización de latencia (siete principios)](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Planes de BroadNet Inference (velocidad típica)](https://inference.broadnet.ai/es/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-latency&utm_content=sources)
