Un modelo que acepta un millón de tokens no aprovecha el token un millón tan bien como los primeros mil. Esa diferencia es el context rot.
Cómo funciona
El informe de Chroma (Hong, Troynikov y Huber, julio de 2025) evaluó 18 modelos, entre ellos GPT-4.1, Claude 4, Gemini 2.5 y Qwen3, en tareas que mantenían la misma dificultad mientras la entrada crecía. Su conclusión principal: “model performance consistently degrades with increasing input length” (traducción: el rendimiento del modelo se degrada de forma constante al aumentar la longitud de la entrada).
Destacaron tres efectos:
- Las coincidencias débiles son las que más sufren. Cuando la pregunta y el pasaje relevante comparten pocas palabras, la precisión cayó más rápido al crecer la longitud.
- Los distractores perjudican. “Even a single distractor reduces performance relative to the baseline” (traducción: incluso un solo distractor reduce el rendimiento respecto a la línea base), y cuatro lo empeoraron. Un distractor es un pasaje sobre el mismo tema que no responde la pregunta.
- La estructura importa, de forma curiosa. Un texto de relleno coherente perjudicó más que las mismas frases desordenadas. Los autores encontraron que “structural coherence consistently hurts model performance” (traducción: la coherencia estructural perjudica de forma constante el rendimiento del modelo).
Esto se apoya en trabajos anteriores como lost in the middle, que mostró efectos de posición. El context rot amplía la idea: la longitud en sí, no solo la posición, cuesta precisión.
Por qué importa
- Agentes. Un agente de programación o de investigación acumula lecturas de archivos, logs y resultados antiguos de herramientas. Cada uno es un posible distractor. La precisión puede caer mucho antes de que se llene la ventana de contexto.
- Costo y latencia. Los prompts más largos también cuestan más tokens de entrada y tardan más en procesarse, así que recortar ayuda en tres frentes a la vez.
- Contexto largo frente a recuperación. Enviar un corpus entero es sencillo, pero RAG, que envía solo los fragmentos relevantes, deja fuera los distractores.
En BroadNet Inference
DeepSeek V4.1 Flash y GLM 5.3 en BroadNet aceptan hasta 1,048,576 tokens, y Qwen3.8 27B hasta 262,144. BroadNet no recorta su contexto, así que lo que usted envía es lo que el modelo lee. Trate el límite como un techo, no como un objetivo. La guía de la ventana de contexto de 1M de tokens explica cuándo compensa una ventana llena, y gestión del contexto para agentes de ejecución prolongada muestra patrones para resumir y podar. La calculadora de ventana de contexto le ayuda a dimensionar un prompt antes de enviarlo.
Errores comunes
- Pegar todos los archivos “por si acaso”. El texto relacionado pero irrelevante es exactamente lo que usaron las pruebas de distractores de Chroma.
- Probar con una aguja que coincide palabra por palabra con la pregunta. Las preguntas reales rara vez lo hacen.