Ventana de contexto
Una ventana de contexto es el número máximo de tokens que un modelo de lenguaje grande puede procesar en una sola solicitud, incluyendo toda la entrada (prompt de sistema, historial de conversación, contexto recuperado) y la salida (la respuesta generada). Representa la memoria de trabajo efectiva del modelo.
Cómo funciona
Cada LLM tiene un tamaño fijo de ventana de contexto:
- **GPT-5**: 128K-1M tokens
- **Claude 4.5**: 200K tokens
- **Gemini 3**: 1M+ tokens
- **Modelos Llama**: 8K-128K tokens según versión
La ventana de contexto debe contener todo lo que el modelo necesita para generar una respuesta: prompt de sistema, pasajes recuperados por RAG, historial de conversación y espacio para la salida. Cuando el total excede la ventana de contexto, el contenido debe truncarse o resumirse.
Para chatbots de soporte al cliente, gestionar la ventana de contexto implica equilibrar: - Suficiente contexto RAG para respuestas precisas (más contexto = más precisión) - Suficiente historial de conversación para continuidad (más historial = mejor multi-turno) - Espacio para una respuesta completa (muy poco espacio = respuestas truncadas) - Costes de tokens (más tokens en contexto = mayor coste por conversación)
Revisión operativa
En la práctica, context window debe evaluarse por lo que cambia en el flujo de soporte. Pregunta si mejora la precisión de las respuestas, reduce el trabajo repetido de los agentes, aclara las decisiones de transferencia o facilita los informes. Si la respuesta es solo "suena moderno", el concepto aún no es operativo.
Un ejemplo concreto es rag context allocation for accuracy: Para una pregunta factual como "¿cuál es su política de reembolso?", el sistema asigna el 60% de la ventana de contexto a pasajes RAG (recuperando 5-8 secciones relevantes de artículos) y el 10% al historial de conversación. Esto maximiza la probabilidad de incluir la respuesta correcta en el contexto.
La conclusión más sencilla es: La ventana de contexto es la capacidad total de tokens para entrada y salida en una sola solicitud de LLM
Por qué importa
Cómo usa Chatsy ventana de contexto
Ejemplos reales
Puntos clave
Preguntas frecuentes
¿Una ventana de contexto mayor siempre significa mejores respuestas?
No necesariamente. Aunque más contexto permite al modelo considerar más información, incluir pasajes irrelevantes puede reducir la calidad de respuesta (el problema de "perdido en el medio"). El contexto selectivo y de alta calidad suele superar a grandes volúmenes de contexto mediocre.
¿Qué ocurre cuando una conversación excede la ventana de contexto?
El sistema debe truncar o resumir contenido antiguo. Los chatbots bien diseñados usan un enfoque de ventana deslizante: resumen mensajes antiguos, conservan completos los recientes y siempre preservan el prompt de sistema y el contexto RAG fresco. Los sistemas mal diseñados simplemente cortan contenido y pierden contexto importante.
¿Cuánta ventana de contexto necesita un chatbot de soporte?
Para la mayoría de casos de soporte al cliente, 32K tokens son suficientes. Esto aloja cómodamente un prompt de sistema (500 tokens), contexto RAG (2,000-4,000 tokens), 10-15 mensajes de conversación (2,000-3,000 tokens) y espacio para generar respuesta. Muy pocas conversaciones de soporte necesitan las ventanas de 128K+ disponibles en modelos modernos.
¿Usar más ventana de contexto aumenta el coste?
Sí. Las APIs de LLM cobran por token de entrada, así que llenar la ventana de contexto con más pasajes RAG o más historial de conversación aumenta directamente el coste por interacción. Por eso la gestión inteligente del contexto, seleccionando solo los pasajes más relevantes y resumiendo mensajes antiguos, es importante para optimizar costes.