Poda de Sesión

La poda de sesión recorta ''resultados de herramientas antiguos'' del contexto en memoria justo antes de cada llamada LLM. ''No'' reescribe el historial de sesión en disco (''*.jsonl'').

- Cuando ''mode: "cache-ttl"'' está habilitado y la última llamada Anthropic para la sesión es más antigua que ''ttl''.

- Solo afecta los mensajes enviados al modelo para esa solicitud.

- Solo activo para llamadas API de Anthropic (y modelos Anthropic via OpenRouter).

- Para mejores resultados, coincide ''ttl'' con tu ''cacheControlTtl'' del modelo.

- Después de una poda, la ventana TTL se reinicia para que solicitudes subsecuentes mantengan caché hasta que ''ttl'' expire de nuevo.

La poda aplica solo a resultados de herramientas:

- Mensajes ''tool_result''

- Mensajes ''tool_use'' ''no se podan'' (necesarios para que el LLM sepa qué herramienta llamó)

Estrategias actualmente soportadas:

- Reducción de tamaño de contexto: resultados de herramientas antiguos son removidos, haciendo el contexto más pequeño

- Reducción de costos: llamadas API se hacen con contexto más pequeño, reduciendo costos

- Mejora de rendimiento: procesar con contexto más pequeño puede reducir tiempo de respuesta

Mejores prácticas para usar poda de sesión efectivamente:

- Coincide TTL con el ''cacheControlTtl'' de los modelos

- Habilita poda en sesiones largas para prevenir hinchazón de contexto

- Monitorea logs para confirmar que la poda está funcionando como se espera

- Ajusta el valor TTL considerando el balance de costo y rendimiento

Solución de problemas si la poda no está funcionando como se espera:

- Confirma que el valor TTL coincide con el ''cacheControlTtl'' de los modelos

- Confirma que estás usando API de Anthropic (no funciona con otros proveedores)

- Confirma que el último mensaje humano de la sesión es más antiguo que TTL

La poda tiene los siguientes efectos:

- Tamaño de contexto reducido: resultados de herramientas antiguos son removidos, haciendo el contexto más pequeño

La poda tiene las siguientes limitaciones:

- Solo funciona con API de Anthropic (y modelos Anthropic via OpenRouter)

- Solo resultados de herramientas se podan (otros tipos de mensajes no se afectan)

- El historial de sesión en disco no se modifica

Para monitorear comportamiento de poda, revisa los logs:

- Cuando la poda se ejecuta, se registra un mensaje

- El conteo de mensajes podados se registra

- El tamaño de contexto después de la poda se muestra en logs

Mejores prácticas para usar poda de sesión efectivamente:

- Coincide TTL con el ''cacheControlTtl'' de los modelos

Solución de problemas si la poda no está funcionando como se espera:

- Confirma que el valor TTL coincide con el ''cacheControlTtl'' de los modelos

- Confirma que estás usando API de Anthropic (no funciona con otros proveedores)

- Confirma que el último mensaje humano de la sesión es más antiguo que TTL

- Revisa logs para confirmar que la poda está ejecutándose

ReferenceConceptsSessionPruningPage step 11: P6

ReferenceConceptsSessionPruningPage step 11: P7

La poda de sesión es una herramienta poderosa para prevenir hinchazón de contexto en sesiones largas. Usando estrategia de poda basada en TTL, puedes remover resultados de herramientas antiguos, reducir tamaño de contexto, y mejorar costo y rendimiento.

{
  agent: {
    contextPruning: { mode: "off" },
  },
}

Funciona con API de Anthropic y se coordina con configuraciones de control de caché del modelo para proporcionar resultados óptimos.

{
  agent: {
    contextPruning: { mode: "cache-ttl", ttl: "5m" },
  },
}

ReferenceConceptsSessionPruningPage step 12: P3

{
  agent: {
    contextPruning: {
      mode: "cache-ttl",
      tools: { allow: ["exec", "read"], deny: ["*image*"] },
    },
  },
}

ReferenceConceptsSessionPruningPage step 12: P4