Firecrawl
Fallback de Firecrawl para web_fetch (anti-bot + extracción en caché)
OpenClaw puede usar ''Firecrawl'' como extractor de fallback para ''web_fetch''. Es un servicio de
extracción de contenido hospedado que soporta evasión de bots y caché, lo que ayuda
con sitios con mucho JS o páginas que bloquean fetches HTTP simples.
Obtener una clave API
1. Crea una cuenta de Firecrawl y genera una clave API.
2. Guárdala en configuración o establece ''FIRECRAWL_API_KEY'' en el entorno del gateway.
Configurar Firecrawl
{
tools: {
web: {
fetch: {
firecrawl: {
apiKey: "FIRECRAWL_API_KEY_HERE",
baseUrl: "https://api.firecrawl.dev",
onlyMainContent: true,
maxAgeMs: 172800000,
timeoutSeconds: 60,
},
},
},
},
}Notas:
- ''firecrawl.enabled'' predeterminado es true cuando hay una clave API presente.
- ''maxAgeMs'' controla qué tan antiguos pueden ser los resultados en caché (ms). Predeterminado es 2 días.
Stealth / evasión de bots
Firecrawl expone un parámetro de ''modo proxy'' para evasión de bots (''basic'', ''stealth'', o ''auto'').
OpenClaw siempre usa ''proxy: "auto"'' más ''storeInCache: true'' para solicitudes de Firecrawl.
Si se omite proxy, Firecrawl predetermina a ''auto''. ''auto'' reintenta con proxies stealth si un intento básico falla, lo que puede usar más créditos
que scraping solo básico.
Cómo `web_fetch` usa Firecrawl
Orden de extracción de ''web_fetch'':
1. Readability (local)
2. Firecrawl (si está configurado)
3. Limpieza HTML básica (último fallback)
Ver ''Herramientas Web'' para la configuración completa de herramientas web.