Firecrawl
web_fetch 用の Firecrawl フォールバック(アンチボット + キャッシュ抽出)
OpenClaw は ''Firecrawl'' を ''web_fetch'' のフォールバック抽出器として使用できます。これはホストされた
コンテンツ抽出サービスで、ボット回避とキャッシュをサポートしており、
JS 重視のサイトやプレーン HTTP フェッチをブロックするページに役立ちます。
API キーを取得する
1. Firecrawl アカウントを作成し、API キーを生成します。
2. 設定に保存するか、ゲートウェイ環境で ''FIRECRAWL_API_KEY'' を設定します。
Firecrawl を設定する
{
tools: {
web: {
fetch: {
firecrawl: {
apiKey: "FIRECRAWL_API_KEY_HERE",
baseUrl: "https://api.firecrawl.dev",
onlyMainContent: true,
maxAgeMs: 172800000,
timeoutSeconds: 60,
},
},
},
},
}Notes:
- API キーが存在する場合、''firecrawl.enabled'' はデフォルトで true になります。
- ''maxAgeMs'' はキャッシュ結果の最大有効期間(ミリ秒)を制御します。デフォルトは 2 日です。
ステルス / ボット回避
Firecrawl はボット回避のための ''プロキシモード'' パラメータを公開しています(''basic''、''stealth''、または ''auto'')。
OpenClaw は Firecrawl リクエストに常に ''proxy: "auto"'' と ''storeInCache: true'' を使用します。
プロキシが省略された場合、Firecrawl はデフォルトで ''auto'' になります。''auto'' は基本試行が失敗した場合にステルスプロキシで再試行し、
基本のみのスクレイピングよりも多くのクレジットを消費する可能性があります。
`web_fetch` が Firecrawl を使用する方法
''web_fetch'' extraction order:
1. Readability(ローカル)
2. Firecrawl(設定されている場合)
3. 基本的な HTML クリーンアップ(最後のフォールバック)
完全なウェブツール設定については ''Web ツール'' を参照してください。