OpenClawSkills
GitHub
ユースケース • TutorialHeader.readTime

Web スクレイピング & データ収集

データ収集、価格監視、複雑なスクレイピングを自動化します。

OpenClaw のブラウザ自動化を使って、あらゆるサイトからデータを収集できます。ページ送り、動的コンテンツ抽出、変化の監視を学びます。

Tutorial.step

作るもの

  • 複数ページのスクレイピングパイプライン
  • 通知付きの価格監視システム
  • 構造化データ抽出（JSON/CSV）
  • ニュース/調査のアーカイブフロー
Tutorial.step

基本のデータ抽出

まずは単一ページへの自然言語依頼から：

Chat Prompt
"Go to https://example.com/product and extract:
- Product name
- Current price
- Stock status
Save this data to products.json"
Tutorial.step

Price Monitoring

価格チェックを自動化し、値下げで通知します：

openclaw.json
{
  "cron": {
    "enabled": true,
    "jobs": [
      {
        "name": "Price Monitor",
        "cron": "0 9 * * *",
        "message": "Visit [Product URL], extract price, and notify me if it drops below $500. Log history to prices.csv"
      }
    ]
  }
}
Tutorial.step

ページネーション対応

カタログ全体を取得するようにナビゲーションを教えます：

"[Store URL] の 1 ページ目を開いて商品リンクを抽出し、'Next' をクリックして全ページで繰り返して。最後に各リンクを訪問して仕様を取得して。"
Tutorial.step

Data Storage & Processing

保存方法を明確に指定します：

  • JSON： Web アプリや後続自動化に最適。
  • CSV： Excel / Google Sheets へ取り込みやすい。
  • Markdown： 調査ノートや Obsidian に最適。
Tutorial.step

ベストプラクティス

スクレイピングの倫理

robots.txt を尊重し、過度な負荷を避けるために適切な待ち時間を設け、対象サイトの利用規約に従ってください。