OpenClawSkills
GitHub
使用案例 • 25 分钟阅读

网页抓取与数据收集

自动化数据收集、价格监控与复杂的网页抓取工作流。

利用 OpenClaw 的浏览器自动化从任意网站收集数据：处理分页、抽取动态内容，并长期监控变化。

Tutorial.step

你将搭建什么

  • 自动化多页抓取流水线
  • 带通知的定时价格监控系统
  • 结构化数据抽取（JSON/CSV）
  • 新闻与研究资料的归档工作流
Tutorial.step

基础数据抽取

从一个页面的自然语言请求开始：

Chat Prompt
"Go to https://example.com/product and extract:
- Product name
- Current price
- Stock status
Save this data to products.json"
Tutorial.step

价格监控

自动检查价格，并在降价时通知：

openclaw.json
{
  "cron": {
    "enabled": true,
    "jobs": [
      {
        "name": "Price Monitor",
        "cron": "0 9 * * *",
        "message": "Visit [Product URL], extract price, and notify me if it drops below $500. Log history to prices.csv"
      }
    ]
  }
}
Tutorial.step

处理分页

教 OpenClaw 导航，从而抓取整个目录：

"访问 [店铺 URL] 的第一页，提取所有商品链接，然后点击“下一页”重复直到最后；最后逐个访问链接并抽取规格信息。"
Tutorial.step

数据存储与处理

明确告诉 OpenClaw 你希望如何保存数据：

  • JSON： 适合 Web 应用与进一步自动化处理。
  • CSV： 可直接导入 Excel 或 Google Sheets。
  • Markdown： 适合研究笔记或 Obsidian。
Tutorial.step

最佳实践

抓取伦理

始终遵守 robots.txt，合理设置延迟避免压垮服务器，并遵循目标网站的服务条款。