
天天
简单说,Scraperr 就是个帮你从网页上"偷"数据的工具。别担心,这里说的"偷"是合法的数据抓取 😄。
想象一下,你要收集某个购物网站上所有商品的价格信息,手动复制粘贴得复制到天荒地老,而 Scraperr 可以帮你几分钟搞定。
核心优势:
应用安装后,打开即主页面

先注册一个账号

登录进去,左下角会有提示

以老王的博客为例https://manateelazycat.github.io/index.html

XPath 就像是网页元素的"地址"。比如你要找某个商品的标题,XPath 会告诉程序:"去第3个div里面的第2个span标签找"。
实用XPath技巧:
右键大法:在网页上右键点击你想抓取的内容 → 检查元素 → 右键选择"Copy XPath",直接复制现成的路径
常用模式:
//a/@href//img/@src//div[@class='product-title']/text()//span[contains(text(), '价格')]以老王博客为例
URL:老王的博客地址为 https://manateelazycat.github.io/index.html
Name:因为是抓标题,所以输入了 文章标题
XPath:可以在浏览器中获取到/html/body/div[1]/ul
点击提交

左下角会提示创建了一个Job

到左侧Job里可以看到

它有一定概率会失败,如果成功后会显示complete
点击 showresult

点进去,可以看到内容都抓到了

还可以下载下来


我下载的csv中文乱码了

markdown没问题

网站域名/robots.txt看看是否允许抓取Scraperr 是个不错的工具,特别适合需要定期抓取数据但又不想写复杂爬虫代码的朋友。界面清爽,功能齐全,而且支持自托管,数据安全有保障。
有了这个工具,以后收集数据就轻松多了。不过记得合规使用,做个有素质的数据收集者 😊
提示:本文仅为技术交流,使用时请遵守相关法律法规和网站使用条款。
评论
0暂无评论