首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX 提问指南
广告
V2EX
›
问与答
有什么类似 Web Scraper 的爬虫插件么,支持批量 url 抓取数据的。
across
·
2020-07-28 20:44:14 +08:00
· 2017 次点击
这是一个创建于 1339 天前的主题,其中的信息可能已经有所发展或是发生改变。
没做过爬虫,需求是这样的:
20+个网页,每个网页里面有几十个数据条目。
设定好规则抓取数据, 希望每天开机时自动跑一遍收集下数据就可以了,不限工具。Web Scraper 的 Sitemap Json 不支持批量 URL 导入,20+个网页挨个点还是麻烦····
之前查了下 Puppeteer 很好上手,不过跑了下,触发反爬机制了(里面有几个网页是电商的=_=)。
scraper
网页
url
Web
3 条回复
•
2020-07-28 22:29:24 +08:00
1
ila
2020-07-28 20:47:09 +08:00 via Android
加钱,楼下帮你搞定
2
locoz
2020-07-28 21:13:05 +08:00 via Android
2
八爪鱼,下一个
3
siknet
2020-07-28 22:29:24 +08:00
1
火车浏览器 /火车采集器
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
我们的愿景
·
实用小工具
·
3650 人在线
最高记录 6543
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms ·
UTC 05:02
·
PVG 13:02
·
LAX 22:02
·
JFK 01:02
Developed with
CodeLauncher
♥ Do have faith in what you're doing.