公司爬虫刚起步,想找一个工具用来管理和维护未来写的爬虫,在此请教一下大家顺便多学一点东西。
平时写爬虫 requests 和 scrapy 都有用过。
1
samding123 2018-04-04 14:23:16 +08:00
spiderkeeper
|
2
samding123 2018-04-04 14:23:48 +08:00
|
3
Nick2VIPUser OP @samding123 昨天用过大神的项目,界面和功能特别棒!
但我把 egg 文件上传上去后,spider 就是显示不出来,然后暂时放下了-_- |
4
beforeuwait 2018-04-04 16:18:42 +08:00
我也困惑
|
5
shuizhengqi 2018-04-04 16:48:27 +08:00
pyspider 吧
|
6
farverfull 2018-04-04 19:00:49 +08:00
OpsPlatform
|
7
Cryse 2018-04-04 19:43:23 +08:00
同样的疑惑,目前在用 scrapyd 和 spiderkeeper, 但是感觉 scrapyd 不太好用.
|
8
bazingaterry 2018-04-04 19:45:58 +08:00 via iPhone
我以前团队是自己写的,糅合 pyspider 和 scrapy
|
9
qsnow6 2018-04-04 22:17:28 +08:00
spiderkeeper
|
10
qwertty01 2018-04-05 08:30:56 +08:00
上架市场吧,用不了
|
11
qwertty01 2018-04-05 08:31:24 +08:00
Sorry,回复错了 0.0
|
12
Nick2VIPUser OP @shuizhengqi 打算过段时间再学 pyspider -_-
@farverfull 您说的这个 OpsPlatform 搜不到额... @bazingaterry 实在不行就打算自己写个轻量一点的爬虫平台,慢慢加功能 @qsnow6 我用 spiderkeeper 有点 bug 还没有解决 /哭 @beforeuwait 哈哈,那咱是同道中人 @Cryse scrapyd 没有 UI,但是可以自己写界面然后调用 scrapyd 文档提供的 API |
13
my8100 2018-10-25 21:11:15 +08:00
scrapydweb:实现 Scrapyd 集群管理,Scrapy 日志分析和可视化 https://github.com/my8100/scrapydweb
|
15
tikazyq 2020-01-10 20:14:15 +08:00
可以试试 Crawlab,非常灵活的分布式通用爬虫管理平台,支持任何框架和语言,当然包括 scrapy、selenium、puppeteer 等等
https://github.com/crawlab-team/crawlab |