1
Evrins 2017-11-20 11:10:31 +08:00 via iPhone
好像已经有一个这样的网站了
|
4
watzds 2017-11-20 11:19:05 +08:00 via Android
那么多爬虫 /反爬虫工程师,那么费劲,一定程度上共享得了
|
5
lneoi 2017-11-20 11:19:59 +08:00
已经有了...V 站里之前不就有在推广
|
6
evlos 2017-11-20 11:22:31 +08:00
之前那个搞什么云爬虫的服务在 V2EX 做了那么多推广也没见人再提过 …
|
7
dbfox OP |
8
ywgx 2017-11-20 11:27:12 +08:00
可爱的
|
9
beastk 2017-11-20 11:36:22 +08:00 via iPhone
就怕被不法分子利用
|
12
40huo 2017-11-20 12:28:41 +08:00
之前好像看到过一个做了个框架,然后上面有各种人写的爬虫,还有些是付费的。
|
13
liangjing414 2017-11-20 12:31:07 +08:00
网上 搜 “神箭手”,不谢
|
14
qiqico 2017-11-20 12:35:47 +08:00
有个网站 showapi, 提供很多接口调用,其中也包括一些爬虫接口,还可以在线自定义爬取规则
|
16
cheetah 2017-11-20 13:02:27 +08:00
|
17
1931 2017-11-20 13:16:18 +08:00 via iPhone
深蓝阅读?
|
18
em70 2017-11-20 13:35:21 +08:00
很早前就见过,主打不是共享,而是傻瓜化爬取,还是工具型的产品,不吸引人.
按楼主的想法,应该是数据驱动的,核心是爬取的数据共享,比工具共享要好,可以试试 |
19
110male 2017-11-20 13:38:33 +08:00
管理,封他账号,他要爬 v2ex
|
21
weer0026 2017-11-20 14:06:59 +08:00
这个让我想起来 golang 的爬虫框架 pholcus 了,思路很像。
|
22
wmhx 2017-11-20 14:22:16 +08:00
|
23
haker 2017-11-20 14:25:13 +08:00
八爪鱼
|
24
QQ2171775959 2017-11-20 14:36:38 +08:00
爬一下爬,要是能汇聚一批人和信息的也是有一点用处的
|
25
fiht 2017-11-20 16:52:13 +08:00
提交了一个爬虫上来:
提交的爬虫放在你的服务器上跑么... 不如 rss 靠谱 |
26
ThinkMan 2017-11-20 16:56:17 +08:00
几个月前,我也有这种想法。一模一样。
|
27
Zzzzzzzzz 2017-11-20 16:58:44 +08:00
秒变分布式 CC 平台.....
|
29
wulin 2017-11-20 17:46:03 +08:00
订阅 1024
|
30
Shura 2017-11-20 18:23:02 +08:00 1
v 站有人做了个自动签到平台就是这个思路,我发现最难的是“某爬虫爱好者,提交了一个 V2EX 最新帖子 和 最热帖子的爬虫进来 ”,很难做到让人提交爬虫脚本,到最后平台基本也就是作者自己提供的脚本最多了。
|
31
ZSeptember 2017-11-20 20:35:21 +08:00
神箭手
|
32
qfdk 2017-11-21 01:55:50 +08:00 via iPhone 1
跳蚤大神不是早就搞了 这轮子不用造了
|
33
Arnie97 2017-11-21 01:56:09 +08:00 via Android
这根 RSS 有什么本质差别…
|
34
yech1990 2017-11-21 02:28:40 +08:00 via Android
Google 阅读器还在的时候,google 和 yahoo 有类似的实现。Google RSS 关闭后,我也有和楼主一样的想法。
虽然现在有一些类似的方案,但都是闭源收费的服务为主。 之前打算在 github 开个 organization, 分享一些爬虫代码,定义一套接口规范,最终输出类似 RSS 的 xml 格式。 零散写了一些脚本后就放弃了。一方面工程浩大,一方面代码水平太差,一个人连 demo 都实现不了,实现不了 demo 的话,不可能有其他人贡献代码。另外就是现在 RSS 阅读似乎是时代的逆流了,不知几年后 RSS 的用户,也就没太多折腾的动力了。 楼上很多推荐聚合阅读的,应该是没明白楼主的出发点吧。。。 |
35
naiba 2017-11-21 08:28:33 +08:00 via Android
即刻+1
|
36
Norie 2017-11-21 09:27:06 +08:00
即刻+2
|
37
Aresn 2017-11-21 11:20:31 +08:00
你听说过 feedly 吗
|
38
haogefeifei 2017-11-21 14:28:50 +08:00
即刻+3
|
39
haozhu 2017-11-21 15:04:16 +08:00
即刻+4
|
40
dorothyREN 2017-11-21 16:26:42 +08:00
我看行
|
41
forestyuan 2017-11-21 17:21:19 +08:00
这样做会不会有法律风险?
|
42
yangxiongguo 2017-11-22 01:09:39 +08:00
今天头条?
|
43
chenyu8674 2017-11-22 10:47:42 +08:00
还不如建个爬虫开发者与反爬虫工程师的约架网站
|
44
dreamin 2017-11-25 20:38:13 +08:00
我直接贴个网址吧,先说不是为了推广。我也是之前网上搜的,用过。http://www.shenjianshou.cn/index.php?r=market/productList
|