V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
timqian
V2EX  ›  分享创造

做了一个可以以任意周期抓取任意网站数据的网站

  •  2
     
  •   timqian ·
    timqian · 2018-05-25 23:26:04 +08:00 · 5755 次点击
    这是一个创建于 2374 天前的主题,其中的信息可能已经有所发展或是发生改变。
    第 1 条附言  ·  2018-05-26 11:20:07 +08:00

    感谢大家的试用,刚在首页添加了使用方法说明。

    https://cloudfetch.info/

    这个产品的初衷主要是两点:

    1. 用户只需通过简单的几次点击,就可以制作出一个对任意页面的特定部分进行周期性抓取的 fetcher “爬虫?”
    2. 用户可以订阅别人制作的的 fetcher,或者制作有趣的 fetcher 给大家用
    18 条回复    2018-05-28 09:30:31 +08:00
    golmic
        1
    golmic  
       2018-05-25 23:52:46 +08:00 via Android
    需要自己写解析规则吗~
    logOo
        2
    logOo  
       2018-05-25 23:54:37 +08:00 via Android
    pxxhub
    jisibencom
        3
    jisibencom  
       2018-05-26 07:45:07 +08:00 via Android
    然后怎么按天保存呢?
    widewing
        4
    widewing  
       2018-05-26 07:49:29 +08:00 via Android
    能转成 rss 吗
    Michelangelono
        5
    Michelangelono  
       2018-05-26 10:04:24 +08:00
    看不懂
    timqian
        6
    timqian  
    OP
       2018-05-26 11:13:37 +08:00
    @golmic 想法是只需要点击页面特定部分,自动生成解析规则,刚在首页添加了使用方法说明
    @Michelangelono 刚在首页添加了使用说明
    timqian
        7
    timqian  
    OP
       2018-05-26 11:14:18 +08:00
    @jisibencom 保存在 cloudfetch 的数据库中
    timqian
        8
    timqian  
    OP
       2018-05-26 11:14:50 +08:00
    @widewing 暂时没有这个功能,目前可以使用邮件方式订阅感兴趣的内容
    LanAiFaZuo
        9
    LanAiFaZuo  
       2018-05-26 11:45:55 +08:00
    有没有中文的用法介绍?英文逼格太高看不懂。
    iConnect
        10
    iConnect  
       2018-05-26 12:01:47 +08:00 via Android
    不用分布式爬虫,抓多了,对方屏蔽了你的请求很快就费了阿
    timqian
        11
    timqian  
    OP
       2018-05-26 12:11:04 +08:00 via iPhone
    @LanAiFaZuo 谢谢建议,尽快加上
    qsnow6
        12
    qsnow6  
       2018-05-26 12:15:09 +08:00 via iPhone
    烧录 rss 是个不错的需求
    timqian
        13
    timqian  
    OP
       2018-05-26 12:16:02 +08:00 via iPhone
    @iConnect 目前支持的最高抓取周期是 1h,所以还好。如果这个站能做起来,确实是需要考虑这个问题,因为有可能很多用户都在抓同一个站。谢谢你的建议
    iyangyuan
        14
    iyangyuan  
       2018-05-26 16:05:06 +08:00 via iPhone
    虽然抓取频率低,但是每次抓取都有大量请求,如果没有代理,很快就会被识别到
    codelover2016
        15
    codelover2016  
       2018-05-26 16:29:06 +08:00
    感觉没有八爪鱼腻害,还有神剑云....
    timqian
        16
    timqian  
    OP
       2018-05-27 17:41:43 +08:00
    @codelover2016 谢谢,第一次听说这两个😂
    timqian
        17
    timqian  
    OP
       2018-05-27 17:42:44 +08:00
    @iyangyuan 每个 fetcher 每次抓取只做一个 http 请求
    Spoter
        18
    Spoter  
       2018-05-28 09:30:31 +08:00
    可以抓 Google Play 商店每日的截图吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2764 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 11:30 · PVG 19:30 · LAX 03:30 · JFK 06:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.