V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
laoyuan
V2EX  ›  分享创造

野生程序员斗鱼直播写爬虫,抓双十一秒杀商品

  •  
  •   laoyuan ·
    laoyuan · 2016-11-06 13:01:01 +08:00 · 6530 次点击
    这是一个创建于 2930 天前的主题,其中的信息可能已经有所发展或是发生改变。
    爬虫写好了再写个网站把商品列表挂出来,今年准备全部开源。
    直播地址 http://www.douyu.com/laoyuan
    项目地址 https://github.com/laoyuan/wanggoumiji
    第 1 条附言  ·  2016-11-12 09:28:46 +08:00
    秒杀已开帖 /t/319731
    32 条回复    2016-11-11 09:03:32 +08:00
    yidinghe
        1
    yidinghe  
       2016-11-06 13:56:06 +08:00 via Android
    666666
    Joan
        2
    Joan  
       2016-11-06 14:08:21 +08:00
    666666
    laoyuan
        3
    laoyuan  
    OP
       2016-11-06 14:16:29 +08:00
    第一次提交代码,是去年写的爬虫
    https://github.com/laoyuan/wanggoumiji
    laoyuan
        4
    laoyuan  
    OP
       2016-11-06 15:54:44 +08:00
    已经发现了一种模式,会场页
    <div class="J_tabs 前一个 <textarea class="J_dynamic_data" 里面就是秒杀商品数据

    例: https://pages.tmall.com/wow/act/16495/industry_1179
    laoyuan
        5
    laoyuan  
    OP
       2016-11-06 16:01:43 +08:00
    又发现一种模式
    data-mod-name="mui/zebra-act-ms-240x240/index-pc" data-config="

    例: https://pages.tmall.com/wow/act/16495/industry_309
    qcloud
        6
    qcloud  
       2016-11-06 16:23:33 +08:00
    正在看直播, 2333 ,找半天找不到你这个帖子,刚才看你发帖子,本想你刚发,我就来评论的,结果到现在才找到这个帖子。
    m939594960
        7
    m939594960  
       2016-11-06 18:37:27 +08:00
    去年就看你直播来着
    a570295535
        8
    a570295535  
       2016-11-06 22:55:33 +08:00
    太卡了,虽然我看不懂,但我鱼丸 19345
    laoyuan
        9
    laoyuan  
    OP
       2016-11-06 23:00:46 +08:00
    @a570295535 好像无线路由器有点问题,我再买个新的。好在今年写的开源了,想用的可以直接看代码。

    今天就播到这里了,明天把 pyspider 部署到生产环境开始跑,然后写个网站把抓到的秒杀商品列出来方便大家看。
    Dirlllee
        10
    Dirlllee  
       2016-11-07 19:28:15 +08:00 via iPhone
    用哪些工具
    la0wei
        11
    la0wei  
       2016-11-07 23:42:58 +08:00
    错过直播了怎末办
    laoyuan
        12
    laoyuan  
    OP
       2016-11-07 23:54:19 +08:00
    @la0wei 有代码啊,我再提交下
    twc731
        13
    twc731  
       2016-11-08 10:13:52 +08:00
    错过了
    twc731
        14
    twc731  
       2016-11-08 10:14:28 +08:00
    希望大神以后可以录一份录像,能学习一下
    laoyuan
        15
    laoyuan  
    OP
       2016-11-08 10:46:53 +08:00
    有代码看啥录像啊。爬虫跑了一晚上数据是这样的:
    双十一总共 400 个会场页面,涉及 5700 家店、 12000 件商品,其中秒杀商品大概有 500 到 1000 件,我打算直接跑商品页面来识别秒杀,不在会场识别模式了。
    RobertYang
        16
    RobertYang  
       2016-11-08 15:34:53 +08:00 via Android
    无话可说只有 6666
    Vizogood
        17
    Vizogood  
       2016-11-09 07:44:19 +08:00 via Android
    我只能送你 6666 辛亏没去阿里 233
    ixinshang
        18
    ixinshang  
       2016-11-10 01:05:43 +08:00
    牛逼
    kang000feng
        19
    kang000feng  
       2016-11-10 01:41:44 +08:00
    @laoyuan 大神, 网站写好了吗, 期待商品列表挂出来,谢谢!
    laoyuan
        20
    laoyuan  
    OP
       2016-11-10 08:39:36 +08:00
    @kang000feng 看看今天能挂出来吧,就一个列表页面应该可以
    mclxly
        21
    mclxly  
       2016-11-10 08:45:05 +08:00
    坐等列表页面
    freep2p
        22
    freep2p  
       2016-11-10 10:39:46 +08:00
    去年用楼主提供的商品列表 秒了好几样。
    whatufo
        23
    whatufo  
       2016-11-10 12:41:51 +08:00
    坐等列表页面
    guinguo
        24
    guinguo  
       2016-11-10 13:10:10 +08:00
    去年在 up 主给的链接中抢到了几瓶啤酒跟一罐蜂蜜,蜂蜜现在还没喝完 233
    sorcerer
        25
    sorcerer  
       2016-11-10 16:14:13 +08:00 via iPhone
    马上要下班了 是时候放出列表了哈 楼主
    dreammes
        26
    dreammes  
       2016-11-10 17:59:12 +08:00
    楼主来吧,都等着咯
    laoyuan
        27
    laoyuan  
    OP
       2016-11-10 20:12:00 +08:00   ❤️ 1
    刚开始抓商品页,不会放大家鸽子的!
    WDD
        28
    WDD  
       2016-11-10 22:06:49 +08:00 via iPhone
    @guinguo 好厉害,请问你是在手机上抢的吗? 去年我在电脑抢毛都没抢到
    guinguo
        29
    guinguo  
       2016-11-10 22:44:38 +08:00
    @WDD 电脑,不要抢那种很少的,然后 动作要快,姿势要帅 ^_^
    fleer
        30
    fleer  
       2016-11-11 08:09:08 +08:00 via Android
    蹲坑等。
    laoyuan
        31
    laoyuan  
    OP
       2016-11-11 08:36:10 +08:00
    @fleer 真的是掉大坑里了,本来打算从商品页识别秒杀,结果发现可以抓到开售时间,但价格只能抓到一个普通的价格,抓不到秒杀价所以没发识别秒杀。结果还是从会场抓那些明面上放出来的秒杀吧。。
    laoyuan
        32
    laoyuan  
    OP
       2016-11-11 09:03:32 +08:00
    已开帖 /t/319731
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2670 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 15:47 · PVG 23:47 · LAX 07:47 · JFK 10:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.