V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cwjokaka
V2EX  ›  程序员

[python3] B 站用户数据收集...(重发)

  •  2
     
  •   cwjokaka ·
    cwjokaka · 2019-07-15 09:23:09 +08:00 · 3274 次点击
    这是一个创建于 1965 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前天发了一次贴,秒沉。果然还是在大众摸鱼日发合适一点。

    写了一个爬虫,用于收集 B 站用户数据,算是学 python 的实践项目吧^_^

    第 1 条附言  ·  2019-07-15 18:08:40 +08:00

    欢迎提建议,打算业余时间会添加新特性(获取更丰富的数据、数据统计等)

    19 条回复    2019-07-16 08:26:24 +08:00
    locoz
        1
    locoz  
       2019-07-15 09:59:35 +08:00
    太惨了,帮你捞一下
    cwjokaka
        2
    cwjokaka  
    OP
       2019-07-15 10:23:23 +08:00
    @locoz 感谢,我也自顶一下
    Deteriorator
        3
    Deteriorator  
       2019-07-15 10:29:08 +08:00
    帮你捞一下
    xwcs
        4
    xwcs  
       2019-07-15 11:00:25 +08:00
    帮你捞一下
    i0error
        5
    i0error  
       2019-07-15 11:12:25 +08:00
    捞一下
    i0error
        6
    i0error  
       2019-07-15 11:13:51 +08:00
    去看了一下,很基础啊......建议有数据了分析一波再发。
    cwjokaka
        7
    cwjokaka  
    OP
       2019-07-15 11:17:35 +08:00
    @i0error 是的,目前只是爬取阶段,而且相关数据内容有些少
    hzwjz
        8
    hzwjz  
       2019-07-15 11:41:42 +08:00
    按理说,不应该是在原帖的基础之上,想办法么?重复发帖了吧
    cwjokaka
        9
    cwjokaka  
    OP
       2019-07-15 12:18:10 +08:00
    @hzwjz 是可以,但前天发的贴沉到海底,应该上不来了←_←
    SpiderXiantang
        10
    SpiderXiantang  
       2019-07-15 12:53:23 +08:00 via Android
    用 dfs 爬取的吗
    cwjokaka
        11
    cwjokaka  
    OP
       2019-07-15 14:01:35 +08:00
    @SpiderXiantang 没有.只简单调下接口而已
    hjq98765
        12
    hjq98765  
       2019-07-15 14:40:10 +08:00
    捞一下,学习学习
    lzj307077687
        13
    lzj307077687  
       2019-07-15 14:50:10 +08:00
    刚开始学 py 学习下~
    cwjokaka
        14
    cwjokaka  
    OP
       2019-07-15 15:56:45 +08:00
    cwjokaka
        15
    cwjokaka  
    OP
       2019-07-15 17:16:52 +08:00
    ↑上去↑
    cwjokaka
        16
    cwjokaka  
    OP
       2019-07-15 18:05:45 +08:00
    有哪里写的不足(bug)的地方可以说一说←_←(个人顶帖行为)
    telnetning
        17
    telnetning  
       2019-07-15 19:28:05 +08:00 via iPhone
    楼主,是不是应该主动显示关闭下数据库连接
    cwjokaka
        18
    cwjokaka  
    OP
       2019-07-15 20:39:49 +08:00
    @telnetning 是有这个问题,但我发现 worker 线程根本不用停下来。。。数据库连接也就不管了
    cwjokaka
        19
    cwjokaka  
    OP
       2019-07-16 08:26:24 +08:00 via Android
    最后一顶
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   951 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 22:59 · PVG 06:59 · LAX 14:59 · JFK 17:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.