V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
tomxin7
V2EX  ›  分享创造

[简单找房] 自动爬取豆瓣房源,时隔半年大幅更新

  •  3
     
  •   tomxin7 · 2019-08-06 19:47:29 +08:00 · 3845 次点击
    这是一个创建于 1936 天前的主题,其中的信息可能已经有所发展或是发生改变。

    网站地址

    去年 12 月份,准备换一套离公司更近的房间,突发奇想写了“简单找房”这个网站,得到了很多同学的支持,期间也没有怎么宣传,断断续续服务了几千位同学,用户不算多。
    之前无论是用邮件还是第三方微信推送服务,稳定性和体验都不是很好,没有完全的达到简单的称号。索性自己申请了一个服务号,现在只需要简单 4 步就可以添加一个找房任务。豆瓣租房还有一个问题是中介和虚假信息实在太多了,所以近期还加上了过滤规则,可以有效的过滤大部分的无效信息。

    运行原理(开局一张图,其他全靠编)

    image.png

    更新内容:

    1. 独立微信推送服务号,使用起来更便捷
    2. 新增房源过滤规则,过滤大部分虚假房源
    3. 优化爬虫服务

    过滤规则:

    1. 同一 ID 大量刷帖会被过滤
    2. 同一帖子回复过多,目前过滤回应数大于 5 的帖子
    3. 不同 ID 发布相同内容的帖子会被过滤
    4. 人工维护房源 /ID 黑名单会被过滤
    5. 用户投诉达到一定次数的帖子和 ID 会被过滤

    技术选型:

    • 前端:Amaze UI
    • 后端:Java8、SpringBoot、SpringData
    • 爬虫:Python 3.6

    后话:

    等有时间想把微博给适配一下
    如果需要添加城市或者想交流的朋友,欢迎添加我的微信。
    image.png

    20 条回复    2019-11-13 09:16:10 +08:00
    herozzm
        1
    herozzm  
       2019-08-06 19:48:33 +08:00 via iPhone
    你等着查水表吧
    tomxin7
        2
    tomxin7  
    OP
       2019-08-06 19:53:00 +08:00
    @herozzm #1 哈哈,其实没有存豆瓣的数据,推送出来的只是豆瓣地址,还是需要跳到豆瓣的。
    waler
        3
    waler  
       2019-08-06 19:58:37 +08:00 via Android
    表哥加个郑州吧
    LevineChen
        4
    LevineChen  
       2019-08-07 00:30:19 +08:00 via iPhone
    快知 app 里引用豆瓣小组机器人加关键词过滤就可以实现你的需求
    tomxin7
        5
    tomxin7  
    OP
       2019-08-07 09:57:49 +08:00
    @LevineChen #4 嗯嗯,快知很棒,期待安卓版
    tomxin7
        6
    tomxin7  
    OP
       2019-08-07 09:58:06 +08:00
    @waler #3 已添加,要强制刷新一下前端
    williamherry
        7
    williamherry  
       2019-08-07 16:27:57 +08:00
    微信登录扫描完空白页啥都没有
    tomxin7
        8
    tomxin7  
    OP
       2019-08-07 16:39:07 +08:00
    @williamherry #7 扫描登录后应该网页会自动跳转的,方便留个联系方式吗?
    yl666
        9
    yl666  
       2019-08-07 17:37:35 +08:00
    已 star
    547674115
        10
    547674115  
       2019-08-07 17:43:46 +08:00
    还挺不错,加油楼主。
    Naive1
        11
    Naive1  
       2019-08-08 11:11:31 +08:00
    @LevineChen 请问可以给个邀请码吗?
    LevineChen
        12
    LevineChen  
       2019-08-08 11:17:47 +08:00 via iPhone
    @Naive1 我没了 关注他们公众号就能获取
    zhangchao12cn
        13
    zhangchao12cn  
       2019-08-08 11:54:07 +08:00 via iPhone
    @herozzm 豆瓣用户发贴著作权及使用权归用户还是豆瓣
    hcy1996
        14
    hcy1996  
       2019-08-08 21:15:38 +08:00
    接口 500 了
    tomxin7
        15
    tomxin7  
    OP
       2019-08-08 21:19:18 +08:00
    @hcy1996 #14 哪个接口呢
    qwertqwert12345
        16
    qwertqwert12345  
       2019-08-10 22:34:13 +08:00
    既然只是提醒,提供一个非微信登录的入口会比较好,比如邮箱
    tomxin7
        17
    tomxin7  
    OP
       2019-08-11 10:02:23 +08:00
    @qwertqwert12345 #16 之前有邮箱的,但是基本会把豆瓣内部的链接判断为垃圾邮件,不加白名单很难收到提醒消息。
    gogo88
        18
    gogo88  
       2019-08-12 10:14:56 +08:00 via iPhone
    @Naive1 17J8RQT5
    tikazyq
        19
    tikazyq  
       2019-08-12 10:42:10 +08:00
    可以把你的爬虫放到爬虫管理平台 Crawlab 上,方便管理爬虫、监控任务

    https://github.com/tikazyq/crawlab
    williamherry
        20
    williamherry  
       2019-11-13 09:16:10 +08:00
    @tomxin7 不好意思没看到 V2EX 的消息
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1075 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 19:15 · PVG 03:15 · LAX 11:15 · JFK 14:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.