V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
myxinn
V2EX  ›  Python

想在微博监控一个人的动态, 当发布新微博时, 希望最短时间得到通知, 请问应该怎么设计? 如果是监控 1000 人 100000 人的信息呢?

  •  
  •   myxinn · 2017-12-01 22:22:02 +08:00 · 8787 次点击
    这是一个创建于 2551 天前的主题,其中的信息可能已经有所发展或是发生改变。
    26 条回复    2017-12-02 17:21:59 +08:00
    580a388da131
        1
    580a388da131  
       2017-12-01 22:25:32 +08:00
    API
    loading
        2
    loading  
       2017-12-01 22:27:03 +08:00 via Android
    ifttt
    20
        3
    20  
       2017-12-01 22:29:25 +08:00 via Android
    那么网外的 freeweibo 就是检测删帖的 可以走这个思路
    grimpil
        4
    grimpil  
       2017-12-01 22:35:18 +08:00 via Android   ❤️ 2
    打开即刻 app,添加微博机器人,创建主题,添加关注对象,等 app 通知你
    immortalz
        5
    immortalz  
       2017-12-01 22:40:53 +08:00 via Android
    定时轮训?同时根据不同用户的发微博频次建立不同的轮训间隔队列(当然要动态调整)
    我用 scrapy 写的微博爬虫,大概 1 分钟 2000 多个页面吧(我测试了几个小时都稳定在跑),改成分布式我觉得上限还能增加,所以 100000 的量还行?
    est
        6
    est  
       2017-12-01 22:47:07 +08:00 via iPhone
    舆情系统,10 年前玩烂的东西
    mingyun
        7
    mingyun  
       2017-12-01 22:48:24 +08:00
    @grimpil 即刻是怎么做的呢
    golmic
        8
    golmic  
       2017-12-01 22:48:38 +08:00 via Android
    看了下也就 5 楼说的靠谱点。我做过相关的项目,代码也还在,大规模检测用的,楼主要是想一起搞事情可以联系我。
    golmic
        9
    golmic  
       2017-12-01 22:49:01 +08:00 via Android
    @mingyun 即刻并不是实时提醒的。
    xderam
        10
    xderam  
       2017-12-02 00:52:39 +08:00
    盖个歪楼,这不是设计问题。
    最好的办法就是去后场村卫生巾大厦,看看有没有运维没锁屏。登进去之后接入消息队列,然后,你懂的。
    wzw
        11
    wzw  
       2017-12-02 01:25:53 +08:00 via Android
    @grimpil 延迟多久,根据你的经验
    kran
        12
    kran  
       2017-12-02 07:12:40 +08:00 via iPhone
    用一个账号关注这些人,只需要监控这一个账号
    lhx2008
        13
    lhx2008  
       2017-12-02 07:39:35 +08:00 via Android
    用 python 搞过一个简单的,大概就是 selenium 拿 cookies,然后 request 定时访问,解析网页,更新了推微信
    heyyaya
        14
    heyyaya  
       2017-12-02 08:13:04 +08:00 via iPhone
    @lhx2008 人家问的重点是问监控量大的情况下怎么保证及时性
    Reign
        15
    Reign  
       2017-12-02 09:46:58 +08:00
    把这一千个人拉进一个 QQ 群,给他们说,他们一发微博就给我发信息,就酱
    immortalz
        16
    immortalz  
       2017-12-02 10:46:52 +08:00 via Android
    @kran 思路不错,可惜微博的推送信息流我记得不是按照时间轴线的
    immortalz
        17
    immortalz  
       2017-12-02 10:48:10 +08:00 via Android
    @est 想了解下有啥好思路分享吗
    qu3290052
        18
    qu3290052  
       2017-12-02 11:52:21 +08:00 via Android
    @lhx2008 推送微信是怎么做到的
    Andysir
        19
    Andysir  
       2017-12-02 12:25:09 +08:00
    皮皮精灵
    lhx2008
        20
    lhx2008  
       2017-12-02 12:44:00 +08:00 via Android
    @qu3290052 企业微信,申请企业号,不用传资料也可以用 api,然后里面有个微信插件的可以推到微信
    heyyaya
        21
    heyyaya  
       2017-12-02 13:01:08 +08:00 via iPhone
    @immortalz 把他们放在一个分组里面、按分组看就是时间轴顺序
    qu3290052
        22
    qu3290052  
       2017-12-02 13:06:56 +08:00 via Android
    @lhx2008 学习了
    litter123
        23
    litter123  
       2017-12-02 13:34:18 +08:00
    搞一台配置好的云服务器就行了,哪来那么多麻烦 2333
    immortalz
        24
    immortalz  
       2017-12-02 14:50:47 +08:00 via Android
    @heyyaya 还可以这样操作,学习了
    slime7
        25
    slime7  
       2017-12-02 15:42:11 +08:00
    @heyyaya 分组人数有上线,10k 人数要分几十个组
    murmur
        26
    murmur  
       2017-12-02 17:21:59 +08:00
    分布式+代理 几年前抓过微博 每次都有一批账号被新浪判定安全风险要手机解锁
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5202 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 09:27 · PVG 17:27 · LAX 01:27 · JFK 04:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.