V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zixiaomeng
V2EX  ›  浏览器

最近接了一个老外的项目,需要模拟浏览器行为

  •  
  •   zixiaomeng · 2018-11-28 16:12:27 +08:00 · 4433 次点击
    这是一个创建于 1948 天前的主题,其中的信息可能已经有所发展或是发生改变。

    例如用多个地区的 ip 地址,模拟自然人访问某个网站,注册账号。需要绕过反爬虫和机器人识别。

    有没有库推荐?

    15 条回复    2018-11-29 16:08:18 +08:00
    Kilerd
        1
    Kilerd  
       2018-11-28 16:20:14 +08:00
    https://github.com/kennethreitz/requests-html
    试试这个? 不行就用 headless 来实现咯
    EvilCult
        2
    EvilCult  
       2018-11-28 16:21:55 +08:00
    菜鸟表示能想到的最简单的就是
    python + Selenium
    使用 chrome driver
    设置--proxy-server http 代理
    kljsandjb
        3
    kljsandjb  
       2018-11-28 16:25:17 +08:00 via iPhone
    chrome headless ?
    jydeng
        4
    jydeng  
       2018-11-28 16:27:33 +08:00
    puppeteer
    zr8657
        5
    zr8657  
       2018-11-28 16:27:37 +08:00
    selenium,最近发现代理 ip 真是贵
    onedayoneapple
        6
    onedayoneapple  
       2018-11-28 16:28:54 +08:00
    @zr8657 有好的 ip 推荐吗
    q4336431
        7
    q4336431  
       2018-11-28 16:51:19 +08:00
    selenium+phantomjs,只不过 ip 这个不好处理,代理是真滴贵
    zr8657
        8
    zr8657  
       2018-11-28 17:58:46 +08:00
    @onedayoneapple 我自己买的最便宜的 60 一个月 1000 条,但是速度很慢,1M 带宽都不到,我也想找更便宜的。。有大肘子科普下为什么这么贵吗
    andylsr
        9
    andylsr  
       2018-11-28 18:01:18 +08:00 via Android
    adsl 服务器
    yanjieee
        10
    yanjieee  
       2018-11-28 19:16:12 +08:00
    我觉得主要资源是 IP,以前买过美国的 private proxy,一个月 5 美元,速度非常快。
    akira
        11
    akira  
       2018-11-28 19:44:58 +08:00
    这个不是某一个库可以做到的事情吧
    hadoop
        12
    hadoop  
       2018-11-28 21:11:56 +08:00
    @yanjieee 关键词?
    Daveedo
        13
    Daveedo  
       2018-11-28 22:35:27 +08:00
    ip 代理去买就行了。几块钱买 500 个
    takato
        14
    takato  
       2018-11-28 22:47:47 +08:00
    如果对方对抗措施充分,完成这个就至少需要良好的数学和统计学功底。。。

    可能一般的库或方法是不行哦。。

    举个子问题的例子:如何用 code 控制鼠标光标的移动轨迹,使其符合人类使用物理鼠标移动光标的特征。
    clap3times
        15
    clap3times  
       2018-11-29 16:08:18 +08:00
    有个爬虫私活,有人感兴趣吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2793 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 11:51 · PVG 19:51 · LAX 04:51 · JFK 07:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.