首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
华为云
V2EX  ›  编程

Selenium 疑似被目标网站屏蔽了

  •  
  •   starvedcat · 146 天前 · 795 次点击
    这是一个创建于 146 天前的主题,其中的信息可能已经有所发展或是发生改变。

    很久前用 Selenium 写了个爬虫,随便写着玩的,一直正常运行,今天突然不行了。现象是用 Selenium 去爬,直接给我返回空白页面:

    <html xmlns="http://www.w3.org/1999/xhtml"><head></head><body></body></html>
    

    调用 FirefoxDriver 和 ChromeDriver 均是此现象

    但是我如果直接用浏览器访问,使用 Firefox 和 Chrome 均可正常访问网站内容

    刚上网查了下,说 Selenium 并不支持修改 request header。那么这种情况应该如何应对呢?

    5 回复  |  直到 2018-06-13 15:24:45 +08:00
        1
    colincat   146 天前
    UA 头可以改吧,再说你用 chromeDriver 应该就是调用浏览器去渲染啊
        2
    starvedcat   146 天前
    @colincat #1 对,就是调用了浏览器,然后只出现空白页面;但是如果我自己用 Chrome 访问就正常
        3
    colincat   138 天前   ♥ 1
    @starvedcat https://www.zhihu.com/question/35547395 给你一个连接吧,参考
        4
    eastrd   132 天前
    也可以根据鼠标轨迹来判断是否是 Bot
        5
    starvedcat   132 天前
    @eastrd #4 访问那个网址,直接就返回空白页面,所以跟鼠标轨迹没关系
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   740 人在线   最高记录 3762   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 17ms · UTC 19:22 · PVG 03:22 · LAX 12:22 · JFK 15:22
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1