V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
jmjiafan
V2EX  ›  Python

pycharm 问题

  •  
  •   jmjiafan · 2018-07-16 18:11:20 +08:00 via Android · 2864 次点击
    这是一个创建于 2082 天前的主题,其中的信息可能已经有所发展或是发生改变。
    用 pycharm 爬取网页显示不全,用 fiddler 抓包看来是全的,再用 python 自来的 ide 也是全是这是用问题,都是 requests 抓
    11 条回复    2018-07-17 09:46:57 +08:00
    ranleng
        1
    ranleng  
       2018-07-16 18:34:12 +08:00   ❤️ 1
    "也是全是这是用问题"... <-- 真的懂不了
    pycharm 和 爬出来的全不全应该没有关系... 就一个 IDE...
    herozhang
        2
    herozhang  
       2018-07-16 18:34:13 +08:00
    可能网页有一部分是 js 动态加载或者生成的。
    你走浏览器抓,自然浏览器就执行了这些 js。
    而 requests 抓,这部分就没执行,自然就木有了。

    可以了解一下 selenium 这个库
    herozhang
        3
    herozhang  
       2018-07-16 18:35:21 +08:00
    Selenium + PhantomJS
    Leigg
        4
    Leigg  
       2018-07-16 18:39:46 +08:00 via iPhone
    怪 ide,过分了兄 dei
    pabupa
        5
    pabupa  
       2018-07-16 18:49:47 +08:00 via Android
    厉害了~
    jimmy2010
        6
    jimmy2010  
       2018-07-16 20:03:52 +08:00 via Android
    根据你的描述我得出一个结论,既然都是 requests 出问题,那应该怪 requests,而不是 pycharm
    PureWhite
        7
    PureWhite  
       2018-07-16 20:04:51 +08:00
    可能是 python 出的问题,更可能是写 Python 用的 C 出的问题。
    anyele
        8
    anyele  
       2018-07-16 20:31:46 +08:00 via Android
    厉害了
    jrtzxh020
        9
    jrtzxh020  
       2018-07-17 08:35:31 +08:00
    pycharm 躺着也能中枪..
    lieh222
        10
    lieh222  
       2018-07-17 09:33:06 +08:00
    我猜是宇宙射线干扰了内存,导致丢失了这部分数据
    zhuangzhuang1988
        11
    zhuangzhuang1988  
       2018-07-17 09:46:57 +08:00
    咋能怪 ide 呢, 怪操作系统。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5844 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 01:59 · PVG 09:59 · LAX 18:59 · JFK 21:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.