爬虫使用 selenium，浏览器内存占用越来越多

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1802 天前的主题，其中的信息可能已经有所发展或是发生改变。

前几天写爬虫的时候偷懒，直接用的 selenium。firefox 和 gecokdriver 都是最新版。

跑了一晚上发现 firefox 内存占用从 10%+，到 80%+，最后可能会直接 crash。

浏览器的缓存已经禁用了，甚至尝试使用隐私模式来防止缓存和 cookies。其实目标网页本身不复杂，是个 jsp 页面。

更奇葩的另一个问题是，之前想改用 chrome 试下，结果直接返回空白页。目标网站没有 ssl，然后网上搜了一堆忽略 ssl 安全问题的参数，也都用了。别的 http 页面正常能打开，就目标网站总返回空白，不管在本机还是 vps 上尝试都一样。也很让我困惑。这个和 jsp 页面有关系么？

爬虫现在已经改用 requests 了，但是上面的问题纠结了好久还是不知道原因，求解答下。

15 条回复 • 2019-12-28 17:58:35 +08:00

airqj

2019-12-20 22:16:58 +08:00 via Android

这个作者自己都不维护了吧
用 pupputeer 吧

Arrowing

2019-12-20 22:38:53 +08:00

同建议使用 pupputeer , 毕竟谷歌还在支持的

ClericPy

2019-12-21 00:12:05 +08:00

selenium 本来就不是做爬虫用的, 只是一群无良营销号刷了七八年前的那个爬虫文章才火成这样, 它明明是个支持多种语言的前端测试框架, 所以内存处理的问题不注意很容易被 WebDriver 的一些毛病给坑到
说作者不更新那个说的是 phantomjs 吧, 那个作者发 post 说 Chrome headless 真香, 恰恰是后者出了不久(chronium headless 更早一些), 所以一般爬虫操作用 Chrome 家自带的 CDP 操作不香吗, 只要会点 WebSocket 和 HTTP, 就能远程调试 Chrome 内置那个 devtools, 而且注入 JS 也是什么都有可能了
不过后来发现 selenium 也支持上 CDP 方式了, 也可以用用

selenium + 内存, 在 google 和 V2EX 上的文章或帖子一搜一大把...