爬虫：内存溢出问题，使用 scrapy 框架

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2433 天前的主题，其中的信息可能已经有所发展或是发生改变。

这是一些截图

我还自己写了个日志文件，储存抓取过的网址，每次都会读写此文件，内存溢出与这个有关系吗？

v 友们，帮忙看看

溢出

Scrapy

文件

内存

5 条回复 • 2018-04-08 10:43:24 +08:00

gabon

2018-04-05 15:49:32 +08:00 via Android

类似 java 堆 dump，分析内存可破。原来写爬虫用的 java 遇到过几次 oom，用 visualVM 和 memory analyzer 定位解决。Python 应该也有类似的工具吧

Mrkon

2018-04-05 17:09:40 +08:00 via Android

@gabon 上面截图就是一部分分析吧，我是看官方文档怎么解释的，不过接下来该怎么做啊。求指教

wzwwzw

2018-04-05 18:11:17 +08:00

每次关闭这个文件了吗？

Mrkon

2018-04-05 18:38:34 +08:00

@wzwwzw 用了 with open(....) as f:上下文管理器的

bbbb

2018-04-08 10:43:24 +08:00

楼主找到原因了么？我也遇到内存溢出了，机器还好内存大，用了快 11g 被杀了。