Python 爬虫时如何高效的链接去重

[wisefree]

第一步，爬取链接存储到 MongoDB 中 第二步，爬取每个链接的详细信息，存储爬取成功的链接及信息

第二步爬取的过程不会很顺利，有时需要计算未完成的链接，再进行爬取，我目前是这样处理的 把第一步的链接存储在 list 里，再转成集合（ set) 把第二步的链接存储在 list 里，再转成集合（ set) 未完成的链接 = 第一步的 set - 第二步的 set

遇到的问题是，如果链接数比较小的时候，这样处理速度比较快，当链接数达到几百万时，这样处理的速度不是很理想，请问有没有高效的处理方法呢？

[regicide]

用 redis 去重比较粗暴

[Tucao]

https://llimllib.github.io/bloomfilter-tutorial/

[caixiexin]

布隆过滤器

[JasperYanky]

最近在爬一个站，第一步的数据存数据库了, django 下面放一个 scrapy 存取去重很方便，第二步用第一步的数据，使用 celery 的 task 定时爬取 我的第二步是下图片 所以开了好几台小机器分开下载的，下载结果直接修改 主数据库；缺点是数据库访问有点频繁，负载有点高~ 感觉 django + scrapy + celery 做类似的项目简直是爽~

[chendajun]

https://github.com/rolando/scrapy-redis
目前用 redis 去重，抓了微信，微博，网站，视频总共加载一块得 1000+个，用的很丝滑。

[billgreen1]

@caixiexin 赞， 布隆过滤器是标准做法

[sunchen]

@billgreen1 bloomfliter 有一定概率产生错误，要看下业务能不能允许这种情况

[wisefree]

@regicide 谢啦，我去查查这方面的资料

[wisefree]

@Tucao 十分感谢！

[wisefree]

@caixiexin 谢啦！:)

[wisefree]

@JasperYanky 感谢！

[wisefree]

@chendajun 我去研究一下，谢谢！