![]() |
1
AlloVince 2015-05-07 11:21:31 +08:00 ![]() |
![]() |
2
RangerWolf OP @AlloVince 非常感谢!正是我需要的!
|
![]() |
3
bengtuo 2015-05-07 11:48:17 +08:00
Scrapy 还是不够好
|
![]() |
4
bengtuo 2015-05-07 11:48:27 +08:00
要写 太多的代码
|
5
zts1993 2015-05-07 12:08:24 +08:00
写一个DOWNLOADER_MIDDLEWARES
|
![]() |
6
binux 2015-05-07 12:13:04 +08:00
squid
|
![]() |
7
RangerWolf OP @binux 还得自己维护一个squid就太繁重了
|
![]() |
8
RangerWolf OP @bengtuo 那有什么推荐的吗?
要写的代码多一点没什么,重要的是能有解决方案。 如果能在网上找到相应的解决方案的代码就更好了 |
![]() |
9
messense 2015-05-07 16:35:37 +08:00 ![]() 我用的修改自 scrapy-proxies 的 RetryMiddleware,禁用 Scrapy 自带的 RetryMiddleware
https://github.com/messense/douappbook/blob/master/douappbook/middlewares.py#L10 |
10
ultimate010 2015-05-09 10:01:09 +08:00 ![]() 我以前就是把代理ip存到redis中,每次抓取查询换ip,封装下使用很方便。
|