socks 代理池

[regeditms]

最近在做一个爬虫，链接是 https 的，所以需要 https 代理或者 socks 代理，大家是如何找到可靠的代理池呢？可能需要 1 千个代理以上。免费或者付费的都可以说下，谢谢。

[UnisandK]

不需要并发的话可以用 tor 或者 adsl vps

[lhbc]

支持 connect 的 http 代理也是可以的。

[kera0a]

链接是 https 的，
那么用 http 代理也是可以的。

[regeditms]

@UnisandK
@lhbc
@kera0a 需要并发，就是因为需要并发哈，这样的代理是哪里找，我之前想过按量付费用 阿里云，只要几个小时就可以，但是还要自己搭建代理环境，不省心。要求代理可用性要比较高。

[lgsr]

ADSL 拨号，挂机宝

[regeditms]

@lgsr 谢谢哈，不过我是同时需要，并发的。

[nyanyh]

以前做过小爬虫，买过包月 300 不限量的 http 代理，没使用过 socks 代理。但是高并发访问成功率太依赖代理 IP 本身的速度了，很多代理池根本达不到自己宣传的那么高有效率
建议 Google 几家卖代理的网站，买点几块钱一天的试用卡提取点 IP 试下，能满足需求再多买吧

[regeditms]

@nyanyh 好的 感谢分享，问下自己按量付费阿里云 搭建 你感觉怎么样？

[anexplore]

@regeditms 以前看帖子有人说过阿里按量付费貌似比较坑，可以搜搜看看

[nyanyh]

r#8 @regeditms 贵。最便宜的机器也要 0.5-1 元 /小时了，流量价格另算。我用阿里云的时候还不能换 IP 不知道现在可不可以，要是爬的时候对方封了代理 IP 又要重新折腾服务器。当然要是爬的时间短而且不缺钱的话就另说了

[terranboy]

GOOGLE 搜 PRIVATE PROXY

[SlipStupig]

@nyanyh 一个 ip 才 30 块钱一个月，主机一个月 60 ，也就是 90 ，你动态释放 IP 就行，如果你觉得一个 IP 慢了可以用两个对换着释放绑定，一点也不贵！

[regeditms]

@SlipStupig 主要是 我需要 几分钟内 1000 个代理服务器。

[regeditms]

@terranboy 看了下 挺贵的，我只需要 大概 4 个小时。
@nyanyh 我就需要 4 个小时 大概爬 几次就可以了。如果有脚本可以批量创建主机，批量架设代理服务器就好了。

[nyanyh]

r#12 @SlipStupig 1 2 个确实不贵， LZ 需要 1000 个就……

[BMW]

高可用的代理 ip 池，一直是个难题，难点在于不想花钱。

[regeditms]

@BMW 算是这样吧，我看到国外有，不过都是按月付费算起来， 500 个代理算起来大几千了。我就使用几个小时就可以了。

[regeditms]

@nyanyh 问下用国外的 socks 代理，正常的网页访问会被 gfw 切断吗？

[liubo]

可以试试用香港的主机，配合 multi-tor 。
我之前最快的速度大概是单台机器一天抓了某个网站 150 多万的数据。

[lemontv]

matt ？

[crab]

限制那么厉害别想高并发了。
代理失效快，响应慢， ADSL 拨号，多租几台跑。

[SlipStupig]

@nyanyh 你每次买一个，用完就释放掉，算的还是一个的钱，但是你同时挂 1000 个就是算一千个的钱，但是这样 IP 没有充分利用起来啊！
你估计没明白我意思:
现在有 IP1 IP2 （两个都是包月的）：
1.ip1 权重 100 ， ip2 权重 50,所以服务器出口是 ip1
2.当过了一分钟后， ip1 卖掉就不再计费，这么时候 ip2 权重为 100, 是程序的唯一出口
3.买入 ip3 ，这么时候 ip3 权重为 50 ，但是总数没有变化，始终是两个 IP

伪代码：

ip_list = []

while 1:

while len(ip_list) < 2:
ip_list.append(buy_new_ip())

set_weight(ip_list[0]， 100)
set_weight(ip_list[1], 50)
wait_time(60)
ip_list.pop(0)

[forwind]

肉鸡

[nyanyh]

r#18 @regeditms 会，就算正常使用大流量的话也会被间歇阻断

[ji4ozhu]

挂机宝的 SDK 吧。
ip.54nb.com

[wangxiaoer]

@liubo :能讲讲思路吗？

[fofo]

www.duoip.cn 满足你的需要哈，基本上几十块钱就搞定哈，不过如果要并发爬取就需要多个了，我自己是买天付款的那种，自己弄个虚拟机，然后用代码不断拨号就行了。

[regeditms]

@fofo 谢谢哈 不过我需要保持原来 ip 和链接，意味着是同时需要的。