V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  DuckJK  ›  全部回复第 16 页 / 共 31 页
回复总数  602
1 ... 12  13  14  15  16  17  18  19  20  21 ... 31  
2016-01-20 08:13:40 +08:00
回复了 DuckJK 创建的主题 Python 关于爬虫切换代理
@1KEco 改好了,没有写一个单独的函数,加了两行,现在可以顺利运行啦。
不着急等 3 月份新国标实施,情况好一点。
先把家里人坑一遍,然后发红包 =。=
2016-01-18 19:27:55 +08:00
回复了 Yourdaye 创建的主题 Python 被 python 的编码问题折腾死了
2016-01-18 10:45:02 +08:00
回复了 DuckJK 创建的主题 Python 关于爬虫切换代理
@master13 而且我觉得上面的 exception 还少了,首先爬虫采集的目标网站会有反爬虫策略,这个我简单的切换了代理,在切换代理的情况下,没有考虑通过代理不可用的情况,感觉会抛出 timeout ,这个异常没有捕捉到。因为采集目标是肯定可以连接上的,所以窝决定不管抛出神码异常,都切换代理,然后设定一个次数,超过这个次数之后就退出程序。下一步就是继续看对方神码反爬虫策略了。
2016-01-18 10:40:19 +08:00
回复了 DuckJK 创建的主题 Python 关于爬虫切换代理
@master13 Python 封装了好多东西啊,我艹啊。。我决定下个语言是 C 了。
2016-01-18 10:38:22 +08:00
回复了 DuckJK 创建的主题 Python 关于爬虫切换代理
@master13 谢谢你啊,刚刚开会的时候突然想起来这个, q_proxy 是一个队列,所以每次调用 get 之后的话,都会取出来一个值。刚刚想出来试试的。。,实在是偷懒偷大发了。。
2016-01-17 22:57:08 +08:00
回复了 DuckJK 创建的主题 Python 关于爬虫切换代理
@Kisesy 啊,明白了,谢谢你。
2016-01-17 22:48:41 +08:00
回复了 DuckJK 创建的主题 Python 关于爬虫切换代理
@just1 中间用了多线程,这个代理还有另外的生产者在使用,所以偷懒就直接放到 Queue 里面了。
2016-01-17 22:46:04 +08:00
回复了 DuckJK 创建的主题 Python 关于爬虫切换代理
@Kisesy
while True:
try:
html = requests.get('http://xxx.com', proxies={q_proxy.get().split('=')[0]: q_proxy.get().split('=')[1]}, timeout=3)
break
except except requests.exceptions.ReadTimeout:
html = requests.get('http://xxx.com', proxies={q_proxy.get().split('=')[0]: q_proxy.get().split('=')[1]}, timeout=3)

是这样子吧?整个代码套了好多层 while 和 try 。。。。谢谢。
2016-01-15 08:45:36 +08:00
回复了 Orzzzz 创建的主题 分享创造 翻译了一本小书 《Linux 101 hacks》还请大家批评指正 :)
那时候我还订阅了那个阿三哥的博客,后来就取消了。。。
2016-01-14 08:14:57 +08:00
回复了 PublicS 创建的主题 ACG 推荐几部“三观正”的动漫
黑礁,枪神(这个非常正)
saul 最大的愿望就是能有一个体面的办公室,在之后和他哥哥的斗争里面失去了,他在新办公室里面发泄,然后有一通电话,他接电话那一幕。
那是我印象最深的。
2016-01-13 08:34:23 +08:00
回复了 HanSonJ 创建的主题 分享发现 现在学校的东西,真是不知从何吐槽好
binux 写的 pyspider 也不错的,你可以去他博客看看。
@erDaren 是这样子的:如果你买了 kindle 分期 24 ,然后再买别的东西使用花呗,也同样分期。结果就是你下个月还款就会两个分期加起来算利息,虽然 kindle 分期不用利息,但是会加到另外一个分期上面。
so ,如果经常使用花呗,能尽快还完就还。
如果接下来的 24 期不用花呗可以买,如果买了之后分期,再用花呗,会利滚利啦。
2016-01-08 16:02:59 +08:00
回复了 lovez 创建的主题 问与答 如何实现一篇英文文章分割成一个一个的句子?
那么,这样可以不,根据单词数量或者长度来分割(.),符合长度的才分割。
2016-01-08 13:21:45 +08:00
回复了 gseven0312 创建的主题 问与答 各位 V 友,本人现在去买电视,能否推荐个
索尼低端的产品好像是 LG 代工的,板子是自己开发,某呼上面有。
1 ... 12  13  14  15  16  17  18  19  20  21 ... 31  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   6245 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 41ms · UTC 02:35 · PVG 10:35 · LAX 19:35 · JFK 22:35
Developed with CodeLauncher
♥ Do have faith in what you're doing.