入职笔试时基于 python 撸了个爬虫,闲来无事准备去改改。
那么问题来了,如何优化去提升两个档次?
1
sunchen 2016-03-07 23:48:10 +08:00
入职笔试写爬虫,一猜就是创宇。
|
3
helloworldwt 2016-03-08 10:55:37 +08:00
爬虫需要使用代理,这样你 ip 被封时,减少对程序的影响
|
4
flamhaze5946 2016-03-08 12:26:37 +08:00 via Android
好吧。。是爬美女网站吗。。。当初被拒了(ฅ>ω<*ฅ)
|
5
wenyu1001 OP |
6
CrazySpiderMan 2016-03-08 13:16:08 +08:00
是我的话, 我直接换 Node.js 了. Python 搞爬虫, 麻烦的很.
|
7
CrazySpiderMan 2016-03-08 13:16:37 +08:00
@CrazySpiderMan 这里有个我用 Node.js 写个 P2P 网络的爬虫. https://github.com/Fuck-You-GFW/p2pspider
|
8
l6751902 2016-03-08 13:43:45 +08:00
黑 V2EX 后台,上传爬虫远程管理工具,然后把爬虫实际执行的逻辑嵌入前端.........
|
9
sampeng 2016-03-08 14:00:02 +08:00
加 2 倍机器。。绝对提升两个档次
|
11
penjianfeng 2016-03-08 21:01:00 +08:00
这还不简单,先把性能降 2 倍,然后在切换回来,绝对提升两个档次,哈哈哈
|
12
wenyu1001 OP @penjianfeng
这要是被领导知道,还不等着去财务处领工资? |