这是一个创建于 4302 天前的主题，其中的信息可能已经有所发展或是发生改变。
今天用服务器爬百度，只有几分钟，就被百度给屏蔽了...... 求大牛指导
 |
1
wtser 2013-03-11 12:34:17 +08:00
爬虫也有名字的，在useragent中有显示，通过检测UA就可以知道你是爬虫，当然也可以检测你的行为特征
|
 |
2
scriptkids 2013-03-11 13:01:53 +08:00
频率..
|
 |
3
workaholic OP @scriptkids 恩，少量多次^_^
|
|
4
workaholic OP @wtser 恩，useragent好解决，行为得谨慎一些
|
 |
5
yangruixuan 2013-03-12 18:37:40 +08:00
频度控制
|
 |
6
tysx 2013-03-13 13:12:08 +08:00
同一个IP的并发连接数
|
|
7
workaholic OP @tysx 我用的php，应该是单线程的。不过我发现流量低谷（比如凌晨）的时候比较松，其他时间就得少量多次了
|
Select Language