网站一直被人抓取采集，有什么好的解决方案吗

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4711 天前的主题，其中的信息可能已经有所发展或是发生改变。

有几个家伙不断的采集我们的网站，内容采集去我真的不是那么生气，就是他们经常开多线程，跑的我的小网站数据库慢的跟蜗牛一样。

没被采集的时候我们网站哗哗的，速度很好的，可是一有采集，那体验相当糟糕。

我怕我们会被这些家伙害死。

有什么好办法能制止吗？

采集

网站

多线程

16 条回复 • 1970-01-01 08:00:00 +08:00

9hills

2012-01-02 00:52:11 +08:00

封IP

peterlu

2012-01-02 00:53:24 +08:00

禁止ip。

moplay

2012-01-02 00:54:10 +08:00

@9hills windows有什么工具可以查到这些ip吗？说实在，我服务器知识非常缺乏。

moplay

2012-01-02 00:55:23 +08:00

请不要鄙视我们使用windows服务器，因为这是个.net的网站。

Julyyq

2012-01-02 01:01:35 +08:00

直接在IIS设置里面就可以封IP的。

for4

2012-01-02 01:02:04 +08:00

看访问日志~

evlos

2012-01-02 01:05:06 +08:00

@moplay 那可不可以鄙视你们使用.net？（开玩笑的嘿嘿 ~ o(*￣▽￣*)

hq5261984

2012-01-02 01:06:05 +08:00

设置访问策略.WINDOWS在访问策略上其实够强大,只要你对域控制了解的够深,配合ISA完全够用就是服务器资源要大些.

kojp

2012-01-02 01:10:17 +08:00

日志里面会有的。。

ihacku

2012-01-02 01:11:53 +08:00

试试这个 http://www.vidun.com/vwsoft-vwantileechs-intro.html

9hills

2012-01-02 01:14:12 +08:00

@moplay 如上所述，看IIS日志，在IIS设置里面封IP。具体的Google好了，IIS还是比较容易设置的。。。都是图形化界面

各种语言都有应用环境，如果你们站是baidu，taobao一样的规模，用.net，当然会招BS（好吧，其实多数情况下是赞叹，竟然能把.net优化到这种程度，nb死了）

但是.NET在中小型站点和企业内部站点有着很多优势，而且开发确实非常快速

moplay

2012-01-02 01:26:16 +08:00

@9hills 谢谢回复，封ip的操作应该会，就是监测不知道如何操作。

@kojp @for4 我想去看日志会得到一些有用的信息。多谢提醒。

@hq5261984 相关我去请教google吧，多谢了。

vibbow

2012-01-02 03:06:27 +08:00

@moplay http://technet.microsoft.com/en-us/sysinternals/bb897437
被采集的时候看看有哪个IP在大量链接吧。

glume

2012-01-02 07:40:47 +08:00

被采集其实利大于弊。我觉得内容做成静态的页面缓存更好些。

moplay

2012-01-06 22:09:09 +08:00

@vibbow 谢谢，这个软件不错，可惜只是即时查看，要是能做些统计就好了

@glume 为什么说“利大于弊”

vibbow

2012-01-06 23:30:28 +08:00

@moplay 看IIS访问记录吧，有工具可以分析的，Google一下吧。