moplay
V2EX  ›  问与答

网站一直被人抓取采集,有什么好的解决方案吗

  •  
  •   moplay · Jan 2, 2012 · 3185 views
    This topic created in 5275 days ago, the information mentioned may be changed or developed.
    有几个家伙不断的采集我们的网站,内容采集去我真的不是那么生气,就是他们经常开多线程,跑的我的小网站数据库慢的跟蜗牛一样。

    没被采集的时候我们网站哗哗的,速度很好的,可是一有采集,那体验相当糟糕。

    我怕我们会被这些家伙害死。

    有什么好办法能制止吗?
    16 replies    1970-01-01 08:00:00 +08:00
    9hills
        1
    9hills  
       Jan 2, 2012
    封IP
    peterlu
        2
    peterlu  
       Jan 2, 2012
    禁止ip。
    moplay
        3
    moplay  
    OP
       Jan 2, 2012
    @9hills windows有什么工具可以查到这些ip吗?说实在,我服务器知识非常缺乏。
    moplay
        4
    moplay  
    OP
       Jan 2, 2012
    请不要鄙视我们使用windows服务器,因为这是个.net的网站。
    Julyyq
        5
    Julyyq  
       Jan 2, 2012
    直接在IIS设置里面就可以封IP的。
    for4
        6
    for4  
       Jan 2, 2012
    看访问日志~
    evlos
        7
    evlos  
       Jan 2, 2012
    @moplay 那可不可以鄙视你们使用.net? (开玩笑的嘿嘿 ~ o(* ̄▽ ̄*)
    hq5261984
        8
    hq5261984  
       Jan 2, 2012
    设置访问策略.WINDOWS在访问策略上其实够强大,只要你对域控制了解的够深,配合ISA完全够用就是服务器资源要大些.
    kojp
        9
    kojp  
       Jan 2, 2012
    日志里面会有的。。
    ihacku
        10
    ihacku  
       Jan 2, 2012
    9hills
        11
    9hills  
       Jan 2, 2012
    @moplay 如上所述,看IIS日志,在IIS设置里面封IP。具体的Google好了,IIS还是比较容易设置的。。。都是图形化界面

    各种语言都有应用环境,如果你们站是baidu,taobao一样的规模,用.net,当然会招BS(好吧,其实多数情况下是赞叹,竟然能把.net优化到这种程度,nb死了)

    但是.NET在中小型站点和企业内部站点有着很多优势,而且开发确实非常快速
    moplay
        12
    moplay  
    OP
       Jan 2, 2012
    @9hills 谢谢回复,封ip的操作应该会,就是监测不知道如何操作。

    @kojp @for4 我想去看日志会得到一些有用的信息。多谢提醒。

    @hq5261984 相关我去请教google吧,多谢了。
    vibbow
        13
    vibbow  
       Jan 2, 2012
    @moplay http://technet.microsoft.com/en-us/sysinternals/bb897437
    被采集的时候看看有哪个IP在大量链接吧。
    glume
        14
    glume  
       Jan 2, 2012
    被采集其实利大于弊。我觉得内容做成静态的页面缓存更好些。
    moplay
        15
    moplay  
    OP
       Jan 6, 2012
    @vibbow 谢谢,这个软件不错,可惜只是即时查看,要是能做些统计就好了

    @glume 为什么说“利大于弊”
    vibbow
        16
    vibbow  
       Jan 6, 2012
    @moplay 看IIS访问记录吧,有工具可以分析的,Google一下吧。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   981 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 19:22 · PVG 03:22 · LAX 12:22 · JFK 15:22
    ♥ Do have faith in what you're doing.