目标网站完全没有反爬机制，是否有必要设置 DOWNLOAD_DELAY？

[frank065]

用 Scrapy 爬取一个理财网站，基本上每天都要爬两次来更新数据。
网站完全没有反爬虫机制，测试的时候，不换 user agent，不设置 DOWNLOAD_DELAY，不需要代理 IP，爬了好几次都没有被封。总共 2000 条左右的数据，基本 1 分钟就爬完了。
这种情况下是否有必要设置 DOWNLOAD_DELAY ？会不会给网站带来压力？如果需要，大家一般设置多少？
另外大家反爬虫一般都设置什么？萌新求老人带。

[bazingaterry]

现在没有反爬不代表将来没有，隐藏好自己也很重要。

如果对抓取速度没要求肯定是设置一下 download delay 或者限制一下并发，别把网站抓跨了得不偿失。

[crab]

除非你只爬完这次，不然日后还要继续爬，尽可能伪装成正常访客啊。
黑客入侵完都要帮忙做安全打补丁呢

[frank065]

@bazingaterry @crab DOWNLOAD_DELAY 一般设置多少合适咧？除了常见的 1.设置 DOWNLOAD_DELAY 2.禁止 cookies 3.更换 user agent 4.代理 IP，请问还有其他常见的伪装技巧吗？

[yanzixuan]

适度吧。不要把人家玩坏了。逼别人上变态反爬。

[Applenice]

你就是装，也要装成 N 个人访问啊，人家哪天看到你天天爬数据，上了反爬，你还得改代码

[HarveyDent]

要，说不定数据一多，你的爬虫把他们网站拖垮了呢

[voidtools]

@crab 打补丁。建立共生关系 搞一家人吗哈哈

[leavic]

只要一次爬完爬不挂，就算了吧。

[Gimini]

不反爬哪天发现了给你丢脏数据...

[ilovebaicai]

数据量不多，DOWNLOAD_DELAY 设置久一点，加一个 user-agent。 如果有条件放几个代理 ip。说不好那天就把你 ip 封了。

[Len1133]

加上吧，别把人家搞的不舒服

[beforeuwait]

对啊，人家没有反爬，处于道义，不要影响别的用户正常访问，还是需要设置 delay 的

[julyclyde]

楼上说的对