V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  monsterx2a  ›  全部回复第 4 页 / 共 4 页
回复总数  67
1  2  3  4  
为什么这么多帖子都在讨论 8G 问题,是因为没提供大内存吗?(手动狗头)
Linux 问题要看日志,除非特别通用的问题。你这个看下日志,说不定已经指出问题了。

得不到的是红玫瑰,得到的是蚊子血。哼,男人
并且上面提到爬虫重点是策略, 可是 scrapy 都具有的, 可以通过 headless 来控制, 甚至输入验证码等
1. 太重了, 杀鸡用不了牛刀
2. 对初学者不友好, 其实跟着文档,开箱即用了
3. 太快了,scrapy 不是可以通过配置来改变规则的吗?
4. 封装过度,细节不易控制。scrapy 里面的日志很详细的, 并且 python 里面是动态类型,增加猴子补丁的方法很方便。


这是我对你这个问题的几个疑问。 不知道是不是我没有理解里面的意思。

我一直都用 scrapy 来做爬虫的
@centralpark 简单看了下里面内容, 不推荐的原因有:
1  2  3  4  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4945 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 08:18 · PVG 16:18 · LAX 01:18 · JFK 04:18
Developed with CodeLauncher
♥ Do have faith in what you're doing.