102
yangyaofei 2018-12-03 18:45:33 +08:00 via Android
scrapy 用 scrapy-redis 做多进程,可以跑满 cpu,把数据库跑成瓶颈
|
103
mingyun 2018-12-03 22:15:54 +08:00
来晚了 都 404 了
|
104
largecat 2018-12-03 22:36:38 +08:00 via Android
404 看不到了,
不过看楼上很多人评论,spider 里采集数据同时入库, 我猜这个人肯定不会 scrapy 框架。瞎 jb 写的。 scrapy 用 spider 爬取, 数据处理在 pipeline 里, 全部一溜的 IO 异步, 怎么可能等入库好了再采下一个,, |
105
zkeeper 2018-12-04 02:59:25 +08:00
@congeec 同意你说的, Python 社区好像整体不怎么在意性能, 所有与之相关的改进优先级都放到很低. 一个 GIL 都多少年了, 我看都成了面试必问问题了, 这有多尴尬.
|
106
hasbug 2018-12-04 09:25:51 +08:00
我想学 go 有人说没啥用,看本地就业情况,一搜没有,想转 python,自己折腾点东西,有人说就是一自行车,项目要想维护下去 最好不要选···
我还能学什么? |