推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3607 天前的主题，其中的信息可能已经有所发展或是发生改变。
例如一个爬虫，获取信息的平均速度是 4条/秒，信息存入数据库。我想问的是，这个数据库连接一直保持开着好，还是频繁开关好？
第 1 条附言 · 2015-02-15 22:12:20 +08:00
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: Resource temporarily unavailable
这是什么情况，VPS(do最低配) 上装了个 mongodb，跑个爬虫，less 一个 log 文件成这样了……
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: Resource temporarily unavailable
这是什么情况，VPS(do最低配) 上装了个 mongodb，跑个爬虫，less 一个 log 文件成这样了……
 |
1
SR1 2015-02-15 20:16:26 +08:00
其实，这种问题，写个脚本测一下就知道了。
|
 |
2
yangff 2015-02-15 20:17:03 +08:00
反正瓶颈是带宽..
|
 |
3
lujiajing1126 2015-02-15 21:01:38 +08:00
。。4条每秒。。没必要考虑这么多。。
|
 |
4
wanjun 2015-02-15 21:10:56 +08:00
当然大了，要不然就不会用连接池了
|
 |
5
omegaga 2015-02-15 21:18:54 +08:00 via Android
有一種東西叫連接池…
|
 |
6
dddd OP @lujiajing1126 没见过世面孩子伤不起……
|
 |
7
loading 2015-02-15 22:16:29 +08:00 via Android
优化 sql 语句和数据结构效果更显著些，这个问题请交给连接池，或用 sqlalchemy 等帮你搞定（能吗）
|
 |
8
9hills 2015-02-15 22:25:20 +08:00 via iPad
每秒4次基本感觉不到性能损失
|
 |
9
john737 2015-02-15 22:55:59 +08:00
内存不够了，估计最低配的用mongo有点吃力，或者爬虫还有优化的空间
|
 |
10
fising 2015-02-15 22:59:18 +08:00 via iPhone
保持连接和每次断开的差异非常大。楼主可以试试写1W纪录看看时间差
|
 |
11
clino 2015-02-15 23:56:40 +08:00 via Android
积累多一些然后用事务模式批量写入效率更高
|
 |
12
msg7086 2015-02-16 03:47:26 +08:00 via iPhone
我们论坛每秒100请求以上，每次都开新连接，压力不大。
|
 |
13
min 2015-02-16 09:43:09 +08:00 via iPhone
开销很大
但在你这个超低负载下感觉不到 |
 |
14
liuhaotian 2015-02-16 09:57:52 +08:00  3
呵呵哒。瓶颈是带宽。
|
 |
15
aru 2015-02-16 12:16:20 +08:00
512M 内存跑mongodb + 爬虫，必须萌萌哒
换个大内存vps 舒服很多 |
 |
16
tolerious 2015-03-02 10:00:51 +08:00 via iPhone
目测512M内存做爬虫吃不消，程序要吃一部分，数据库要吃一部分，爬数据量大了，512肯定挡不住的
|
Select Language