V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  xjay  ›  全部回复第 7 页 / 共 7 页
回复总数  135
1  2  3  4  5  6  7  
2012-12-17 14:17:29 +08:00
回复了 Rabbit52 创建的主题 Python Scrapy的资源貌似很少呀~谁有代码借我读读嘛
看scrapy文档
2012-12-16 14:11:25 +08:00
回复了 kenneth 创建的主题 Python 想爬取hao123上的所有网站,有没有好的方法?
scrapy 你值得拥有,呵呵。
用CrawlSpider,写好rules规则,然后在parse_item里面就可以处理你要的数据了,再实现一个pipeline数据管道,把你要的数据保存起来,就ok了。
2012-12-15 02:21:33 +08:00
回复了 talentsnail 创建的主题 MySQL tags的数据库设计问题
@gfreezy 流量高对系统架构要求更高,什么缓存,什么cdn,都不可信,一旦缓存命中不到,或者cdn抽风,你的系统是不是随时准备挂掉了?表结构清晰是好,但是如果数据量过大,单表查询问题不大,链表的话,很耗时的。如果topic的tag量不大可以直接保存到topic表,那就是相当于数据库端的缓存,一旦你前端缓存命中不到的时候,后端缓存还可以用的上。而many2many的结构也需要,主要是用来做备份,一旦tag缓存字段出问题了,那么这个many2many还可以用得上,可以用来恢复数据等。
2012-12-12 14:52:05 +08:00
回复了 talentsnail 创建的主题 MySQL tags的数据库设计问题
1.尽量避免join
2.可以把tagids以及tagnames一起存放进topic表内
3.你的设计表结构还是可以不变
2012-12-11 11:51:19 +08:00
回复了 underone 创建的主题 酷工作 求兼职Python 程序一枚,我可没说什么改变世界的事儿啊...
逛了一下ermiao.com,发觉都是一张萌猫图,然后下面好多猫头像回复好萌好有爱好好玩。
2012-12-11 10:55:32 +08:00
回复了 tioover 创建的主题 设计 你确定要取消吗 确定/取消
你他妈的确定要取消吗? 他妈的确定/取消他妈的
2012-12-06 09:32:20 +08:00
回复了 gracechen 创建的主题 分享创造 我们团队的创业产品#声声#正式上线App Store,求改进意见
跟我们在做的一个产品类似了。汗。
1  2  3  4  5  6  7  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2748 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms · UTC 11:43 · PVG 19:43 · LAX 03:43 · JFK 06:43
Developed with CodeLauncher
♥ Do have faith in what you're doing.