V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  jakeyfly  ›  全部回复第 11 页 / 共 15 页
回复总数  295
1 ... 3  4  5  6  7  8  9  10  11  12 ... 15  
@qiayue 因为要有几千个,那就变成要先爬这个页面,正则把这一段搞下来。再清洗,或者用 JS 包跑一下把值取出来,会多好多访问,难度 会加大好大,对稳定的爬取难度变高了
@geelaw 怎么关掉啊 chrome 没试过
2018-02-28 11:54:43 +08:00
回复了 hippoboy 创建的主题 Python 请问使用 scrapy 的优势是什么?直接用 requests 不是很简单?
@gouchaoer 这才是真的会爬虫的
@carlclone 大佬你说的这是什么操作
有答案了,positions>x and postions<x
@lgh 也就是说 xpath 像 ORM 一样 只要给一个节点 就能跳 到任何有关联的节点是吧
还有,我 extract() 这个方法不管怎么用都 是说没这个属性。这是不是那个框架里的方法呀。我直接用 requests.get 到的不用 etree.HTML 也一样能用 xpath 是否 requests 内置 xpath
@SourceMan 大佬 明白了
@yangqi 插入的时候不写秒都是 00 是吧
2018-02-26 01:32:09 +08:00
回复了 jakeyfly 创建的主题 问与答 大佬们好,我又有了一个数据库的问题求解,是关于排名的
@c6h6benzene 因为名次这个数据要经常用到,如果要用的时候实时算,不太好吧。另:存起来的意思是这个赛季完了,就在数据库里 生个一个表存起来的意思?

其实 我纠结的地方是:我现 在的结构是一个所有球队的表,每条数据像你说的加个 LID 连接到联赛表。还有一个比赛场次表是接到球队表的,如果还要搞个排名表,那就是照球队表的形势再搞个结构差不多的表 加上一些积分胜场之类的字段。这个表是一年一张存,还是说加个年份 ID 也只存一张表?或者 我都想说是否把这类的东西存到 nosql 里去 因为偶尔也会要查询这个数据
2018-02-24 20:47:58 +08:00
回复了 jakeyfly 创建的主题 问与答 大佬们好,我又有了一个数据库的问题求解,是关于排名的
@loginv2 大佬 如果我以后加个联赛进来,是做两个表,还是在一个表里用某个字段区别?
2018-02-24 20:23:53 +08:00
回复了 jakeyfly 创建的主题 问与答 大佬们好,我又有了一个数据库的问题求解,是关于排名的
@loginv2 存这个表,只是有时候需要知道某个球队某一年的排名情况,还有那一年这球队进了几个球之类的
2018-02-24 20:21:37 +08:00
回复了 jakeyfly 创建的主题 问与答 大佬们好,我又有了一个数据库的问题求解,是关于排名的
@loginv2 我是纠结存那里,存数据库里不就是个表吗,还是说存 NOSQL 里
@symons 我只知道 别人搞过 比较详细的记录 一年就 200M 这样
是否 非一对多 一对一 只能是 多对多
@gstqc 大佬 这些数据其实就是一条数据里的一个字段啊,又不是实时记录,也没那 API。
@jakeyfly 扩展后 就是空字段啦 整个程序都要改
@gstqc 大佬 我是怕 以后扩展 增加额外数据字段 不好弄 不太懂 SQL 要如何扩展
@XiaolinLeo 大佬我举个例子 您看一下 那种数据库合适。。。。比如 比赛的输赢会关系到 排名表的变动 就是根据记录比赛自动维护联赛的排名名次。
1 ... 3  4  5  6  7  8  9  10  11  12 ... 15  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1058 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 22:29 · PVG 06:29 · LAX 15:29 · JFK 18:29
Developed with CodeLauncher
♥ Do have faith in what you're doing.