V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  xiaoming1992  ›  全部回复第 29 页 / 共 30 页
回复总数  582
1 ... 21  22  23  24  25  26  27  28  29  30  
2019-08-25 23:52:18 +08:00
回复了 xiaoming1992 创建的主题 Python 爬虫的法律风险有多大?
@mumbler 这样的合同能有法律效益吗?
2019-07-27 17:39:50 +08:00
回复了 xiaoming1992 创建的主题 问与答 复杂且层级较深的 json 数据用 mongodb 存储合适吗?
算了,我还是这几天搞一下实践一下吧,反正是本地自己用,只要查询没到分钟级就可以用。
本来就是啊,所以说尽可能大啊,比方说一百万,不够就设个三十亿(我怎么会说是我忘了 while true 呢)。

另外,爬虫肯定要不定期更新的啊,因为人家也会更新反爬规则啊。
2019-07-27 13:48:10 +08:00
回复了 xiaoming1992 创建的主题 问与答 复杂且层级较深的 json 数据用 mongodb 存储合适吗?
@gustav 那如果我需要根据一个层级比较深的值来对整个数据库进行排序,mongo 岂不是要读取整个数据库?
请问假设要对`100 个` `(经过压缩后)100k`的 json 文件进行排序,能否在 1min 这个量级的时间内搞定?
设置一个尽可能大的值,循环过程中进行判断,没爬到希望的内容就跳出循环并通知你,你再人肉看看后面还有没有,再进行下一步操作?
2019-07-27 13:31:17 +08:00
回复了 xiaoming1992 创建的主题 问与答 复杂且层级较深的 json 数据用 mongodb 存储合适吗?
整个 json 对象用于生成一个比较复杂的页面,所以配置项比较丰富。
2019-07-27 13:30:05 +08:00
回复了 xiaoming1992 创建的主题 问与答 复杂且层级较深的 json 数据用 mongodb 存储合适吗?
@loading 说实话,这个东西只是我目前整个计划中很小(重不重要另说)的一个环节,还有很多繁杂的东西需要处理
```
树结构一般用 parentID 和 ID 拼起来吧。
```
请问复杂度怎么样?说实话,不太敢随便发散找最优解决方案了,就想赶紧搞个最简单的能用的方案赶紧搞出来。
2019-07-27 13:26:33 +08:00
回复了 xiaoming1992 创建的主题 问与答 复杂且层级较深的 json 数据用 mongodb 存储合适吗?
@Macolor21 连 mongodb 都是没用过现学现卖的,听人说 mongo 适合储存这种键值对数据,就想知道直接当成 json 对象存进去,会不会对性能造成很大影响,毕竟是在本地自己用,查个层级较深的东西 1s 左右能出结果就行了。
2019-07-27 13:21:37 +08:00
回复了 xiaoming1992 创建的主题 问与答 复杂且层级较深的 json 数据用 mongodb 存储合适吗?
@DovaKeen json 数据是我设计的,一方面,需要配置的项目比较多,业务还存在变动的可能,因此需要一定的自由;另一方面,为了进行数据类型限定,减少人工操作(复制粘贴)出错的可能性,又需要对数据进行限制;再说能力有限,所以 json 设计肯定有不合理的地方,只能说,于我、于我的业务来说,算是当前时间的最优解了吧。
2019-07-27 13:12:57 +08:00
回复了 xiaoming1992 创建的主题 问与答 复杂且层级较深的 json 数据用 mongodb 存储合适吗?
@Macolor21 我个搞前端的,说实话,这些东西都不太擅长,目前业务是由我生成 json 配置文件,可是我认为 json 配置文件需要自己一个一个去复制粘贴的修改,很烦,就想搞个可视化界面操作,把这些 json 文件转移到一个本地数据库,加个前端页面,可视化修改本地数据库,需要用的时候再由修改后的数据库来生成目标 json 文件。
2019-07-27 13:08:37 +08:00
回复了 xiaoming1992 创建的主题 问与答 复杂且层级较深的 json 数据用 mongodb 存储合适吗?
@taotaodaddy 只是打个比方,A8 我都没见过。。。
2019-07-23 00:18:22 +08:00
回复了 6260628 创建的主题 程序员 你们的 github 现在有没有出问题?
看了一下,1k star 以上的仓库基本没事,小一点的很多都挂了,自己的 push 不上去,好难受。
2019-05-03 09:25:37 +08:00
回复了 xiaoming1992 创建的主题 前端开发 CleanWebpackPlugin 按文件夹保留
艹,转个身自己想出来了
```
cleanOnceBeforeBuildPatterns: ["index.html", "**/index*.js", "**/index*.css"],
```
浪费了我几万 V 币
2019-03-07 19:51:04 +08:00
回复了 xiaoming1992 创建的主题 服务器 频繁修改的静态文件如何较好地部署到服务器上?
@pelloz 貌似是一个好办法,试试👍
2019-03-07 19:42:56 +08:00
回复了 xiaoming1992 创建的主题 深圳 深圳 7 号线附近租房,哪个小区便宜些?
朋友推荐,在珠光西区这边住下来了,1800,还扛得住,房子也还算可以(除了是 6 楼楼梯房...)
2019-03-07 19:40:56 +08:00
回复了 xiaoming1992 创建的主题 服务器 频繁修改的静态文件如何较好地部署到服务器上?
而且,有修改的文件需要更新缓存,没有修改的文件不需要更新,如果手动修改 url 的话也是个麻烦事,可能错漏。
2019-03-07 19:39:05 +08:00
回复了 xiaoming1992 创建的主题 服务器 频繁修改的静态文件如何较好地部署到服务器上?
@izoabr 今天刚测试的,在 QQ 上,就算更新了版本号,QQ 依然不会更新缓存,微信上没测试。
2019-03-07 19:38:31 +08:00
回复了 xiaoming1992 创建的主题 服务器 频繁修改的静态文件如何较好地部署到服务器上?
@akira 今天刚测试的,在 QQ 上,就算更新了版本号,QQ 依然不会更新缓存,微信上没测试。
2019-03-07 19:37:04 +08:00
回复了 xiaoming1992 创建的主题 服务器 频繁修改的静态文件如何较好地部署到服务器上?
@creamiced 感谢回复,但是毕竟是前端页面,不可能不缓存的啊。主要是客户经常修改,我上传上去后,客户经常反馈手机上看着没反应(需要更新缓存),但流量消耗较大,稳定阶段不应该频繁更新缓存,这样就矛盾了。还有,不清楚问题复杂度怎么样,所以不方便请后端配合。
2019-03-01 16:40:21 +08:00
回复了 xiaoming1992 创建的主题 深圳 深圳 7 号线附近租房,哪个小区便宜些?
楼主就在珠光地铁站附近上班,但是上租房网站上一查,都是三室四室的,单间、一室的看不见。。。
1 ... 21  22  23  24  25  26  27  28  29  30  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2909 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 23ms · UTC 07:33 · PVG 15:33 · LAX 00:33 · JFK 03:33
Developed with CodeLauncher
♥ Do have faith in what you're doing.