V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  cage111  ›  全部回复第 1 页 / 共 1 页
回复总数  19
全丢 es 感觉比较麻烦,sql 比较长涉及表比较多,还没试过
2021-02-05 14:23:07 +08:00
回复了 cage111 创建的主题 程序员 求助, mysql 中的照片如何提取
2021-02-05 14:09:01 +08:00
回复了 cage111 创建的主题 程序员 求助, mysql 中的照片如何提取
@wqhui 历史版本遗留的数据,没人知道怎么存的,想试着解析下
2021-02-05 14:08:10 +08:00
回复了 cage111 创建的主题 程序员 求助, mysql 中的照片如何提取
@wqhui 历史版本遗留的数据,没人怎么存的,想试着解析下
@anonyp 有查询条件也能做视图吗
@tanszhe 不加 where 内存不够用了,测试机器只配了 16g 内存,加了类似性别的字段过滤后用时 4s 。
结果如下
china> select name ,count(*) from person where category = 'XXX' group by name order by count(1) desc limit 0,10
[2021-01-25 15:34:03] 10 rows retrieved starting from 1 in 3 s 995 ms (execution: 3 s 973 ms, fetching: 22 ms)
@ppbaozi 姓名只是举例,怕暴露产品信息
@polymerdg 不是,可以把姓名理解成商品,随便举例的,类似给运营人员用的爆款商品分析
@tanszhe
CREATE TABLE china.base_person_info
(
`id` String,
`birthday` Nullable(String),
`location` Nullable(String),
`name` Nullable(String),
`type` Nullable(String),
`category` Nullable(String),
)
ENGINE = MergeTree
ORDER BY id
SETTINGS index_granularity = 8192

查询语句
select name,count(*) from group by name limit 10,1
又加了点数据报错了...
Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.32 GiB (attempt to allocate chunk of 4718592 bytes), maximum: 9.31 GiB: While executing AggregatingTransform (version 20.5.2.7 (official build))
@EthanDon clickhouse 试了 1 亿时间 group 要 5,6 秒了
@iceecream 刚搜了下,es 的 group by 在多 shard 下好像是不精确的
@xiaoyang7545 可以
@mapoor 还得分页
补充下硬件和需求:
可以给两台 128G 内存,1TSSD 服务器
需求类似这种,
1.查找 20-30 岁使用人数最多的十个姓名
2.查找南方地区和北方地区使用人数最多的十个姓名
3.查找不同性别使用人数最多的十个姓名
还用很多类似条件随意检索
分母
2020-10-13 18:21:59 +08:00
回复了 Rezark 创建的主题 推广 我也来送苹果了!
分母
2020-10-13 18:21:38 +08:00
回复了 Yunsheng 创建的主题 推广 接乡党的棒,我也来送猕猴桃🥝啦!
分子
2020-09-29 11:51:16 +08:00
回复了 PlanZ 创建的主题 推广 中秋佳节,送六盒好吃的港版月饼!
分子
分母
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1250 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 40ms · UTC 20:05 · PVG 04:05 · LAX 12:05 · JFK 15:05
Developed with CodeLauncher
♥ Do have faith in what you're doing.