V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NeezerGu
V2EX  ›  Big Data

100G 左右数据, mysql 理论上可能会比大数据引擎快吗?

  •  
  •   NeezerGu · 50 天前 · 992 次点击
    这是一个创建于 50 天前的主题,其中的信息可能已经有所发展或是发生改变。

    跟朋友闲聊突然想到,因为是做数据分析的,对底层引擎就不太懂啦。

    比如,980pro 4 条组 raid 0 ( YouTube 上有视频,https://www.youtube.com/watch?v=OCGguruZyrw&t=413s 甚至直接 256G 内存,拿 120G 内存当硬盘(一时之间忘了这个名词)

    用 mysql 或者 clickhouse,对比 spark 、presto 等,会存在前者更快的可能吗?

    13 条回复    2021-10-14 10:53:54 +08:00
    paopjian
        1
    paopjian  
       50 天前
    这要干的活都不是一个事吧
    NeezerGu
        2
    NeezerGu  
    OP
       50 天前
    @paopjian 的确不是一个。
    正常来讲大厂也不可能用关系型数据库来做数分。
    只是好奇如果是小厂,数据量不大的情况下,如果有人维护,mysql 等是否可能战胜大数据引擎
    clf
        3
    clf  
       50 天前
    mysql 是关系数据存储。

    clickhouse 是数据列存储,以列做统计分析。

    spark 是计算引擎(分析工具),数据存储是 HDFS ( Hadoop 模块)。
    misaka19000
        4
    misaka19000  
       50 天前
    快,指的是查询快,还是写入快,还是分析快,还是计算快
    NeezerGu
        5
    NeezerGu  
    OP
       50 天前
    @misaka19000 查询快,
    粗暴点假定不需要 join,100G 表进行 group by 的 sum 、avg 运算
    leonme
        6
    leonme  
       50 天前 via iPhone
    @NeezerGu 100g 对应多少行数据呢?
    NeezerGu
        7
    NeezerGu  
    OP
       50 天前
    @leonme 对这方面确实不够敏感 doge,我看了下一个现成的表,9 个字段(没有很长的文本字段),一天大概 300w 行,200M,要不就以这个为例?
    那大概就是 150000W 行
    billlee
        8
    billlee  
       50 天前
    clickhouse 和 mysql 不是一个类型的啊,clickhouse 针对查询建表,比 spark 快是没问题的吧?
    Jooooooooo
        9
    Jooooooooo  
       50 天前
    做什么事快?
    noqwerty
        10
    noqwerty  
       50 天前
    ClickHouse 和 Spark 还能勉强比一下,MySQL 跟这两个真不是干一个活的: https://h2oai.github.io/db-benchmark/
    noqwerty
        11
    noqwerty  
       50 天前
    这里有些 benchmark 的文章可以参考一下: https://github.com/ClickHouse/ClickHouse/issues/22398
    NeezerGu
        12
    NeezerGu  
    OP
       49 天前
    @noqwerty 感谢
    NeezerGu
        13
    NeezerGu  
    OP
       49 天前
    @Jooooooooo 就像上面说的。
    查询快,
    粗暴点假定不需要 join,100G 表进行 group by 的 sum 、avg 运算
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1109 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 21:18 · PVG 05:18 · LAX 13:18 · JFK 16:18
    ♥ Do have faith in what you're doing.