V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
JL1990
V2EX  ›  问与答

请教各位,这种海量数据的存储方案~

  •  
  •   JL1990 · 2018-12-14 23:23:10 +08:00 · 1849 次点击
    这是一个创建于 1930 天前的主题,其中的信息可能已经有所发展或是发生改变。

    每天 5~8 亿条同类型的数据,每条数据在 50+个字段(有部分没有,但是也填充成一样的字段了),求助各位 v 友,有没有什么好的数据库方案可以推荐?我好学习下

    14 条回复    2018-12-15 14:27:02 +08:00
    misaka19000
        1
    misaka19000  
       2018-12-14 23:34:39 +08:00
    nosql
    misaka19000
        2
    misaka19000  
       2018-12-14 23:36:20 +08:00
    可以用 ES
    hyperdak288
        3
    hyperdak288  
       2018-12-14 23:37:07 +08:00 via Android
    需求事务就 tidb
    不需求就 es
    还是看具体的也许类型
    dapang1221
        4
    dapang1221  
       2018-12-14 23:37:09 +08:00
    “每天 5~8 亿条同类型的数据,每条数据在 50+个字段”……你这是想把日志存起来……?检索日志试下 EFK 吧,冷数据进磁带机……
    JL1990
        5
    JL1990  
    OP
       2018-12-14 23:52:59 +08:00
    没有事务需求,可以说是日志呢,ES 性能怎么样?抱歉,没有用过相关的。我查了下,是属于开源搜索与分析的软件,但存储方案呢?选什么数据库比较好?做集群的话,得多少台机器起步呀~
    @hyperdak288
    @dapang1221
    jiang2018
        6
    jiang2018  
       2018-12-15 00:26:09 +08:00 via Android
    要做分析吗
    jiang2018
        7
    jiang2018  
       2018-12-15 00:26:25 +08:00 via Android
    加微信 1259131780
    jiang2018
        8
    jiang2018  
       2018-12-15 00:26:48 +08:00 via Android
    HANA 内存数据库了解下
    FullBridgeRect
        9
    FullBridgeRect  
       2018-12-15 00:27:29 +08:00 via Android
    @JL1990 es 貌似可以存东西的
    SsuchingYu
        10
    SsuchingYu  
       2018-12-15 00:31:46 +08:00 via Android
    @jiang2018 #8 我总觉得不开源不好。
    yanaraika
        11
    yanaraika  
       2018-12-15 01:58:53 +08:00 via Android
    如果里面有非结构化数据需要搜索 那就 es + mongodb,否则就 influxdb
    yidinghe
        12
    yidinghe  
       2018-12-15 10:02:45 +08:00 via Android
    日志存储对性能要求不高,对可扩展性要求高。用内存数据库不合适,看看 cassandra。
    byteli
        13
    byteli  
       2018-12-15 10:20:32 +08:00 via Android
    堵需求是怎么样的。如果读和后续分析不太复杂的话用 es 挺好,3 台 8 核 32g 是肯定够了的,甚至 16g 也能凑合,磁盘要大点,每天 8 亿不是很大其实
    JL1990
        14
    JL1990  
    OP
       2018-12-15 14:27:02 +08:00
    没有很复杂的后续分析,目前考虑就用 ES 了,后续再考虑 4#说的 EFK 方案吧,感谢各位
    @byteli
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3271 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 14:10 · PVG 22:10 · LAX 07:10 · JFK 10:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.