V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zzl22100048
V2EX  ›  数据库

有没有什么数据库适合量大、更新频繁、字段变动频繁的数据?

  •  
  •   zzl22100048 · 2020-09-08 23:24:23 +08:00 · 4373 次点击
    这是一个创建于 1526 天前的主题,其中的信息可能已经有所发展或是发生改变。
    上亿的数据,两周更新一轮,每天还有几万条新数据入库,这种数据用啥库比较好维护啊
    还需要全文搜索😢
    36 条回复    2020-09-11 16:31:48 +08:00
    TimePPT
        1
    TimePPT  
       2020-09-08 23:30:03 +08:00 via Android
    Hadoop
    misaka19000
        2
    misaka19000  
       2020-09-08 23:33:17 +08:00
    Elasticsearch
    baiduyixia
        3
    baiduyixia  
       2020-09-08 23:36:33 +08:00 via iPhone
    mysql
    zzl22100048
        4
    zzl22100048  
    OP
       2020-09-08 23:46:24 +08:00   ❤️ 1
    @baiduyixia mysql 这么大量真能行么
    zzl22100048
        5
    zzl22100048  
    OP
       2020-09-08 23:48:45 +08:00
    @misaka19000 目前是 hbase+es 二级索引,维护起来太累了
    zzl22100048
        6
    zzl22100048  
    OP
       2020-09-08 23:49:27 +08:00
    @misaka19000 @TimePPT 目前是 hbase+es 二级索引,维护起来太累了
    dethan
        7
    dethan  
       2020-09-09 00:24:45 +08:00 via Android
    ads
    xupefei
        8
    xupefei  
       2020-09-09 00:35:52 +08:00 via iPhone
    pgsql
    wellsc
        9
    wellsc  
       2020-09-09 01:47:16 +08:00 via iPhone
    时序数据库
    127000
        10
    127000  
       2020-09-09 02:12:02 +08:00
    楼主不妨参考下之前的帖子:)
    sov2ex.com/?q=亿级数据
    594duck
        11
    594duck  
       2020-09-09 04:22:00 +08:00 via iPhone   ❤️ 1
    8 万一台的 dell R740 双 E5,512G 内存,ssd 和万转 sas,加上 Microsoft sqlserver 5 台做 cluster 。授权费一台加 Windows 也就 5 万。

    再上去就是 oracle 的

    别看千多,阿里的 DRDS 比这还贵
    594duck
        12
    594duck  
       2020-09-09 04:24:45 +08:00 via iPhone
    如果要用云。就是 zaure,或者直接开 oracle cloud
    des
        13
    des  
       2020-09-09 07:25:03 +08:00
    问一下你们这是啥需求
    同时需要这么多条件的:量大、更新频繁、字段变动频繁、全文搜索
    zzl22100048
        14
    zzl22100048  
    OP
       2020-09-09 07:35:38 +08:00 via iPhone
    @127000 有点不一样,我们有对老数据更新的需求,
    wwwwzf
        15
    wwwwzf  
       2020-09-09 07:43:42 +08:00   ❤️ 1
    sqlserver 能用好就很不错了。

    SQLServer2005:
    Database size 1,048,516 TB
    Databases per instance of SQL Server 32,767
    Filegroups per database 32,767 ( SQL2000 是 256 )
    Files per database 32,767
    File size (data) 16 TB ( SQL2000 是 32TB )
    File size (log) 2 TB ( SQL2000 是 4TB )

    SQL2012 设计极限:
    524 PB(536,576TB/549,453,824G)
    zzl22100048
        16
    zzl22100048  
    OP
       2020-09-09 07:59:43 +08:00 via iPhone
    @des 类似企查查
    newghost
        17
    newghost  
       2020-09-09 08:50:54 +08:00
    http://oncedb.com

    基于 redis 二次开发的的全文搜索数据库
    est
        18
    est  
       2020-09-09 08:54:07 +08:00 via Android
    这点数据 mysql 毫无压力啊。没秒万行也能试试
    Kaiux
        19
    Kaiux  
       2020-09-09 08:55:11 +08:00
    kerro1990
        20
    kerro1990  
       2020-09-09 08:57:05 +08:00
    sqlserver 最适合,性价比最好
    opengps
        21
    opengps  
       2020-09-09 09:12:18 +08:00
    规划合理,硬盘跟得上,,目测各种库都能抗住这个规模
    zzl22100048
        22
    zzl22100048  
    OP
       2020-09-09 09:47:19 +08:00
    @est 真的吗,一天做一千万的更新写入真的可以吗
    594duck
        23
    594duck  
       2020-09-09 09:52:39 +08:00
    @zzl22100048 V2 里那种张口就来的人特别多,什么 512M 内存跑十几个服务的 Docker 吹,千万级宽表 mysql ms 级查询的

    要真信了这些人的话,早完球了。

    带任务来的。
    zzl22100048
        24
    zzl22100048  
    OP
       2020-09-09 09:57:23 +08:00
    @594duck
    @kerro1990
    大量的 update 会不会出现什么问题
    est
        25
    est  
       2020-09-09 10:47:40 +08:00
    @594duck
    @zzl22100048

    比较老的一个 tokudb 试试。2 周更新一次还行。如果 2 秒更新一次就算了。
    594duck
        26
    594duck  
       2020-09-09 11:03:21 +08:00
    @zzl22100048 有什么问题,没什么问题,无非磁盘寿命用的快点,SSD 只做 CACHE 让 SAS 硬盘做数据写入,Microsoft sql server 水平扩展非常方便。
    luvsic
        27
    luvsic  
       2020-09-09 11:26:37 +08:00
    mongodb?
    teddy2725
        28
    teddy2725  
       2020-09-09 11:37:13 +08:00
    try clickhouse
    black11black
        29
    black11black  
       2020-09-09 19:11:49 +08:00
    上亿:几乎所有数据库都没问题。

    每天几万条入库:几乎所有数据库都没问题。

    全文搜索:似乎 nosql 不行。

    字段频繁更新:似乎 mysql 不行。

    所以。。oracle 硬钢?
    zzl22100048
        30
    zzl22100048  
    OP
       2020-09-09 19:32:36 +08:00 via iPhone
    @black11black 还有每天千万的 update
    kerro1990
        31
    kerro1990  
       2020-09-09 21:06:57 +08:00
    @zzl22100048 sqlserver 你查下就知道了,毫无压力,每秒几万个事物都没啥压力
    black11black
        32
    black11black  
       2020-09-09 21:48:51 +08:00
    @zzl22100048 update 和 insert 应该都算在入库里,你这个不该算每天几万条新数据,应该说每天几千万新数据。。当然这个压力 oracle 肯定也是没问题的,一千 qps 在 oracle 设计范围内,很轻松可以搞定,相当于每小时 360 万呗。当然我也很好奇频繁改字段该用什么数据库,我想象不到什么业务需要频繁修改字段的,没做过
    zzl22100048
        33
    zzl22100048  
    OP
       2020-09-09 22:59:31 +08:00 via iPhone
    @black11black 数据更新附带了实时计算,计算的结果随需求一直在加
    goodboy95
        34
    goodboy95  
       2020-09-10 09:31:30 +08:00
    @black11black 话说为啥全文搜索 nosql 不行,这里我不太明白。我自己感觉全文搜索用的是全文索引,应该跟是不是 sql 关系不大吧。
    black11black
        35
    black11black  
       2020-09-10 15:01:58 +08:00
    @goodboy95 我就是笼统地一说,mongodb2.4 以前没有全文检索,redis 也没有,所以就当 nosql 没有了,要做当然能做
    nbstoner
        36
    nbstoner  
       2020-09-11 16:31:48 +08:00
    adb
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5783 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 06:27 · PVG 14:27 · LAX 22:27 · JFK 01:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.