V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 2062 days ago, the information mentioned may be changed or developed.
上亿的数据，两周更新一轮，每天还有几万条新数据入库，这种数据用啥库比较好维护啊
还需要全文搜索😢
还需要全文搜索😢
 |
1
TimePPT PRO Hadoop
|
 |
2
misaka19000 Sep 8, 2020
Elasticsearch
|
 |
3
baiduyixia Sep 8, 2020 via iPhone
mysql
|
 |
4
zzl22100048 OP  1
@baiduyixia mysql 这么大量真能行么
|
|
5
zzl22100048 OP @misaka19000 目前是 hbase+es 二级索引，维护起来太累了
|
|
6
zzl22100048 OP @misaka19000 @TimePPT 目前是 hbase+es 二级索引，维护起来太累了
|
 |
7
dethan Sep 9, 2020 via Android
ads
|
 |
8
xupefei Sep 9, 2020 via iPhone
pgsql
|
 |
9
wellsc Sep 9, 2020 via iPhone
时序数据库
|
 |
10
127000 Sep 9, 2020
楼主不妨参考下之前的帖子:)
sov2ex.com/?q=亿级数据 |
 |
11
594duck Sep 9, 2020 via iPhone 1
8 万一台的 dell R740 双 E5，512G 内存，ssd 和万转 sas，加上 Microsoft sqlserver 5 台做 cluster 。授权费一台加 Windows 也就 5 万。
再上去就是 oracle 的 别看千多，阿里的 DRDS 比这还贵 |
|
12
594duck Sep 9, 2020 via iPhone
如果要用云。就是 zaure，或者直接开 oracle cloud
|
 |
13
des Sep 9, 2020
问一下你们这是啥需求
同时需要这么多条件的：量大、更新频繁、字段变动频繁、全文搜索 |
|
14
zzl22100048 OP @127000 有点不一样，我们有对老数据更新的需求，
|
 |
15
wwwwzf Sep 9, 2020 1
sqlserver 能用好就很不错了。
SQLServer2005： Database size 1,048,516 TB Databases per instance of SQL Server 32,767 Filegroups per database 32,767 （ SQL2000 是 256 ） Files per database 32,767 File size (data) 16 TB （ SQL2000 是 32TB ） File size (log) 2 TB （ SQL2000 是 4TB ） SQL2012 设计极限： 524 PB(536,576TB/549,453,824G) |
|
16
zzl22100048 OP @des 类似企查查
|
 |
17
newghost Sep 9, 2020
|
 |
18
est Sep 9, 2020 via Android
这点数据 mysql 毫无压力啊。没秒万行也能试试
|
 |
19
Kaiux Sep 9, 2020
|
 |
20
kerro1990 Sep 9, 2020
sqlserver 最适合，性价比最好
|
 |
21
opengps Sep 9, 2020
规划合理，硬盘跟得上，，目测各种库都能抗住这个规模
|
|
22
zzl22100048 OP @est 真的吗,一天做一千万的更新写入真的可以吗
|
|
23
594duck Sep 9, 2020
|
|
24
zzl22100048 OP |
|
25
est Sep 9, 2020
|
|
26
594duck Sep 9, 2020
@zzl22100048 有什么问题，没什么问题，无非磁盘寿命用的快点，SSD 只做 CACHE 让 SAS 硬盘做数据写入，Microsoft sql server 水平扩展非常方便。
|
 |
27
luvsic Sep 9, 2020
mongodb?
|
 |
28
teddy2725 Sep 9, 2020
try clickhouse
|
 |
29
black11black Sep 9, 2020
上亿：几乎所有数据库都没问题。
每天几万条入库：几乎所有数据库都没问题。 全文搜索：似乎 nosql 不行。 字段频繁更新：似乎 mysql 不行。 所以。。oracle 硬钢？ |
|
30
zzl22100048 OP @black11black 还有每天千万的 update
|
|
31
kerro1990 Sep 9, 2020
@zzl22100048 sqlserver 你查下就知道了，毫无压力，每秒几万个事物都没啥压力
|
|
32
black11black Sep 9, 2020
@zzl22100048 update 和 insert 应该都算在入库里，你这个不该算每天几万条新数据，应该说每天几千万新数据。。当然这个压力 oracle 肯定也是没问题的，一千 qps 在 oracle 设计范围内，很轻松可以搞定，相当于每小时 360 万呗。当然我也很好奇频繁改字段该用什么数据库，我想象不到什么业务需要频繁修改字段的，没做过
|
|
33
zzl22100048 OP @black11black 数据更新附带了实时计算，计算的结果随需求一直在加
|
 |
34
goodboy95 Sep 10, 2020
@black11black 话说为啥全文搜索 nosql 不行，这里我不太明白。我自己感觉全文搜索用的是全文索引，应该跟是不是 sql 关系不大吧。
|
|
35
black11black Sep 10, 2020
@goodboy95 我就是笼统地一说，mongodb2.4 以前没有全文检索，redis 也没有，所以就当 nosql 没有了，要做当然能做
|
 |
36
nbstoner Sep 11, 2020
adb
|
Select Language