这是一个创建于 2104 天前的主题，其中的信息可能已经有所发展或是发生改变。
大佬们，请问目前有 1000 个硬件设备，总共每小时产生 100W 行历史数据到 web 服务器，应该如何保存？ 目前项目用的 redis 作为缓存和队列+mysql 数据库 后期主要用来作为历史记录查询，不会涉及修改、删除数据 大家有什么好的处理办法吗？ 本菜鸡拜谢- -
 |
1
liyer 2019-02-26 17:51:06 +08:00
elasticsearch
|
 |
2
jadec0der 2019-02-26 17:51:58 +08:00
关键词：Time series database
|
 |
3
996635 2019-02-26 17:52:00 +08:00
分表就完了 1 小时 一百万 没多少数据
|
 |
5
lastpass 2019-02-26 17:55:28 +08:00 via Android
上 elasticsearch，如果只是缓存上 kafka。
|
 |
6
maemual 2019-02-26 17:55:49 +08:00
一小时一百万，那么存储压力其实没有多大，怎么搞都可以。
问题在于你到底有什么样的查询需求，这个比较影响数据怎么存储组织。 |
 |
9
qq316107934 2019-02-26 18:00:23 +08:00
@youngce #8 hbase + hive + grafana，完美解决你的需求
|
 |
10
hilbertz 2019-02-26 18:01:24 +08:00
时序数据库就是帮你自动分表而已，再引入一套东西，没啥太大意义
|
 |
11
runningman 2019-02-26 20:12:44 +08:00
@qq316107934 我空了试试
|
 |
12
scalaer 2019-02-26 20:21:05 +08:00 via Android
kafka+druid
|
 |
13
cheava 2019-02-26 20:30:28 +08:00  1
“主要用来作为历史记录查询，不会涉及修改、删除数据 ” ，典型的时序数据
可以上时序数据库加可视化组件，例如 opentsdb+grafana 如果不搞集群，可以用 TICK 一件套(influxDB 单机开源)，省心省事。 6 楼说到点上了，感觉时序数据库对存储的优化还是很好的，查询需求比较影响用什么数据库 |
 |
14
mywaiting 2019-02-26 21:10:24 +08:00
这个时候为什么不上战斗民族出品的 ClickHouse，只要你带宽足够，机器足够，目测一分钟 100W 都没有问题
|
 |
15
leeyuzhe 2019-02-27 10:36:22 +08:00
influx db
|
 |
16
coloz 2019-02-27 11:36:41 +08:00
我也做物联网，同样的需求，考虑用时序数据库，但做后台的同事说 mongoDB 也满足需求
|
 |
17
Raymon111111 2019-02-27 13:09:47 +08:00
mysql 分库分表直接搞定
|
 |
18
xuanchi 2019-02-27 13:20:42 +08:00
每小时 100W，一天 2400W，每月 7.2 亿条，这个放在 mysql 上妥妥不合适，数据量太大，当然分库分表数据量的问题可以解决，但是由于每月修改和删除，使用 mysql 这种关系型数据库没什么好处。
每小时 100W，每分钟是 1.67W ，每秒钟 278 条，这个量级没什么压力，只要是个数据库，机器配置过得去都能抗住。 从理论角度分析，时序数据库是首选，然后根据需求也可以把数据库同步到 mysql。hbase 查询有些问题，不建议用 habase，但是在实际中，搞个时序数据库不方便，总的来说 MongoDB 到时候挺合适的 |
 |
19
dorothyREN 2019-02-27 13:28:46 +08:00
随便上个商业数据库就解决了
|
 |
20
fengxuejianshi 2019-02-27 15:30:37 +08:00
航发？
|
Select Language