这是一个创建于 2057 天前的主题，其中的信息可能已经有所发展或是发生改变。
限制要求
最近在测试对比海量图片存储的方案，先说一下限制要求：
- 是给定 路径和图片 存下来, 后期需要根据给定路径去提取图片。
- 图片大小是 300~700K
- 每日图片量大约在 2000W+，存储占用约 7T。
当前选了两个方案
- HBase(K-V)。测试发现中后期数据量变大后, split 略频繁有时还会出错导致节点挂掉。
- Ceph。使用 Ceph 的分布式存储提供 块存储 服务，然后将块挂载到 xfs 文件系统中，然后将文件写入文件系统即可。
测试结果
最近部署了这两套系统后对比测试，发现 HBase 的图片加载平均用时 200ms, 而 Ceph 的平均加载用时在 300~1000ms 波动较明显。
相关问题
请问有没有搞过图片存储的大神给提下意见建议，上面 Ceph 300~1000ms 的用时是否正常，或者有没有更好的方案可以用？
谢谢！
 |
1
AnyISalIn 2019-03-29 15:05:09 +08:00 via iPhone
为什么不用 ceph 的对象存储
|
 |
2
szq8014 OP @AnyISalIn Ceph 对象存储没了解过，请问这个对象存储适合什么场景？和 HBase 一样 k-v 一直存就可以了吗？现在正在补看这一块的文档
|
 |
5
lyzgeorge 2019-03-29 15:27:16 +08:00
same suggestion 可以尝试一下 ceph 对象存储。
如果愿意上云，来试试腾讯云 COS ？ |
 |
6
Mirana 2019-03-29 15:50:04 +08:00
TFS 或者 SeaweedFS 这种专门为小文件优化的文件系统，要不这么多文件的元数据要爆炸了
|
 |
7
vmskipper 2019-03-29 15:58:06 +08:00  1
元数据 hbase 流数据 oss 每天一亿的量
|
 |
8
hujianxin 2019-03-29 16:00:32 +08:00 1
这种情况就是对象存储，存文件系统和数据库都是不对的
|
Select Language