不太会处理啊，目前有近亿的图片存在 gp 库中，查询速度还是秒级的，最近来了几个亿照片，想直接存在文件夹，但是怕硬盘挂掉就欲哭无泪。目前要求是：能满足增量，备份不麻烦，调用较快就行了，要求是数据绝对不能丢失。大家一般怎么处理大量图片的？求个方法，谢谢各位大佬了。
This topic created in 2500 days ago, the information mentioned may be changed or developed.
 |
1
whileFalse Jul 30, 2019 via iPhone
存云里
|
 |
2
whp1473 Jul 30, 2019
私有可以考虑 FastDfs、HDFS，均可以集群部署。
公有可以考虑阿里云 OSS 等。 |
 |
3
rrfeng Jul 30, 2019
hdfs 不合适『海量小文件』场景。
能上云的话最简单省事儿，便宜又可靠。 不能上的话海量小文件存储，也有很多方案。比如淘宝 TFS 以及腾讯 TencentFS，主要解决高可靠性，可索引，合并存储等问题。 |
 |
4
4SM Jul 30, 2019
上亿张照片是什么概念？ 100000000÷100 年÷365 天÷24 小时÷60 分钟≈1 张照片 /30 秒。
？ |
 |
5
x2ve OP @whileFalse
@whp1473 @rrfeng 感谢三位，目前这边是有云平台的，但是是局域网。给的建议也是 hdfs，但我这边不太熟悉，怕误操作了后续留坑，所以就来 v 站问问看还有其他方法不。 |
 |
7
chinesestudio Jul 31, 2019 via Android
就这么点数据 ceph 搞定 备份都不用
|
 |
8
fireapp Jul 31, 2019 via iPhone
当然是 s3 的开源方案 minio 啊，小文件利器
|
 |
9
alexkkaa Jul 31, 2019 via Android
张嘴就来存云里的，你家是开矿的吗
|
 |
10
jaskle Jul 31, 2019 via Android
[email protected] 好人一生平安
|
 |
11
greatdancing Jul 31, 2019 via Android
@avs10019 说不定公司业务比挖矿还值钱呢
|
 |
12
puC4Vf0pPO2A6V4e Jul 31, 2019
[email protected] 好人一生平安
|
Select Language