这是一个创建于 1941 天前的主题，其中的信息可能已经有所发展或是发生改变。
不太会处理啊，目前有近亿的图片存在 gp 库中，查询速度还是秒级的，最近来了几个亿照片，想直接存在文件夹，但是怕硬盘挂掉就欲哭无泪。目前要求是：能满足增量，备份不麻烦，调用较快就行了，要求是数据绝对不能丢失。大家一般怎么处理大量图片的？求个方法，谢谢各位大佬了。
 |
1
whileFalse 2019-07-30 17:44:54 +08:00 via iPhone
存云里
|
 |
2
whp1473 2019-07-30 19:37:32 +08:00
私有可以考虑 FastDfs、HDFS，均可以集群部署。
公有可以考虑阿里云 OSS 等。 |
 |
3
rrfeng 2019-07-30 19:51:59 +08:00
hdfs 不合适『海量小文件』场景。
能上云的话最简单省事儿，便宜又可靠。 不能上的话海量小文件存储，也有很多方案。比如淘宝 TFS 以及腾讯 TencentFS，主要解决高可靠性，可索引，合并存储等问题。 |
 |
4
4SM 2019-07-30 20:45:55 +08:00
上亿张照片是什么概念？ 100000000÷100 年÷365 天÷24 小时÷60 分钟≈1 张照片 /30 秒。
？ |
 |
5
x2ve OP @whileFalse
@whp1473 @rrfeng 感谢三位，目前这边是有云平台的，但是是局域网。给的建议也是 hdfs，但我这边不太熟悉，怕误操作了后续留坑，所以就来 v 站问问看还有其他方法不。 |
 |
7
chinesestudio 2019-07-31 01:34:14 +08:00 via Android
就这么点数据 ceph 搞定 备份都不用
|
 |
8
fireapp 2019-07-31 06:57:02 +08:00 via iPhone
当然是 s3 的开源方案 minio 啊，小文件利器
|
 |
9
alexkkaa 2019-07-31 08:20:54 +08:00 via Android
张嘴就来存云里的，你家是开矿的吗
|
 |
10
jaskle 2019-07-31 08:31:12 +08:00 via Android
[email protected] 好人一生平安
|
 |
11
greatdancing 2019-07-31 08:58:29 +08:00 via Android
@avs10019 说不定公司业务比挖矿还值钱呢
|
 |
12
hushulin 2019-07-31 09:56:26 +08:00
[email protected] 好人一生平安
|
Select Language