V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
clowwindy
V2EX  ›  问与答

大量个人数据的存储和备份,你是怎样做的?

  •  
  •   clowwindy · 2012-06-10 00:03:12 +08:00 · 7873 次点击
    这是一个创建于 4332 天前的主题,其中的信息可能已经有所发展或是发生改变。
    记得很多年前的时候,我刻过十几个光盘包的光盘。刻录、读取、解压、分卷都很费时,人工为光盘“分库”“建索引”也很麻烦。而且光盘存放时间有限,隔几年就要重新刻一遍。后来硬盘越来越便宜的时候,大家就都直接用硬盘备份了。

    在硬盘容量还在增长的阶段,我每隔一年左右就要买一块更大的硬盘,然后把原来硬盘上的根目录整个拷进去。现在电影、动画、游戏的容量越来越大,单块硬盘的容量和读写速度没有很大的进步。当需要三块以上的硬盘才能装下所有数据时,硬盘也变得不方便了。

    1. 文件分散在不同硬盘上,管理起来不方便,即使用符号链接,也不能维持统一的目录结构。比方说,为了避免单块硬盘用满,可能就要在不同的硬盘上分别建 Movie01,Movie02,Movie03……机械硬盘近年来读写速度没什么进步,手工平衡容量要花很长的时间转移文件,很不方便。
    2. 如果硬盘多了,其中某块硬盘挂掉的概率会成倍增加,所以需要一个带冗余的方案。
    3. 这些数据应该能很容易的被家中的不同设备访问。

    目前找到的方案里面,似乎 Hadoop 的 DFS 能满足这几点,用 fuse 驱动或 webdav 可以挂载到操作系统里。用很便宜的配件(CPU300 + 主板300 + 机箱电源150)就能搭起来,成本基本上大部分就在硬盘上。搭起来之后,存文件的时候不用考虑哪块硬盘还有空间,加硬盘、换硬盘就再也不用手工转移数据了。即使一台机器插满了硬盘,再加一台机器就能直接扩容了。

    不知大家有没有尝试过?
    28 条回复    1970-01-01 08:00:00 +08:00
    virushuo
        1
    virushuo  
       2012-06-10 00:04:04 +08:00
    试试zfs?
    binux
        2
    binux  
       2012-06-10 00:09:09 +08:00
    保存存100M的种子,而不是10T的文件
    welsmann
        3
    welsmann  
       2012-06-10 00:13:33 +08:00
    @binux +1
    clowwindy
        4
    clowwindy  
    OP
       2012-06-10 00:18:03 +08:00
    @virushuo zfs 能否像 hdfs 那样,可以设置一个 replication 数量,自动决定数据存储在哪些节点?
    virushuo
        5
    virushuo  
       2012-06-10 00:25:20 +08:00
    @clowwindy zfs应该是可以通过创建多个不同的文件系统来做这事。但和hdfs的目标是不一样的,所以应该不能直接和replication那么用。

    但zfs只要管理好存储池,划分好文件系统应该就可以解决同样问题。
    pengjiayou
        6
    pengjiayou  
       2012-06-10 01:26:40 +08:00   ❤️ 1
    直接上 NAS ,推荐 Synology 和 Netgear ,尤其是前者,专业做 NAS 的。
    lyxint
        7
    lyxint  
       2012-06-10 01:30:48 +08:00
    删掉,最好的解决方案
    blueven
        8
    blueven  
       2012-06-10 01:55:23 +08:00
    @lyxint 赞!
    FreeWriting
        9
    FreeWriting  
       2012-06-10 02:16:23 +08:00
    只备份个人文档,dropbox加移动硬盘
    其它下载来的东西没了就没了,否则烦恼太多
    blacktulip
        10
    blacktulip  
       2012-06-10 05:08:32 +08:00
    真心建议删光,反正我电影从不看第二次,某种特殊类型的除外。
    akann
        11
    akann  
       2012-06-11 02:24:55 +08:00
    电影建议只保存链接,或者只保存bt种子,音乐保存在google music或者直接使用虾米等音乐网站 其他文件可以保存在网盘或者自己的硬盘。
    电影是最占硬盘的,最好不要保存。如果你非要保存电影,建议保存flv格式的电影,容量会比mpeg4格式的电影缩小很多。
    goophile
        12
    goophile  
       2012-06-11 02:47:41 +08:00
    @akann 电影当然是要么不保存,要么保存最好的版本
    yuiagain
        13
    yuiagain  
       2012-07-05 14:25:17 +08:00
    学习。。。。。
    cheshirecat
        14
    cheshirecat  
       2012-07-05 14:40:11 +08:00
    这是 Hoarding ... 得治...
    dhysum
        15
    dhysum  
       2012-07-05 14:59:19 +08:00
    可以试试LINUX集群, NFS等。
    dhysum
        16
    dhysum  
       2012-07-05 15:14:23 +08:00
    磁盘柜。
    brucmao
        17
    brucmao  
       2012-07-05 15:21:52 +08:00
    迅雷离线空间那么大,保存在上面吧,
    likuku
        18
    likuku  
       2012-07-05 15:29:11 +08:00   ❤️ 1
    zfs 轻松扩容。只要把zpool里所有的硬盘都以每次替换一块的方式换掉,然后重新加载一次,容量就增大了。
    tuita012
        19
    tuita012  
       2012-07-05 15:30:55 +08:00
    可以试试网盘的服务
    tuita012
        20
    tuita012  
       2012-07-05 15:30:58 +08:00
    可以试试网盘的服务
    qiuai
        21
    qiuai  
       2012-07-05 18:30:29 +08:00
    我目前的解决办法.不保存电影,不保存动漫,H片看完好看的保存,不好看的直接删除,但是不管好看不好看,保留种子.电子书因为体积的关系,全部保存了,照片有单独的分区,音乐也有单独的分区,工作文档也有.
    同时,我买了115的VIP,做同步盘用.因为DB我这边速度太慢.
    pulse_me
        22
    pulse_me  
       2012-07-05 18:35:12 +08:00
    @blacktulip 什么特殊类型的呢?
    eric_q
        23
    eric_q  
       2012-07-05 21:04:16 +08:00
    MooseFS?
    heidour
        24
    heidour  
       2012-07-05 21:28:08 +08:00
    利用发展的眼光看问题的话,以后想看什么在线瞬间看,现在收藏没用。
    heidour
        25
    heidour  
       2012-07-05 21:28:09 +08:00
    利用发展的眼光看问题的话,以后想看什么在线瞬间看,现在收藏没用。
    Kvm
        26
    Kvm  
       2012-07-06 15:39:59 +08:00
    简单的干法用lvm
    huochengfang
        27
    huochengfang  
       2012-07-06 16:59:02 +08:00
    我原来是1比1备份,全挂在机子上,用库统一访问……但是当我硬盘膨胀到6T的时候。我觉悟了……走向了另一个极端。
    alexrezit
        28
    alexrezit  
       2012-07-06 17:55:02 +08:00
    看完就删, 至于那个"隔几年就要重新刻一遍"太二了, 这几年内都没有看过的话就说明没价值了直接丢掉就好了啊~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2852 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 06:10 · PVG 14:10 · LAX 23:10 · JFK 02:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.