V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cyfdecyf
V2EX  ›  Amazon Web Services

用 Amazon S3 Glacier 做个人数据备份如何

  •  
  •   cyfdecyf ·
    cyfdecyf · 2013-06-18 21:12:15 +08:00 · 13774 次点击
    这是一个创建于 4180 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近在找在线备份服务,今天才看到 Amazon S3 Glacier http://aws.amazon.com/glacier/

    这里是一篇中文的介绍 http://www.kekaoyunfuwu.com/%E4%BA%9A%E9%A9%AC%E9%80%8Aaws-glacier%E4%BB%8B%E7%BB%8D%E5%92%8C%E8%AF%95%E7%94%A8%E6%84%9F%E5%8F%97/

    设计用作备份,存储价格最低 $0.01G/month,50G 一年也就 $6。
    上传只对 request 数收费,流量不收费,下载流量收费。
    从发起获取存档的操作到能够取回数据需要 3-5 小时。

    从价格来看很便宜,而且 Amazon 的服务会觉得比较可靠。

    目前打算用这个先备份照片试试看。v2ex 上有没有人用过这个服务可以分享下经验。

    因为 glacier 的工作方式打算打包所有照片以后上传,不过担心大文件上传中断的问题。
    第 1 条附言  ·  2013-07-05 00:38:11 +08:00
    用 Arq 把 iPhoto Library 备份到 Glacier 了。去掉 iPod Photo Cache, Thumbnails, Previews 几个子目录之后才 26G 多的数据。

    上个月上传第一个完整备份,有上万次的 Glacier 请求数,另外加上 S3 里存放的元数据请求等总共价格不到 $1。

    Arq 目前还不支持 Glacier 的 buget,意味着只能增加备份,不能删除以前的版本。作者说会添加这个功能。
    24 条回复    2017-06-19 13:48:28 +08:00
    clowwindy
        1
    clowwindy  
       2013-06-18 22:45:22 +08:00   ❤️ 1
    一个 pitfall:

    一个 archive 至少要存三个月,三个月内删除有删除费,这笔费用等于存三个月的费用减去你已经支付的费用。
    clowwindy
        2
    clowwindy  
       2013-06-18 22:46:50 +08:00
    另外最大的危险来自信用卡过期。
    blacktulip
        3
    blacktulip  
       2013-06-18 22:53:59 +08:00   ❤️ 2
    50GB 这种数据量随便什么都好啦... S3 也没多少钱
    大数据量还是用 crashplan 吧
    Didot
        4
    Didot  
       2013-06-19 00:19:39 +08:00
    cyfdecyf
        5
    cyfdecyf  
    OP
       2013-06-19 09:48:21 +08:00
    @clowwindy 我找在线备份主要是防备份硬盘同时挂掉这种极端情况,本地有备份,在线备份的频率可以低一点。信用卡过期的问题倒是没有想到过。
    cyfdecyf
        6
    cyfdecyf  
    OP
       2013-06-19 09:57:20 +08:00
    @blacktulip 用 S3 如果是 Standard Storage 的话价格差不多是 Glacier 的 10 倍。

    看了下 crashplan 的价格,数据量大的确还不错,50G 的话的确是 overkill 了。
    wywh
        7
    wywh  
       2013-06-19 10:56:44 +08:00
    短时间内取回大量文件的话价格似乎也不便宜。
    cyfdecyf
        8
    cyfdecyf  
    OP
       2013-06-19 12:44:04 +08:00
    @wywh 取回的价格在 hacker news 上也看到有人讨论了。不过因为只是应对备份硬盘全挂的情况,放上去以后一般不会需要取回了。

    或许我可以考虑本地只留一个备份,然后用 crashplan 之类的另外做一个全盘备份。
    liuhang0077
        9
    liuhang0077  
       2013-06-19 12:51:29 +08:00
    dropbox 不就好了。。
    rhwood
        10
    rhwood  
       2013-06-19 14:40:38 +08:00   ❤️ 1
    这个也考虑过,用过一段时间的s3,价格也觉得可以承受,但是自从有了buyvm、fdc、datashark这些廉价商家后,便宜量又足的storage vps、backup server比比皆是。。个人应用,存存照片什么的,其实本地弄2块备份硬盘足以,同时挂掉的机率微乎其微,反倒是raid意义不大
    cyfdecyf
        11
    cyfdecyf  
    OP
       2013-06-19 16:12:19 +08:00
    @rhwood 我也觉得两块硬盘同时挂掉的可能性不大,所以看到 glacier 如此便宜的存储价格后觉得可以用来做一个用到可能性非常小的备份。而且 glacier 可以保证挂掉两个数据中心依然不丢数据,安全感油然而生啊。

    请问你现在有从 S3 转用 vps 做在线备份么?
    msg7086
        12
    msg7086  
       2013-06-19 18:16:10 +08:00
    引用原文:
    >上面的所有应用场景都有如下特性
    >数据总量大, 不是以G计算, 而是以T, 甚至P计算.
    >访问频率极低, 大多数文件再也不会访问了.
    >对可靠性要求较高, 要求有异地备份, 防止机房故障.

    楼主你确定50G适合这种场景?我宁愿刻光盘然后袋装抽光空气放在盒子里……
    cyfdecyf
        13
    cyfdecyf  
    OP
       2013-06-19 20:19:35 +08:00
    @msg7086 我的确是在考虑这个服务是不是合适用来做个人数据的备份。

    hacker news 上 S3 的前雇员也说过这个服务不是设计给个人备份多媒体文件使用的,但像 Arq http://www.haystacksoftware.com/arq/ 这样的软件出现之后用来做个人备份应该也是可行的。

    目前实际需要备份的个人数据应该在上百 G (用 Glacier 一年约 $12),这个数据量的话跟 crashplan (无限容量,单买一年 $60) 比还是 glacier 的价格更有优势。超过 500G 的话 crashplan 会更便宜。

    因为是把这个作为本地备份之外的一个备份,只有在本地备份全挂的情况下才会访问,访问率会很低。

    可靠性的话应该还是 Amazon 会胜出,quora 上看到有人提过丢文件,不过比例非常小 (上亿个文件丢了 2 个,另外截断了 2 个) http://www.quora.com/Amazon-S3/Has-Amazon-S3-ever-lost-data-permanently
    crashplan 有多数据中心备份,刚才偶然搜到了一篇 11 年 crashplan 丢失备份的文章 http://jeffreydonenfeld.com/blog/2011/12/crashplan-online-backup-lost-my-entire-backup-archive/

    没有试过用光盘做备份,考虑到备份速度的话的确光盘胜出,不过担心光盘备份真要用的时候想不起来在哪儿。
    rhwood
        14
    rhwood  
       2013-06-19 21:50:59 +08:00
    @cyfdecyf 现在在用一台便宜的独服当备份,每天rsync增量备份无压力
    blacktulip
        15
    blacktulip  
       2013-06-20 00:27:44 +08:00   ❤️ 1
    @cyfdecyf 备份这种东西怎么会一年一年买,当然是一买四年...
    msg7086
        16
    msg7086  
       2013-06-20 07:25:28 +08:00
    @cyfdecyf 想不起来在哪的这个问题,强烈推荐弄个柜子/抽屉/整理箱然后贴上标签放在固定的一个地方……
    andyhu
        17
    andyhu  
       2013-07-05 06:52:28 +08:00
    copy.com扩容后能到100G,在淘宝上能找到升级的方法,用这个也可以把
    andyhu
        18
    andyhu  
       2013-07-05 08:50:18 +08:00
    刚才研究了下,git-annex这东西相当给力,可以自建类似网盘的东西自动commit文件到git,远程server支持box.com,rsync服务器,amazon glacier,git server(应该也可以用bitbucket)等等,非常强大
    cyfdecyf
        20
    cyfdecyf  
    OP
       2013-07-05 10:19:15 +08:00
    @andyhu 淘宝扩容的事情还是算了,Dropbox 之前不是把作弊的人的容量重置为 2G 么。

    看了一下,目前的 git-annex 过于 geeky,而且设计的目标不仅仅是备份,对于做备份来说过于复杂了些。如果有做得比较好的 GUI 应该能解决这个问题。另外不确定现在 git-annex 的用户有多少,做得是否可靠。

    kickstart 上发起的这个项目目标是实现类似 Dropbox 的功能,用 glacier 做后端存储是不合适的。

    顺带提一下,Arq 的存储采用了类似 git 的存储方式,有明确的文档,同时有开源的 restore 工具。
    standin000
        21
    standin000  
       2017-01-03 16:37:28 +08:00
    @rhwood buyvm 、 fdc 、 datashark 你现在用哪个了?谢谢
    rhwood
        22
    rhwood  
       2017-02-13 10:11:43 +08:00
    @standin000 都不用了,因为有更便宜的, https://www.time4vps.eu/pricing/ 但是国内连接网速很慢,我是备份国外服务器上的数据,所以无所谓
    zjwww
        23
    zjwww  
       2017-06-05 09:57:04 +08:00
    我最近也想考虑用 amazon 的服务作备份,有 30TB 左右的数据,但 amazon 的服务现在国内连应该都很慢吧?我是精品网也是慢的不行。。。。,貌似没好办法。
    moguiyu
        24
    moguiyu  
       2017-06-19 13:48:28 +08:00
    @cyfdecyf 请问 Glacier 用得还好吗?我也在考虑本地 NAS 跑 RAID 的情况下再搞一份云端冷备份,相当于是容灾使用。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3149 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 13:21 · PVG 21:21 · LAX 05:21 · JFK 08:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.