V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
qiuai
V2EX  ›  问与答

如何解决从美国下载数 TB 的数据的难题?

  •  1
     
  •   qiuai · 2018-02-01 19:29:41 +08:00 · 10222 次点击
    这是一个创建于 2471 天前的主题,其中的信息可能已经有所发展或是发生改变。
    前提:
    1.服务器是 windows 系统.而且不能重装 linux.
    2.文件总量以 TB 级,单文件最大 50GB.
    3.服务器在美国.
    问题(主要集中在怎么提供稳定的下载服务):
    1.HFS 不知道是为什么,下载一段时间,32G 内存就占满了,服务器就死机了.
    2.APACHE 和 NGINX 我都装过,不知道为什么,在 windows 下,并发不是很好.如果有优化方案也可以.
    3.文件名里有中文.nginx 搞了好久都没解决中文文件名的文件,在下载时自动转义了中文的问题.
    4.有什么其他的方案能以 10MB/s 左右的速度来同步文件么?目前 HTTP 半小时重启一次服务器,可以达到 10MB/s 的速度.
    第 1 条附言  ·  2018-02-02 10:25:55 +08:00
    额...请不要再把想法固定在怎么从国外传回来...
    我要的是有什么办法能让我稳定的提供 HTTP 或者 FTP 服务?
    另:HFS 这种软件还有其他类似的么?还在持续开发的新一点的?
    第 2 条附言  ·  2018-02-03 11:25:29 +08:00
    #88 说的这个 raysync,已经试用了一下.速度还真不错.什么都没设置,只是装上激活,就能跑满网卡...

    真心不错..有我这种需求的可以去看看了...
    101 条回复    2018-08-15 16:50:28 +08:00
    1  2  
    kmahyyg
        1
    kmahyyg  
       2018-02-01 19:31:25 +08:00 via Android   ❤️ 2
    硬盘对拷,快递回来更快
    qiuai
        2
    qiuai  
    OP
       2018-02-01 19:32:50 +08:00   ❤️ 1
    @kmahyyg 这个方案很早就考虑过了.不行啊.服务器是租用的.他们不提供这个服务.花钱也不行.
    Showfom
        3
    Showfom  
       2018-02-01 19:33:39 +08:00   ❤️ 1
    @kmahyyg 还得看数据量,要是就一两个 T,那慢慢传也没事,要是有几十个 T,那肯定是快递快了
    maemual
        4
    maemual  
       2018-02-01 19:34:33 +08:00 via Android   ❤️ 1
    当地找个人去机房拿硬盘拷,然后寄给你?
    kmahyyg
        5
    kmahyyg  
       2018-02-01 19:34:59 +08:00 via Android   ❤️ 1
    @qiuai 那就备案开企业国际专线。Nginx 因为 WIN API 实现的原因,性能不好。个人建议可以考虑试试 resilo sync 或者看看之前 V2 有个朋友写的那个 1.76 倍 Nginx 性能的 http server
    xmoiduts
        6
    xmoiduts  
       2018-02-01 19:35:11 +08:00 via Android   ❤️ 1
    在美国下载好带回来?
    qiuai
        7
    qiuai  
    OP
       2018-02-01 19:37:39 +08:00   ❤️ 1
    @xmoiduts @maemual 都是些冷备数据,非必要的话,不想让第二个人接触.
    @Showfom 慢慢传是没事..但是他不能稳定的提供下载啊...下半小时就死机了..
    @kmahyyg sync 国内墙了咋用...还有其他这种软件么?
    hadoop
        8
    hadoop  
       2018-02-01 19:38:16 +08:00 via Android   ❤️ 1
    开 ftp 呢? win 上 ftp 还挺稳定吧
    shakoon
        9
    shakoon  
       2018-02-01 19:39:39 +08:00   ❤️ 1
    找个在美国的家伙下载到硬盘后再快递回国
    qiuai
        10
    qiuai  
    OP
       2018-02-01 19:39:53 +08:00   ❤️ 1
    @hadoop 也存在死机的问题...windows 2012,用 IIS 和 filezilla 都开过 server..都会死机...我都苦恼死了...
    kmahyyg
        11
    kmahyyg  
       2018-02-01 19:40:24 +08:00 via Android   ❤️ 1
    Rheinmetal
        12
    Rheinmetal  
       2018-02-01 19:40:29 +08:00   ❤️ 1
    拷贝到支持硬盘快递的美国云服务?
    或者试试 cygwin rsync
    kmahyyg
        13
    kmahyyg  
       2018-02-01 19:41:04 +08:00 via Android   ❤️ 1
    @qiuai 还有个叫微力同步的国内版,爱好者们自己改的
    loginv2
        14
    loginv2  
       2018-02-01 19:44:28 +08:00   ❤️ 1
    做成种子 慢慢挂回来
    l1093178
        15
    l1093178  
       2018-02-01 19:47:20 +08:00   ❤️ 2
    Syncthing / Rsync
    ovear
        16
    ovear  
       2018-02-01 19:47:38 +08:00   ❤️ 1
    上 synctrayzor,断点续传,实时同步,增量同步,要啥有啥。
    闲速度慢还可以挂代理啊。
    ynyounuo
        17
    ynyounuo  
       2018-02-01 19:47:49 +08:00   ❤️ 1
    @qiuai 如果只有个位数 TB 的话可以试试用 lftp 多线程分段传输。
    l1093178
        18
    l1093178  
       2018-02-01 19:47:52 +08:00   ❤️ 1
    @l1093178 哦,Windows 好像没有 Rsync 实现?那就 Syncthing 吧
    qiuai
        19
    qiuai  
    OP
       2018-02-01 19:52:43 +08:00   ❤️ 1
    @ynyounuo lftp 有 windows 版本?
    rssf
        20
    rssf  
       2018-02-01 19:52:44 +08:00 via iPhone   ❤️ 1
    你自己飞去美国硬盘拷贝,或者在他机房租个网线端口,再飞回来
    qiuai
        21
    qiuai  
    OP
       2018-02-01 19:54:11 +08:00   ❤️ 1
    @kmahyyg 正在测试.
    @loginv2 几个 T 的文件做成种子...会不会爆种啊...没试过.
    @ovear 我先试试微力同步,不行的话再试试这个.
    @l1093178 我先试试微力同步,不行的话再试试这个.
    qiuai
        22
    qiuai  
    OP
       2018-02-01 19:54:23 +08:00   ❤️ 1
    @rssf 带宽不缺.
    loginv2
        23
    loginv2  
       2018-02-01 20:00:06 +08:00   ❤️ 1
    @qiuai BT 不会爆 但是做种子需要校验一次数据 估计要等很久 而且你得有个能用的 tacker 虽然可以自己搭 但是也不一定能保证效率 扯远了,一个建设性的意见,如果能压缩的话 压缩一下 顺便分卷打包 加上恢复记录 然后多文件 多线程 小体积 HTTP 下回来,但是服务器需要临时增加硬盘容量。除此之外还真没什么好的想法,同步的方案估计也要校验数据 效率不一定真的就更好。
    ynyounuo
        24
    ynyounuo  
       2018-02-01 20:00:10 +08:00   ❤️ 1
    @qiuai 貌似有,没试过不过
    loginv2
        25
    loginv2  
       2018-02-01 20:01:31 +08:00   ❤️ 1
    @qiuai 还有 服务器虽然不能重装系统 但是你可以在美国临时再买个 linux 服务器啊, 然后该干嘛干嘛
    webjin1
        26
    webjin1  
       2018-02-01 20:06:37 +08:00 via Android   ❤️ 1
    单文件最大 50GB,我猜是母鸡开出来的小鸡 vm 文件。
    qiuai
        27
    qiuai  
    OP
       2018-02-01 20:18:45 +08:00   ❤️ 1
    @loginv2 最大的问题就是服务器之间的传输..我国内拖也可以用服务器拖...只要有靠谱的 windows 到 linux 的超大量数据同步解决方案...其他的倒都是小事了.
    pq
        28
    pq  
       2018-02-01 20:34:32 +08:00   ❤️ 1
    你为何不反向思考一下呢?既然你的 windows 做服务极不稳定,那就把它当客户端用算逑,然后在你国内的机器上开服务,ftp 或 rsync 之类的均可,再从国外的 windows 服务器上主动上传到国内,这对你国内的机器来说,只要下行带宽足够即可,普通家用光纤即可,只不过得搞到公网 ip。
    qiuai
        29
    qiuai  
    OP
       2018-02-01 20:39:45 +08:00   ❤️ 1
    @pq 你这个思路很不错啊...我现在在测试上面的方案..晚点我试试这个方案怎么样...
    alcarl
        30
    alcarl  
       2018-02-01 20:50:33 +08:00 via Android   ❤️ 1
    ftp 多线程断点续传不行吗?
    CEBBCAT
        31
    CEBBCAT  
       2018-02-01 20:55:32 +08:00   ❤️ 1
    @webjin1 #26 嗯哼?拿 Windows 做母鸡?
    liyvhg
        32
    liyvhg  
       2018-02-01 20:57:46 +08:00 via Android   ❤️ 1
    那就买下那台服务器
    hadoop
        33
    hadoop  
       2018-02-01 22:01:11 +08:00 via Android   ❤️ 1
    怎么感觉你系统硬件有问题导致的死机呢
    function007
        34
    function007  
       2018-02-01 22:03:32 +08:00   ❤️ 1
    跑个 Linux 虚拟机把文件目录挂进去,外头开个端口映射看行不
    fiht
        35
    fiht  
       2018-02-01 22:03:39 +08:00   ❤️ 1
    TB 级别的数据其实并不算大难题。
    当时在 DigitalOcean 的机器上下载了 500GB 的小视频,用 rsync+ipv6 拖回来的,速度大概 7-8MB/s,反正能在很可观的速度。
    另:感觉 HTTP 不如 rsync,感觉 HTTP 不如 rsync,感觉 HTTP 不如 rsync
    qiuai
        36
    qiuai  
    OP
       2018-02-01 22:42:50 +08:00   ❤️ 1
    @pq 测试了下..只能跑 100KB 的速度.白天我再测试下看看
    h4lbhg1G
        37
    h4lbhg1G  
       2018-02-01 23:15:50 +08:00   ❤️ 1
    加密,打包,保持一定冗余。然后校验码。最后用 bypy 来搞吧。多开两个会员账户。 又看了下 Windows 系统。好吧,Winrar 带冗余打包,传度盘。看你的网了,好的情况下,可能数 MB。
    azh7138m
        38
    azh7138m  
       2018-02-01 23:18:57 +08:00 via Android   ❤️ 1
    @loginv2 tacker 不是必须的,A 做种,B 直接手动加 peer,输 A 的地址和端口就成。我用 BT 同步过数据,不过只有几十 G 的数据量。
    clino
        39
    clino  
       2018-02-01 23:19:35 +08:00   ❤️ 1
    syncthing 试试,多加几个节点应该能够加速吧
    另外开 bbr 速度应该也能快不少
    yech1990
        40
    yech1990  
       2018-02-01 23:34:42 +08:00 via Android   ❤️ 1
    为什么纠结于 Windows 啊,拿个笔记本或是树莓派安个 Linux,然后 samba 挂载 Windows 目录,这不就要啥有啥了么?
    lyhiving
        41
    lyhiving  
       2018-02-01 23:35:38 +08:00 via Android   ❤️ 1
    主要的还是网络问题,首先化大为小,将文件用 rar 压缩分块,每块 1G。传阿里米西 OSS,然后再批量拉回,解压。
    nciyuan
        42
    nciyuan  
       2018-02-01 23:36:16 +08:00 via Android   ❤️ 1
    @qiuai 如果有钱的话,开几台 HK 或者 EU 的跳板机然后多台一起工作,最后一起回传
    当然因为 ss 倒闭的那家子的锐速也可以试试
    当然美国到中国由于一个伟大的东西和地理原因,还有硬盘 IO 性能,直连一定不会有国内网那么快
    考虑好速度和提升和钱再决定把
    chocolatesir
        43
    chocolatesir  
       2018-02-01 23:40:33 +08:00   ❤️ 1
    rsync+挂阿里云 hk 的代理
    qiuai
        44
    qiuai  
    OP
       2018-02-02 00:09:36 +08:00   ❤️ 1
    @nciyuan 我不需要代理...这台机器如果不是因为软件方案的问题的话,早就传完了..
    机器是 10MB 的口子,家里是 20MB 的口子...只要能跑多线程,是可以跑满的..
    qiuai
        45
    qiuai  
    OP
       2018-02-02 00:09:47 +08:00   ❤️ 1
    @lyhiving 费用呢...
    uptime
        46
    uptime  
       2018-02-02 01:01:31 +08:00   ❤️ 1
    IIS 也死?
    为什么不开个国外网盘的会员?挑个国内速度不错的,你服务器打包,再上传到网盘,你这边一边拖回来就是。
    用 zip 分包就是。别是用 rar,这样的数量级的,解压会很痛苦的事,zip 足够了
    yexm0
        47
    yexm0  
       2018-02-02 01:06:35 +08:00 via iPhone
    @nciyuan 锐速那只是人家公司不做你个人的生意而已(要求多多还不给肯钱)
    lyhiving
        48
    lyhiving  
       2018-02-02 02:04:32 +08:00 via Android
    @qiuai 用云就按量来,一个 T 大概要 300 这样
    RangerWolf
        49
    RangerWolf  
       2018-02-02 09:03:21 +08:00
    aws 呢?

    看你的出口带宽了~
    yulitian888
        50
    yulitian888  
       2018-02-02 09:26:57 +08:00
    这个瓶颈在于出口带宽和伟大的墙吧?
    硬盘发快递是唯一的选择,既然机房不提供这种服务,那么,找个美国本土(同一网络运营商)的电脑,下载过去再快递硬盘不就好了吗?难道还有更快的解决方案?
    20has
        51
    20has  
       2018-02-02 09:30:57 +08:00 via Android
    Windows 的 rsync 方案是 cwrsync 吧 我只通不过小文件 这种大文件不知道怎么样
    Felldeadbird
        52
    Felldeadbird  
       2018-02-02 09:42:31 +08:00
    楼主应该先 找一台 美国的服务器(允许硬盘对拷)。将现有数据拷过去后,再写入硬盘空运快递回来。
    毕竟如果你直接将服务器数据用各种方法折腾,成本和时间都很漫长。
    qiuai
        53
    qiuai  
    OP
       2018-02-02 09:44:25 +08:00
    @yulitian888 我现在最大的问题不是说怎么传回来...是怎么提供稳定的下载服务,让我有机会去拖...
    shixinyu
        54
    shixinyu  
       2018-02-02 09:45:01 +08:00
    给 Windows 安装 AWS CMD Tool,然后使用 aws s3 sync 传到 AWS S3 上,再从 S3 上 sync 到本地来。
    cnkuner
        55
    cnkuner  
       2018-02-02 09:48:14 +08:00 via Android
    加密打包分割传网盘,开会员取回,校验 md5
    yulitian888
        56
    yulitian888  
       2018-02-02 09:48:55 +08:00
    @qiuai 下载的话,FileZilla Server + FileZilla Client ?我试过最大的是单个 300G 的文件,貌似只是挂则就好,没遇到特别的麻烦啊
    qiuai
        57
    qiuai  
    OP
       2018-02-02 09:49:13 +08:00
    @shixinyu 这样倒一下...500 块钱就没了.
    fenglangjuxu
        58
    fenglangjuxu  
       2018-02-02 10:07:15 +08:00
    上传到 aws 的 s3 上,然后下载下来,还是很快的.
    shixinyu
        59
    shixinyu  
       2018-02-02 10:22:02 +08:00
    @qiuai 花钱解决难题嘛
    tees
        60
    tees  
       2018-02-02 10:22:59 +08:00
    那就买个 vps 一个月,先上传到 vps 再从 vps 拖回来.
    vps 开 1T 的硬盘贵的话,就先开个 80G,分批传.
    01802
        61
    01802  
       2018-02-02 10:27:37 +08:00 via Android
    多台机开 btsync
    discrete
        62
    discrete  
       2018-02-02 10:32:16 +08:00 via iPad
    Windows 上开个 Linux 虚拟机?
    bullettrain1433
        63
    bullettrain1433  
       2018-02-02 10:46:03 +08:00
    装个 dropbox 备份呢?然后从 dropbox 上下应该快很多吧
    pingsheng
        64
    pingsheng  
       2018-02-02 10:47:07 +08:00 via Android
    @yulitian888 同方案,前些天从杜甫拉几 T 电影回本地,就是遇到了带宽瓶颈,拉了差不多 3 天
    qiuai
        65
    qiuai  
    OP
       2018-02-02 10:48:58 +08:00
    @pingsheng 你是怎么拖的.介绍下...
    kimqcn
        66
    kimqcn  
       2018-02-02 10:49:29 +08:00
    对头,用压缩软件拆包成 10000 个,慢慢下。
    yanze0613
        67
    yanze0613  
       2018-02-02 10:57:54 +08:00
    如果信任阿里云,可以用 oss 同步回来,速度不好嗦,但稳定应该还可以
    建一个国外地区的 oss,你把数据推进去
    然后使用 oss 的跨区同步,拉回来
    同步回来,然后在考虑怎么拉下来,链路是阿里云的
    不过这个方案我没试过,但是应该有一定可行性
    pingsheng
        68
    pingsheng  
       2018-02-02 10:59:44 +08:00 via Android
    @qiuai 单文件可能只有 20G,在 filezilla client 设置同时下载 10 文件,占满本地 100m 带宽了
    warcraft1236
        69
    warcraft1236  
       2018-02-02 11:19:55 +08:00
    @pq 这个方案赞啊,国内开个 Linux 的服务器,美国的 Win 作为客户端上传数据到服务器上。如果楼主解决了,可以搞个教程之类的讲讲,学习一下
    Tink
        70
    Tink  
       2018-02-02 11:24:48 +08:00
    rsync 慢慢传不行吗
    qiuai
        71
    qiuai  
    OP
       2018-02-02 11:25:38 +08:00
    @warcraft1236 速度不行.
    @Tink 新服务器准备就这么做.
    harker
        72
    harker  
       2018-02-02 11:33:50 +08:00
    网盘中转
    exuxu
        73
    exuxu  
       2018-02-02 12:01:15 +08:00
    收费的 aspera 考虑下,
    我司在做类似的产品,但是贵。。。
    Rorysky
        74
    Rorysky  
       2018-02-02 12:36:32 +08:00
    先同步到阿里云,再从阿里云拉回本地
    lycc
        75
    lycc  
       2018-02-02 13:07:26 +08:00 via Android
    主机上存到阿里云 OSS,再下载
    tees
        76
    tees  
       2018-02-02 15:05:12 +08:00
    突然想到,你用 putty 的 pscp 往回传
    bullfrog
        77
    bullfrog  
       2018-02-02 15:13:50 +08:00
    网络蚂蚁 网际快车。。
    omph
        78
    omph  
       2018-02-02 15:22:31 +08:00
    国内开服务器,美国作客户端我感觉是可行的。
    但不要用常规软件,要使用大文件传输软件。
    https://www.zhihu.com/question/22354402
    rrfeng
        79
    rrfeng  
       2018-02-02 15:23:51 +08:00
    rsync 应该比 http 好的多。不要用 ssh 模式,多开几个进程并发,因为可能打满单核 cpu
    laxenade
        80
    laxenade  
       2018-02-02 15:24:16 +08:00 via Android
    土办法 传到 onedrive 吧 onedrive 连国内的速度还可以
    cxbig
        81
    cxbig  
       2018-02-02 15:25:50 +08:00
    买硬盘,让人加密拷贝了寄回来。
    shadownet
        82
    shadownet  
       2018-02-02 15:36:37 +08:00
    服务器上传 google drive, 然后国内下载,应该快的
    defunct9
        83
    defunct9  
       2018-02-02 17:33:38 +08:00
    简单。装个 apache,断点续传就好
    defunct9
        84
    defunct9  
       2018-02-02 17:34:40 +08:00
    忘记标准语了。开 RDP,我来搞
    rssf
        85
    rssf  
       2018-02-02 19:29:24 +08:00 via iPhone
    如果没有墙,楼上说的各种技术都没问题,可现实是有墙,还是越来越高的墙,加上你这么大数据量,老老实实想办法在墙外拷到硬盘上,再寄或者带回来吧
    liuyin
        86
    liuyin  
       2018-02-02 19:49:17 +08:00 via iPhone
    dropbox 是的不错的方案,最贵的套餐也就 25 刀一个月,足够拖回来了。
    zingl
        87
    zingl  
       2018-02-03 00:16:00 +08:00
    切小块,任何方法都能弄回来
    yibei
        88
    yibei  
       2018-02-03 02:15:19 +08:00 via iPhone   ❤️ 1
    试试 raysync,使用 ftp 协议,内部集成可靠 udp 加速,只要两端带宽够,跑满 10M 非常容易
    t43p
        89
    t43p  
       2018-02-03 03:23:47 +08:00
    服务器用 ISCSI 软件,PC 机 直接出盘,用命令拷贝。
    解决了
    qiuai
        90
    qiuai  
    OP
       2018-02-03 09:42:17 +08:00
    @yibei 软件不错.不过联系不到人..
    Izual_Yang
        91
    Izual_Yang  
       2018-02-03 10:46:40 +08:00
    迅雷离线。
    yibei
        92
    yibei  
       2018-02-03 11:23:08 +08:00 via iPhone   ❤️ 1
    @qiuai dnNiZXJtQGdtYWlsLmNvbQ== ( base64 )
    qiuai
        93
    qiuai  
    OP
       2018-02-03 11:24:05 +08:00
    @yibei 已经开始用了...轻轻松松跑满速.不错不错~~
    cfcboy
        94
    cfcboy  
       2018-02-04 08:07:08 +08:00
    你一直强调的稳定性,raysync,怎么样?
    qiuai
        95
    qiuai  
    OP
       2018-02-04 08:51:27 +08:00
    @cfcboy 速度稳定性非常不错,白天轻松跑满速,晚上都可以保证不错的速度.
    还在持续测试
    cfcboy
        96
    cfcboy  
       2018-02-04 09:03:38 +08:00
    @qiuai 我的意思是,软件运行的稳定性怎么,速度的话,有很多种方法。打洞,跳板,转存,等等,前提是软件要稳定。
    qiuai
        97
    qiuai  
    OP
       2018-02-04 09:09:40 +08:00
    @cfcboy 昨天开始用,昨天用了一晚上.测试时间不长,但是没出什么 BUG.运行稳定.
    cfcboy
        98
    cfcboy  
       2018-02-04 11:21:42 +08:00
    @qiuai 感谢回复。我也刚试了,速度确实不错。
    qiuai
        99
    qiuai  
    OP
       2018-02-04 11:23:56 +08:00
    @cfcboy 嗯.我已经拖了快 1T 回来了..
    wkl17
        100
    wkl17  
       2018-08-03 21:59:37 +08:00
    最后怎么拖回来的?

    Filezilla server 50G 拉不动?上面评论里有说 300G 也搞过...

    而且可以断点续传,正常应该是可行的才对,
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5598 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 06:39 · PVG 14:39 · LAX 22:39 · JFK 01:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.