1
kmahyyg 2018-02-01 19:31:25 +08:00 via Android 2
硬盘对拷,快递回来更快
|
4
maemual 2018-02-01 19:34:33 +08:00 via Android 1
当地找个人去机房拿硬盘拷,然后寄给你?
|
5
kmahyyg 2018-02-01 19:34:59 +08:00 via Android 1
@qiuai 那就备案开企业国际专线。Nginx 因为 WIN API 实现的原因,性能不好。个人建议可以考虑试试 resilo sync 或者看看之前 V2 有个朋友写的那个 1.76 倍 Nginx 性能的 http server
|
6
xmoiduts 2018-02-01 19:35:11 +08:00 via Android 1
在美国下载好带回来?
|
7
qiuai OP |
8
hadoop 2018-02-01 19:38:16 +08:00 via Android 1
开 ftp 呢? win 上 ftp 还挺稳定吧
|
9
shakoon 2018-02-01 19:39:39 +08:00 1
找个在美国的家伙下载到硬盘后再快递回国
|
10
qiuai OP @hadoop 也存在死机的问题...windows 2012,用 IIS 和 filezilla 都开过 server..都会死机...我都苦恼死了...
|
11
kmahyyg 2018-02-01 19:40:24 +08:00 via Android 1
|
12
Rheinmetal 2018-02-01 19:40:29 +08:00 1
拷贝到支持硬盘快递的美国云服务?
或者试试 cygwin rsync |
14
loginv2 2018-02-01 19:44:28 +08:00 1
做成种子 慢慢挂回来
|
15
l1093178 2018-02-01 19:47:20 +08:00 2
Syncthing / Rsync
|
16
ovear 2018-02-01 19:47:38 +08:00 1
上 synctrayzor,断点续传,实时同步,增量同步,要啥有啥。
闲速度慢还可以挂代理啊。 |
20
rssf 2018-02-01 19:52:44 +08:00 via iPhone 1
你自己飞去美国硬盘拷贝,或者在他机房租个网线端口,再飞回来
|
21
qiuai OP |
23
loginv2 2018-02-01 20:00:06 +08:00 1
@qiuai BT 不会爆 但是做种子需要校验一次数据 估计要等很久 而且你得有个能用的 tacker 虽然可以自己搭 但是也不一定能保证效率 扯远了,一个建设性的意见,如果能压缩的话 压缩一下 顺便分卷打包 加上恢复记录 然后多文件 多线程 小体积 HTTP 下回来,但是服务器需要临时增加硬盘容量。除此之外还真没什么好的想法,同步的方案估计也要校验数据 效率不一定真的就更好。
|
26
webjin1 2018-02-01 20:06:37 +08:00 via Android 1
单文件最大 50GB,我猜是母鸡开出来的小鸡 vm 文件。
|
27
qiuai OP @loginv2 最大的问题就是服务器之间的传输..我国内拖也可以用服务器拖...只要有靠谱的 windows 到 linux 的超大量数据同步解决方案...其他的倒都是小事了.
|
28
pq 2018-02-01 20:34:32 +08:00 1
你为何不反向思考一下呢?既然你的 windows 做服务极不稳定,那就把它当客户端用算逑,然后在你国内的机器上开服务,ftp 或 rsync 之类的均可,再从国外的 windows 服务器上主动上传到国内,这对你国内的机器来说,只要下行带宽足够即可,普通家用光纤即可,只不过得搞到公网 ip。
|
30
alcarl 2018-02-01 20:50:33 +08:00 via Android 1
ftp 多线程断点续传不行吗?
|
32
liyvhg 2018-02-01 20:57:46 +08:00 via Android 1
那就买下那台服务器
|
33
hadoop 2018-02-01 22:01:11 +08:00 via Android 1
怎么感觉你系统硬件有问题导致的死机呢
|
34
function007 2018-02-01 22:03:32 +08:00 1
跑个 Linux 虚拟机把文件目录挂进去,外头开个端口映射看行不
|
35
fiht 2018-02-01 22:03:39 +08:00 1
TB 级别的数据其实并不算大难题。
当时在 DigitalOcean 的机器上下载了 500GB 的小视频,用 rsync+ipv6 拖回来的,速度大概 7-8MB/s,反正能在很可观的速度。 另:感觉 HTTP 不如 rsync,感觉 HTTP 不如 rsync,感觉 HTTP 不如 rsync |
37
h4lbhg1G 2018-02-01 23:15:50 +08:00 1
加密,打包,保持一定冗余。然后校验码。最后用 bypy 来搞吧。多开两个会员账户。 又看了下 Windows 系统。好吧,Winrar 带冗余打包,传度盘。看你的网了,好的情况下,可能数 MB。
|
38
azh7138m 2018-02-01 23:18:57 +08:00 via Android 1
@loginv2 tacker 不是必须的,A 做种,B 直接手动加 peer,输 A 的地址和端口就成。我用 BT 同步过数据,不过只有几十 G 的数据量。
|
39
clino 2018-02-01 23:19:35 +08:00 1
syncthing 试试,多加几个节点应该能够加速吧
另外开 bbr 速度应该也能快不少 |
40
yech1990 2018-02-01 23:34:42 +08:00 via Android 1
为什么纠结于 Windows 啊,拿个笔记本或是树莓派安个 Linux,然后 samba 挂载 Windows 目录,这不就要啥有啥了么?
|
41
lyhiving 2018-02-01 23:35:38 +08:00 via Android 1
主要的还是网络问题,首先化大为小,将文件用 rar 压缩分块,每块 1G。传阿里米西 OSS,然后再批量拉回,解压。
|
42
nciyuan 2018-02-01 23:36:16 +08:00 via Android 1
@qiuai 如果有钱的话,开几台 HK 或者 EU 的跳板机然后多台一起工作,最后一起回传
当然因为 ss 倒闭的那家子的锐速也可以试试 当然美国到中国由于一个伟大的东西和地理原因,还有硬盘 IO 性能,直连一定不会有国内网那么快 考虑好速度和提升和钱再决定把 |
43
chocolatesir 2018-02-01 23:40:33 +08:00 1
rsync+挂阿里云 hk 的代理
|
44
qiuai OP @nciyuan 我不需要代理...这台机器如果不是因为软件方案的问题的话,早就传完了..
机器是 10MB 的口子,家里是 20MB 的口子...只要能跑多线程,是可以跑满的.. |
46
uptime 2018-02-02 01:01:31 +08:00 1
IIS 也死?
为什么不开个国外网盘的会员?挑个国内速度不错的,你服务器打包,再上传到网盘,你这边一边拖回来就是。 用 zip 分包就是。别是用 rar,这样的数量级的,解压会很痛苦的事,zip 足够了 |
49
RangerWolf 2018-02-02 09:03:21 +08:00
aws 呢?
看你的出口带宽了~ |
50
yulitian888 2018-02-02 09:26:57 +08:00
这个瓶颈在于出口带宽和伟大的墙吧?
硬盘发快递是唯一的选择,既然机房不提供这种服务,那么,找个美国本土(同一网络运营商)的电脑,下载过去再快递硬盘不就好了吗?难道还有更快的解决方案? |
51
20has 2018-02-02 09:30:57 +08:00 via Android
Windows 的 rsync 方案是 cwrsync 吧 我只通不过小文件 这种大文件不知道怎么样
|
52
Felldeadbird 2018-02-02 09:42:31 +08:00
楼主应该先 找一台 美国的服务器(允许硬盘对拷)。将现有数据拷过去后,再写入硬盘空运快递回来。
毕竟如果你直接将服务器数据用各种方法折腾,成本和时间都很漫长。 |
53
qiuai OP @yulitian888 我现在最大的问题不是说怎么传回来...是怎么提供稳定的下载服务,让我有机会去拖...
|
54
shixinyu 2018-02-02 09:45:01 +08:00
给 Windows 安装 AWS CMD Tool,然后使用 aws s3 sync 传到 AWS S3 上,再从 S3 上 sync 到本地来。
|
55
cnkuner 2018-02-02 09:48:14 +08:00 via Android
加密打包分割传网盘,开会员取回,校验 md5
|
56
yulitian888 2018-02-02 09:48:55 +08:00
@qiuai 下载的话,FileZilla Server + FileZilla Client ?我试过最大的是单个 300G 的文件,貌似只是挂则就好,没遇到特别的麻烦啊
|
58
fenglangjuxu 2018-02-02 10:07:15 +08:00
上传到 aws 的 s3 上,然后下载下来,还是很快的.
|
60
tees 2018-02-02 10:22:59 +08:00
那就买个 vps 一个月,先上传到 vps 再从 vps 拖回来.
vps 开 1T 的硬盘贵的话,就先开个 80G,分批传. |
61
01802 2018-02-02 10:27:37 +08:00 via Android
多台机开 btsync
|
62
discrete 2018-02-02 10:32:16 +08:00 via iPad
Windows 上开个 Linux 虚拟机?
|
63
bullettrain1433 2018-02-02 10:46:03 +08:00
装个 dropbox 备份呢?然后从 dropbox 上下应该快很多吧
|
64
pingsheng 2018-02-02 10:47:07 +08:00 via Android
@yulitian888 同方案,前些天从杜甫拉几 T 电影回本地,就是遇到了带宽瓶颈,拉了差不多 3 天
|
66
kimqcn 2018-02-02 10:49:29 +08:00
对头,用压缩软件拆包成 10000 个,慢慢下。
|
67
yanze0613 2018-02-02 10:57:54 +08:00
如果信任阿里云,可以用 oss 同步回来,速度不好嗦,但稳定应该还可以
建一个国外地区的 oss,你把数据推进去 然后使用 oss 的跨区同步,拉回来 同步回来,然后在考虑怎么拉下来,链路是阿里云的 不过这个方案我没试过,但是应该有一定可行性 |
68
pingsheng 2018-02-02 10:59:44 +08:00 via Android
@qiuai 单文件可能只有 20G,在 filezilla client 设置同时下载 10 文件,占满本地 100m 带宽了
|
69
warcraft1236 2018-02-02 11:19:55 +08:00
@pq 这个方案赞啊,国内开个 Linux 的服务器,美国的 Win 作为客户端上传数据到服务器上。如果楼主解决了,可以搞个教程之类的讲讲,学习一下
|
70
Tink 2018-02-02 11:24:48 +08:00
rsync 慢慢传不行吗
|
71
qiuai OP |
72
harker 2018-02-02 11:33:50 +08:00
网盘中转
|
73
exuxu 2018-02-02 12:01:15 +08:00
收费的 aspera 考虑下,
我司在做类似的产品,但是贵。。。 |
74
Rorysky 2018-02-02 12:36:32 +08:00
先同步到阿里云,再从阿里云拉回本地
|
75
lycc 2018-02-02 13:07:26 +08:00 via Android
主机上存到阿里云 OSS,再下载
|
76
tees 2018-02-02 15:05:12 +08:00
突然想到,你用 putty 的 pscp 往回传
|
77
bullfrog 2018-02-02 15:13:50 +08:00
网络蚂蚁 网际快车。。
|
78
omph 2018-02-02 15:22:31 +08:00
|
79
rrfeng 2018-02-02 15:23:51 +08:00
rsync 应该比 http 好的多。不要用 ssh 模式,多开几个进程并发,因为可能打满单核 cpu
|
80
laxenade 2018-02-02 15:24:16 +08:00 via Android
土办法 传到 onedrive 吧 onedrive 连国内的速度还可以
|
81
cxbig 2018-02-02 15:25:50 +08:00
买硬盘,让人加密拷贝了寄回来。
|
82
shadownet 2018-02-02 15:36:37 +08:00
服务器上传 google drive, 然后国内下载,应该快的
|
83
defunct9 2018-02-02 17:33:38 +08:00
简单。装个 apache,断点续传就好
|
84
defunct9 2018-02-02 17:34:40 +08:00
忘记标准语了。开 RDP,我来搞
|
85
rssf 2018-02-02 19:29:24 +08:00 via iPhone
如果没有墙,楼上说的各种技术都没问题,可现实是有墙,还是越来越高的墙,加上你这么大数据量,老老实实想办法在墙外拷到硬盘上,再寄或者带回来吧
|
86
liuyin 2018-02-02 19:49:17 +08:00 via iPhone
dropbox 是的不错的方案,最贵的套餐也就 25 刀一个月,足够拖回来了。
|
87
zingl 2018-02-03 00:16:00 +08:00
切小块,任何方法都能弄回来
|
88
yibei 2018-02-03 02:15:19 +08:00 via iPhone 1
试试 raysync,使用 ftp 协议,内部集成可靠 udp 加速,只要两端带宽够,跑满 10M 非常容易
|
89
t43p 2018-02-03 03:23:47 +08:00
服务器用 ISCSI 软件,PC 机 直接出盘,用命令拷贝。
解决了 |
91
Izual_Yang 2018-02-03 10:46:40 +08:00
迅雷离线。
|
94
cfcboy 2018-02-04 08:07:08 +08:00
你一直强调的稳定性,raysync,怎么样?
|
100
wkl17 2018-08-03 21:59:37 +08:00
最后怎么拖回来的?
Filezilla server 50G 拉不动?上面评论里有说 300G 也搞过... 而且可以断点续传,正常应该是可行的才对, |