糗事百科(以下简称“糗百”)被誉为移动互联网时代的新娱乐手段,其上海量真实用户的糗事深受喜爱,每天有1亿次动态请求,峰值请求数为每秒30000次。面对如此高的并发访问量,糗百原来自建的平台越来越难以支撑,开始出现服务器过载、跨机房同步延时大、图片中心磁盘I/O成为瓶颈等问题。
为了解决这些刚性的服务压力,优化用户的服务体验,并考虑到七牛对静态资源存储的强大技术实力和优秀的解决方案,糗百决定将图片存储迁移到七牛平台上,并开始使用七牛提供的CDN服务。本文将结合糗百的数据迁移实践,来详细讲述如何在不中断服务的情况下,将海量数据平滑迁移到七牛平台的全过程。
qrsync+镜像存储打造平滑迁移方案
传统的数据迁移方案是:关掉网站原来的数据上传通道,所有数据变成只读,然后将所有数据上传到新的存储节点,再将上传入口改为新的存储节点,之后开放网站的上传功能。这样带来的问题是,数据迁移过程中,用户长时间不能进行上传操作,用户体验非常差。如何解决这个问题呢?
针对糗百这么大体量的应用,七牛提供的数据迁移方案——上传工具qrsync+镜像存储,很好地绕开了传统迁移方案所带来的问题。糗百先通过七牛的数据上传工具qrsync将大量冷数据传到七牛平台上,并将数据访问地址切换成七牛的域名。由于用户生成的大量热数据还在糗百自己的平台上,为了不出现数据丢失的情况,保证用户访问的流畅性,糗百选用了七牛的镜像存储服务。
七牛的镜像存储为整个数据迁移过程提供良好的过渡支持作用。当用户访问的数据不在七牛平台上时,镜像存储服务将回糗百源站抓取数据,并保存在七牛平台上。故此,镜像存储对每个资源只需回源一次,后续访问的时候就不再回源了。
随后,为了进一步缓解糗百源站的I/O压力,糗百对旧有系统做了一次版本升级,将新系统的图片存储直接放在七牛平台上。新版本的用户可以顺畅地将数据上传到七牛平台上,并实现访问,而旧系统的App版本还会有一部分用户在使用。这时,就要在一段时间内保证两套系统可用。但旧系统的App用户所产生的数据还是会被上传到糗百的自建平台中,在用户第一次访问这些数据时,镜像存储服务对糗百源站做回源,很好地确保了这部分数据的可用性。由于目前App客户端的版本更新速度比较快,因此在所有用户都更新成新版系统,源站的回源流量逐渐趋于0时,就可以将镜像功能删除了。
就这样,在用户毫无感知的情况下,糗百轻松实现了对图片存储的迁移,平稳地解决了图片中心磁盘I/O的瓶颈问题。
镜像存储的使用方法
假设源站所有的图片,放在一个叫img.example.com的子域里。那么平滑迁移的方式是:
如此就完成了整个迁移过程。此时img.example.com这个源站就可以废弃不用了。
结语
相信数据资源高速增长这样的“甜蜜负担”,是很多企业都会遇到的。而如何借助云服务来合理扩容,如何在不中断服务的前提下,平滑地实现数据迁移,将成为决定企业未来命运的关键一环。七牛云存储不仅能为企业用户稳定高效的底层存储平台,镜像存储等优质的服务更能在数据迁移过程中提供强大的助力。此外,完成数据迁移之后,七牛提供的丰富的图片、音视频处理功能也为包括糗百在内的诸多企业带来了很大的惊喜。后续我们将专门撰文分享这部分内容。
1
mopig 2015-05-05 14:33:30 +08:00
连续看了俩广告贴, 快绝望了...
非 糗百 的员工为什么能以糗百的名义发软文? |
2
ewex 2015-05-05 14:36:24 +08:00
就吹吧,对待客户分等级,呵呵
|
3
nilai 2015-05-05 14:37:13 +08:00
我能说这是软文么。
|
4
chairuosen 2015-05-05 14:38:38 +08:00
不是糗百,是七牛的软文。。。
|
5
thankyourtender 2015-05-05 14:38:48 +08:00
再黑一下七牛,不黑浑身难受.
|
6
WKPlus 2015-05-05 14:42:46 +08:00
我还准备来对暗号,你就给我看广告
|
7
Huadb 2015-05-05 14:48:50 +08:00 via iPhone
七牛不是个玩具吗?
|
8
lhehuang 2015-05-05 14:51:59 +08:00
KPI考核的压力越来越大啊
|
9
lyragosa 2015-05-05 14:53:11 +08:00
用个CDN都要认证身份证,真他妈有毛病。
|
10
sopato 2015-05-05 14:57:47 +08:00
七牛用着不错呀,我闪。。。
|
12
yiciyuansky 2015-05-05 15:06:36 +08:00
我是来看评论的
|
13
kamal 2015-05-05 15:17:56 +08:00
|
14
cst4you 2015-05-05 15:23:38 +08:00
|
15
coosir 2015-05-05 16:08:45 +08:00
以为有干货,结果通篇就是为了介绍七牛镜像存储
|
16
Dongdong36 2015-05-05 16:24:31 +08:00
七牛要注册填写的东西不是一般的多。
|
18
mcone 2015-05-05 16:59:32 +08:00
七牛的软文…………
最近发现七牛的抽奖才开始用的,抽了一个冲1000返500的“红包”你觉得我就会去充值了么,又送我一个冲200送60的好友红包你觉得我就会替你推荐了嘛…………PM还是有点naive的说 七牛费了老鼻子劲儿还傻乎乎上传了身份证,现在感觉还真不如另外某家(避免广告嫌弃就不提了) |
19
icloudnet 2015-05-05 17:09:16 +08:00
被标题忽悠进来的
|
20
odirus 2015-05-05 17:20:19 +08:00
软文
|
21
snopy 2015-05-05 22:14:29 +08:00
一入糗门深似海,从此节操是路人。
|
22
snopy 2015-05-05 22:15:35 +08:00
还有一句,糗百虐我千百遍,我待糗百如初恋。
|
23
coreos 2015-05-05 22:51:18 +08:00
@其实还好 七牛有漂亮妹子,约了,你们还有什么要说的?
|
24
Raidal 2015-05-05 22:55:47 +08:00
这个没什么值得说的
|
25
churchmice 2015-05-05 22:59:28 +08:00
糗百我感觉有官方雇佣段子手,天天在上面编段子娱乐大众,看得我恶心死了
|
26
Borden 2015-05-05 23:49:59 +08:00
@churchmice 没错,直接看糗百各种难受鸡皮疙瘩。但是糗百也有好段子,所以一般看其他网站从糗百选出来的那些段子就行了,体验好很多。
|
27
BorisChen 2015-05-06 02:26:46 +08:00 via Android
到处都是七牛软文,看见七牛都恶心了。
|
28
kn007 2015-05-06 07:37:29 +08:00
我是过来支持又拍云的。嗯,就这样
|
29
kn007 2015-05-06 07:39:26 +08:00
七牛如果不是免费,会有那么多人用么?我怀疑
|
30
PP 2015-05-06 07:54:11 +08:00 via iPad
糗百同意你们发布这篇文章了吗?
|
31
xdlailai 2015-05-06 08:21:56 +08:00
这种文章完全起反作用吧,反正我不信这里的人看到这篇文章会用。
|
32
exuxu 2015-05-06 08:26:15 +08:00
七牛的软文 ...
|
33
notcome 2015-05-06 08:40:19 +08:00 via iPhone
原来数据迁移不是这么做的?我小时候想的第一个算法啊……
|
34
kier 2015-05-06 09:05:40 +08:00
就这么个东西,值得发一篇文章?
|
35
xiaozi 2015-05-06 09:06:34 +08:00
绝望了,这是七牛的软文
|
37
lianxiaoyi 2015-05-06 09:36:44 +08:00
软文写的不错。。。。。
|
38
weisdong 2015-05-06 09:45:46 +08:00
糗百这个客户还不错,有机会聊聊哈。
|
39
yuankui 2015-05-06 09:49:57 +08:00
软死了...
|
40
dreamramon 2015-05-06 11:05:34 +08:00
太软了,七牛的速度很一般,实测下一下就知道了。
|
41
williamx 2015-05-06 11:14:12 +08:00 1
这篇软文失败在:
一。看不懂的人看得糊涂; 二。看得懂的人看得透彻。 |
42
sm0king 2015-05-06 11:17:46 +08:00
从不相信七牛 ucloud 之类的,吹的大。
|
43
notnumb 2015-05-06 13:46:12 +08:00
糗百技术差劲,7牛帮忙解决。文章是这个意思么?
|
44
niboy 2015-05-06 16:38:38 +08:00
反正不用。。。
|
45
sigone 2015-05-06 16:57:36 +08:00 via Android
这是一个专发软文的渣渣号
|
46
lidashuang 2015-05-06 17:36:29 +08:00
软文
|