网易云崩了？ 502 Bad Gateway

[tmtstudio]

听着听着突然无了，还咋写代码🥲

[vainl1]

www 。netease 。com
open 。163 。com
house 。163 。com
随便看了一下，这些也 502 了

[yinft]

不懂为啥音乐软件会奔溃 这也没啥大的瞬时流量吧

[root71370]

@yinft 机房挂了

[lqw3030]

技术都投到如何实现摇一摇广告跳转上了，HA 就交给上天吧

[nicksors]

@vainl1 https://you.163.com/ 这个还在

[ruzztok]

崩了，退出登录就登不上了

[yinft]

@root71370 感觉不是机房挂了就是机房出口光缆被挖断了，哈哈

[MeteorVIP]

哈哈哈,看样子都是边听音乐边摸鱼的人.

[MagmaBlock]

网页挂了，开了下 App 看还真寄了，图片和音乐都播不动了
估计一会就上新闻了

[kumastudio]

我还以为我电脑坏了，然后试了试手机也不行

[idc123]

以为是我自己的问题。

[ruzztok]

会不会是摇一摇整挂的，趁乱去造个谣，把这玩意下掉😂😂

[flyqie]

@yinft #7

那这 HA 做了个寂寞啊。。

网易这么大一公司，机房总不能全爆炸了吧？

[zhiyu1998]

@nicksors 已经炸了，哥们

[sagaxu]

网易数帆首批通过中国信通院应用多活“先进级”能力评估

5 月 20 日，网易数帆轻舟云原生平台顺利通过中国信通院首批应用多活“先进级”能力评估。

为提升云服务稳定运行水平，加强企事业单位系统稳定性保障工作，中国信通院于 2022 年 3 月初发起了“云系统稳定性保障计划”（以下简称“稳保计划”），吸引了金融、云服务商、互联网等行业的 20 余家头部企业和机构参与，并完成了多项云系统稳定性相关评估。“应用多活能力”评估便是云系统稳定性评估的重要组成部分。

据了解，此次应用多活架构能力以通信行业标准《应用多活架构能力要求》为评估依据，基于当前分布式系统稳定性的发展现状与痛点，助力企业增强核心业务的连续性及抗风险能力，保证核心业务的稳定、持续运转。

《应用多活架构能力要求》标准由中国信息通信研究院牵头，网易数帆参与编制，该标准也获得了业界极高关注度。

[crc8]

哪个施工单位出来背锅？

[batilo]

我还以为是我本地的 mosdns 出问题了... 正在找问题

[FanError]

163.com 主站都崩了，502

[itechnology]

网易云官方回复说是基础设施故障。不知道是什么基础设施。网上有人说是数据库迁移导致的，不知道真假。

[mmdi]

暂停不了，一直自动切歌蹦来蹦去。。只好退出

[tanky]

越修越严重了

[ExplodingFKL]

前情提要： 云音乐贵州机房迁移总体方案回顾

https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA

[tmtstudio]

@FanError 自动重定向到 m.163.com 了，真搞笑，哈哈哈

[qq1427168550]

又做了一次负面广告

[skyyan2000]

现在网页 直接切到 m.163.com 了

[c3de3f21]

服务器拿去开魔兽世界了。。。？

[killva4624]

@tmtstudio 这个重定向倒有点像应急处理干的...

[ArthurLou]

切歌的时候断了，严重影响我的生产效率了

[bingoup886]

@killva4624 这也算是止损手段啊，总比一直挂着好点

[liaohongxing]

刚连魔兽主站都打不开了

[killva4624]

@bingoup886 是啊，放能看的东西总比白晃晃的 502 好。感觉又是什么核心的组件挂了。

[kenilalexandra]

其他 1.1w+的第三方应用也都挂了。。。
https://mp.weixin.qq.com/s/sR5S2Hvc78sJgbCaFB4MQw

[kenilalexandra]

@yinft 会不会可能是删库了

[ddkk1112]

高可用，异地多活
原来，大家都是草台班子

[wednesdayco]

@skyyan2000 杭州的服务挂到北京的服务上也是没谁了

[ExplodingFKL]

> 是啊，放能看的东西总比白晃晃的 502 好。感觉又是什么核心的组件挂了。
@killva4624 估计这个是 ingress-nginx 的默认模板，又是 k8s 问题 (

[CCHome]

P0 事故坐等背锅侠

[Modred]

在用且发现有问题的

* 网易公开课: 挂
* 网易新闻: 强制跳转手机版
* 网易云音乐: 挂
* 网易广告服务: 挂

[Raven316]

这么大事故，这么长时间恢复不了，是不是机房被爆破了[doge]

[kk2syc]

莫非是 徐波 施法了！

也许优化到大动脉了，运维架构底层的历史包袱现在没人看得懂，一碰就 boom ！
----
@kenilalexandra 猪场肯定有冷备份，至少可以尽快恢复主站。

[prorigor]

网易云也不过是草台班子

[Modred]

@Modred
* 网易数读: 挂
* 网易健康: 挂

[LCheng]

还以为公司把网易云禁了，都开始问候公司了

[CMLab]

全线崩溃，等会看网易新闻报网易事故

[sakuralFA]

现在挂的感觉都是杭州的东西呀

[Shura]

什么灾备多活，就是个 PPT ，哈哈哈

[MelDu]

连主站都受影响了，这肯定上新闻了吧。

[GuLuDaDuiZhang]

现在为止还没恢复，，有够菜的会不会玩呀，不会又是降本增笑吧。断了这么久不得找网易退钱。

[mars2023]

@prorigor #41 再强的班子，也不能保证百分百不出事故；那是上帝的权能 🐶

[NiceGeekJasonChu]

网易云音乐是不是要补偿一个月的会员啊，否则众怒难平啊

[AmaQuinton]

前段时间做过迁移
https://www.ithome.com/0/789/489.htm

https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA

[Tyrant1984]

刚崩的时候还没在意，我还庆幸我还留着 Foobar2000 了，硬盘上翻了翻还有以前剩下的几个 G 的无损音乐~~

[Richared]

天天吹牛逼 HA ，不也得挂着 502 慢慢修么？一个小时解决不了。天天高可用的那拨人呢？

[Yorkzhu]

高可用

[loy6491]

@Richared #53 可能觉得不需要那么高的可用就优化了😄

[Richared]

@loy6491 这么看也就 b 站没吹牛逼。

[shervy]

@Richared #53 如果连口号都不喊的话，那不是加快公司优化么

[coolcoffee]

可能之前高可用做的太好了，以至于老板觉得那帮人就是浪费公司钱吃白饭的🐶

[quqivo]

爽了，继续灾难修复，继续吹牛逼，我看什么时候能访问

[qingshui33]

他们团队已经提前预料到了 😂

[Yorkzhu]

<img src = 'https://s3.uuu.ovh/imgs/2024/08/19/bdbb682ede714f78.jpg' >

[mightybruce]

看他们微信公众号的方案，就像看八股文一样，实际不是这么回事，哈哈，露出了基础设施团队不行咯。
https://mp.weixin.qq.com/s/ra-TAgyVUxZgp8cxQjunnA
云音乐贵州机房迁移总体方案

[jenkin01]

恢复了

[Modred]

@Yorkzhu 这是老图了

[Yorkzhu]

@Yorkzhu 贴错了…

[dikey]

今天是什么重要的日子吗😂

[mark2025]

据说 tidb 挂了

[D0n9]

@mightybruce 这也八股文吗。。。

[maplelin]

服务器被修空调的搬走了，手动狗头

[maskerTUI]

突然觉得我上我也行

[Modred]

云音乐已经恢复了

[mightybruce]

@D0n9 业务数据迁移这些也是八股文，属于比较有难度的，整篇文章对存储层和中间件和网关提及很少，就是业务相关的数据迁移。

[zghbyslzf]

恢复个鸡儿，收藏还是报错

[MelDu]

2024 年 8 月 19 日 16:11:07
网易云音乐；
歌曲播放：OK
搜索：OK
评论：OK

[MelDu]

@MelDu 2024 年 8 月 19 日 17:11:07
时间错了

[Grande]

[hafuhafu]

这下有人要跑路了

[RayJiang9]

[dule]

据说是云存储的问题，剩一个人还是咋的，按前人文档整崩了，基本都裁完了，找不到人修，真的话那可就太惨了，剩一个人维护最后还要背锅

[dule]

降本增笑，裁猿广进，开猿节流的标准案例来了

[paoqi2048]

降本降效（

[securityCoding]

@flyqie 服务没做跨集群部署吧...

[Sahzzz]

@qingshui33 老哥，这个哪里的文章？求个地址

[huangbh]

开猿节流，降本增笑

[beiwei2008]

@mars2023 说好高可用呢？还挂这么久

[codevoice]

@Sahzzz 22 楼发了的。。。后面很多也发了

[zdw406]

又超时了

[CSGO]

一定是米哈游搞的

[LieEar]

开猿节流，降本增笑

[meilicat]

感觉是蔡徐坤控制了网易云

[colincat]

降本增笑 哈哈哈

[sampeng]

据说：是只剩一个运维了。东西太复杂，操作只能靠前人的文档。然后做了一下运维操作就炸了

[AnonymousUser]

作为前 SRE ，感概 SRE 工作真难。。。

[TheWalkingDead]

内部人士说一声：确实是上面有人说的云存储问题，确实是只剩一个人，确实基本都裁完了，确实是这个人靠着前人留下的文档改错了东西。另外，不止云音乐受到影响，网易新闻也崩了，因为用的一个云存储服务。

[andforce]

@NiceGeekJasonChu 给了 7 天🥲

[huangzhiyia]

看完了搬家方案

光看都看得我汗流浃背了都

稍有不慎就是重大事故

[flyqie]

@TheWalkingDead #94

挺好奇云存储是怎么爆炸成这样的。。不知道会不会出对外发事故报告啥的。

怪不得前文说是基础设施。。这确实基础设施啊。

[serialt]

@TheWalkingDead #94 所以是把裁掉的人叫回来才解决啊吗 [吃瓜]

[Vh5g6zZU]

@TheWalkingDead 只剩一个也太搞了😵‍💫

[TeslaLyon]

真巧，赶上了