AnjingJingan

AnjingJingan

V2EX 第 354678 号会员,加入于 2018-10-09 10:52:27 +08:00
今日活跃度排名 13813
根据 AnjingJingan 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
AnjingJingan 最近回复了
@littlefan 可行,问题解决了,感谢老哥
@littlefan 好像不行啊,一样的,不只是定时任务
除了手动执行,其他方式自动执行输出到日志都不全
@FrankAdler 执行频率已经是最高了,每分钟执行一次
50 天前
回复了 AnjingJingan 创建的主题 程序员 Linux 进程挂起问题
@zhoudaiyu 加了 f 也是返回这个,4 楼回复就是加了 f 的
strace -fp 911015
strace: Process 911015 attached
futex(0x56260c3e7af0, FUTEX_WAIT_PRIVATE, 2, NULL
50 天前
回复了 AnjingJingan 创建的主题 程序员 Linux 进程挂起问题
@zhoudaiyu 994032 kill 了,换了个同样情况的 pid
strace: Process 911015 attached
futex(0x56260c3e7af0, FUTEX_WAIT_PRIVATE, 2, NULL
50 天前
回复了 AnjingJingan 创建的主题 程序员 Linux 进程挂起问题
@xyjincan ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 513912
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 513912
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
62 天前
回复了 AnjingJingan 创建的主题 程序员 服务器磁盘突然写入巨慢问题
@masterjoess 我这台出故障的服务器 kernal 版本是 2.6 ,你的出问题的 kernal 是什么版本?升级到哪个版本解决了?
目前 2 次出问题都是操作了 MySQL optimize ,如果后续还出现这种情况考虑升级
64 天前
回复了 AnjingJingan 创建的主题 程序员 服务器磁盘突然写入巨慢问题
@markgor 有告警的,但是 2 次事发的时候都是凌晨 2 、3 点,没能第一时间去看
这个服务器只有 MySQL ,UPS , node_exporter ,图形界面程序;只有 MySQL 主从同步进程写 IO
另外出问题的这台服务器是塔式的,其他卡片式服务器没问题,所以我在想是不是这台塔式服务器的硬件问题
64 天前
回复了 AnjingJingan 创建的主题 程序员 服务器磁盘突然写入巨慢问题
@Jeffrey4l 不是固定日期发生问题,2 次都是 MySQL 凌晨自动执行 optimize 出问题
64 天前
回复了 AnjingJingan 创建的主题 程序员 服务器磁盘突然写入巨慢问题
@documentzhangx66 感谢老哥提供思路,磁盘在正常状态下没问题的,4 块物理盘是 Intel S3520 ,业务再跑的时候测了一下速:
```
顺序写单进程
fio --name=SeqWrite --ioengine=libaio --iodepth=1 --rw=write --bs=4k --direct=0 --size=4G --numjobs=1 --group_reporting --filename=Seq8G.testData
结果:
WRITE: io=4096.0MB, aggrb=906288KB/s, minb=906288KB/s, maxb=906288KB/s, mint=4628msec, maxt=4628msec

顺序读单进程
fio --name=SeqRead --ioengine=libaio --iodepth=1 --rw=read --bs=4k --direct=0 --size=4G --numjobs=1 --group_reporting --filename=Seq8G.testData
结果:
READ: io=4096.0MB, aggrb=586042KB/s, minb=586042KB/s, maxb=586042KB/s, mint=7157msec, maxt=7157msec

随机写单进程
fio --name=RandWrite1Process --ioengine=libaio --iodepth=1 --rw=randwrite --bs=4k --direct=0 --size=4G --numjobs=1 --group_reporting --filename=Rand1Process8G.testData
结果:
WRITE: io=4096.0MB, aggrb=63519KB/s, minb=63519KB/s, maxb=63519KB/s, mint=66032msec, maxt=66032msec

随机读单进程
fio --name=RandRead1Process --ioengine=libaio --iodepth=1 --rw=randread --bs=4k --direct=0 --size=4G --numjobs=1 --group_reporting --filename=Rand1Process8G.testData
结果:
READ: io=4096.0MB, aggrb=22967KB/s, minb=22967KB/s, maxb=22967KB/s, mint=182616msec, maxt=182616msec


随机写 64 进程
fio --name=RandWrite64Process --ioengine=libaio --iodepth=1 --rw=randwrite --bs=4k --direct=0 --size=512M --numjobs=64 --group_reporting --filename=Rand64Process8G.testData
结果:
WRITE: io=32768MB, aggrb=1208.1MB/s, minb=1208.1MB/s, maxb=1208.1MB/s, mint=27106msec, maxt=27106msec

随机读 64 进程
fio --name=RandRead64Process --ioengine=libaio --iodepth=1 --rw=randread --bs=4k --direct=0 --size=512M --numjobs=64 --group_reporting --filename=Rand64Process8G.testData
结果:
READ: io=65536MB, aggrb=8381.7MB/s, minb=8381.7MB/s, maxb=8381.7MB/s, mint=7819msec, maxt=7819msec
```
线上业务再跑不好停机测试,只测了一遍,正常状态硬盘每秒最高能写入 120MB , %util 不超过 30%

这 2 次出问题都是在晚上凌晨 2 、3 点,事发第一时间不能上去看,第二天上去看的时候除了硬盘写不动,一切跟往常没区别

线上数据库是 1 主 3 从,只有这一台塔式服务器出现过这种问题,另外 2 台卡片式服务器没问题,主库也是卡片式服务器也没问题,所以我现在想是不是这台塔式服务器的硬件问题
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2804 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 10ms · UTC 13:42 · PVG 21:42 · LAX 06:42 · JFK 09:42
Developed with CodeLauncher
♥ Do have faith in what you're doing.