V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
yao990
V2EX  ›  Linux

内网互拷文件速度今天突然从 100+MB/S 降到 30MB/S 了,找不到问题出在哪

  •  
  •   yao990 · 2020-03-06 01:17:45 +08:00 · 10807 次点击
    这是一个创建于 1483 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我那个用 centos 作的家庭存储,一直用的好好的,大文件互拷一般都在 100MB/S 以上,今天把机器拉出来吹了下灰尘,然后速度就降到 30+MB/S 了,然后重启电脑、重启路由器、重做水晶头都不顶用,,不知道到底是哪的问题? 配置如下: cpu:j1800 内存:8G 网卡:PCIE X1 82576 双口千兆 硬盘:HGST 3T *2 路由器:asus ac68u 系统:centos7,挂载 nfs

    但是我现在无论是使用 sftp 还是 nfs 或者 smb 都无法再达到之前的速度。。 这个和软件有没有关系?我这两天在折腾 crossover,,

    65 条回复    2020-03-11 18:53:01 +08:00
    visitant
        1
    visitant  
       2020-03-06 01:22:41 +08:00
    既然每秒 30 多 MB,那网络导致的可能性比较小,测试下 centos 上现在硬盘的速度是多少?
    yao990
        2
    yao990  
    OP
       2020-03-06 01:33:09 +08:00
    @visitant 测试结果如下
    /dev/sda3:
    Timing cached reads: 3802 MB in 1.99 seconds = 1907.58 MB/sec
    Timing buffered disk reads: 434 MB in 3.00 seconds = 144.45 MB/sec

    /dev/sdb1:
    Timing cached reads: 3506 MB in 1.99 seconds = 1758.76 MB/sec
    Timing buffered disk reads: 452 MB in 3.01 seconds = 150.25 MB/sec
    yao990
        3
    yao990  
    OP
       2020-03-06 01:35:44 +08:00
    @visitant
    我笔记本的速度
    /dev/sda2:
    Timing cached reads: 10134 MB in 1.99 seconds = 5097.10 MB/sec
    Timing buffered disk reads: 350 MB in 3.00 seconds = 116.52 MB/sec
    cev2
        4
    cev2  
       2020-03-06 01:40:30 +08:00
    哈哈,又看到你了,只有 30MB/s ?能上个图看看吗,你确定连得不是 WiFi ?
    visitant
        5
    visitant  
       2020-03-06 01:53:48 +08:00 via iPhone
    @yao990 timing cached 是啥意思。。该不是读写缓存了吧,写入 5g 每秒也太快了吧
    visitant
        6
    visitant  
       2020-03-06 01:54:34 +08:00 via iPhone
    @yao990 这读取速度比 pcie3.0 x 4 都要快了。。。
    catror
        7
    catror  
       2020-03-06 01:54:48 +08:00 via Android
    先笔记本网线直连测一下。逐步缩小问题范围,不要盲目的测试。
    yao990
        8
    yao990  
    OP
       2020-03-06 01:57:37 +08:00
    @cev2 不是 wifi,笔记本和存储都是 centos7,笔记本连的有线网,两边都是千兆。。
    这个图片,,,,我这样发出来不知道你能看到不??
    https://s.cxice.com/thread-3816.htm
    yao990
        9
    yao990  
    OP
       2020-03-06 01:58:57 +08:00
    @visitant 这是笔记本上的读取,是 ssd 的
    cloudbeyond
        10
    cloudbeyond  
       2020-03-06 02:05:26 +08:00
    千兆是全双工吗?可能是自协商没有到全双工
    yao990
        11
    yao990  
    OP
       2020-03-06 02:08:24 +08:00
    @catror 我也想直连,但是我发现了一个新问题,只要笔记本有线和路由器一断开立马假死,插别的地方都没用,再怎么搞都没反应,但是一插上路由器立马又好了
    visitant
        12
    visitant  
       2020-03-06 02:12:09 +08:00
    @yao990 即使是 ssd 也没有这么快,这测出来的速肯定是用了 cache 了.
    cev2
        13
    cev2  
       2020-03-06 02:19:10 +08:00
    不知道你这俩硬盘已用空间占比多少,组没组 raid,50MB/s 的话 SATA 机械硬盘内圈也就这个速度。你从 NAS 里往外拷些老文件也是这个速度嘛?
    ysc3839
        14
    ysc3839  
       2020-03-06 02:26:11 +08:00 via Android
    建议先用 iperf3 测速看看。
    yao990
        15
    yao990  
    OP
       2020-03-06 02:26:48 +08:00
    @cev2 centos 自带的 lvm 卷组,相当于 raid0,只能看到总用量 40.8%,看不到每个硬盘各自用了多少,拷新老文件一样的速度,之前读写都是 100+,今天突然就降了,nfs 模式读 30 多,sftp 模式读 50 多,写比读稍微快一些,60+,没错,写比读还要快了,不知道哪的毛病。。
    woshijidan
        16
    woshijidan  
       2020-03-06 02:32:26 +08:00 via Android
    有没有可能是网线的问题?
    yao990
        17
    yao990  
    OP
       2020-03-06 02:38:38 +08:00
    @ysc3839 这是测速结果
    [ ID] Interval Transfer Bandwidth Retr
    [ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec 0 sender
    [ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec receiver
    看这个好像没啥问题,但是为啥拷文件那么慢?
    cev2
        18
    cev2  
       2020-03-06 02:38:57 +08:00
    @yao990 写比读快反过来你确定不是你笔记本的问题?
    若没有第三设备测试的话,
    先分别查看服务器到路由器、笔记本到路由器网口的协议速度是否正常,然后拷贝一个大文件同时观察服务器、路由器、笔记本 top 命令中各进程负载是否正常。未必是服务器的问题。
    ps:你在玩 crossover 莫非是深度?截图不像呀。。
    cev2
        19
    cev2  
       2020-03-06 02:40:39 +08:00
    @cev2
    @yao990 鉴于之前-_-||你用 NTFS,莫不是你又折腾文件系统了吧。
    yao990
        20
    yao990  
    OP
       2020-03-06 02:42:27 +08:00
    @woshijidan

    @cloudbeyond

    网线应该是没问题的,看上面测速结果
    yao990
        21
    yao990  
    OP
       2020-03-06 02:47:10 +08:00
    @cev2 没有,在想尽办法给 centos 装 microsoft office2007,于是有了 crossover,不是深度,是 centos7.。。。。
    网络应该是没问题的,刚才用楼上推荐的 iperf3 测速,能达到 934Mbit/s 的速率,换句话说就是能达到 117MB/S 的网速。。。
    [ ID] Interval Transfer Bandwidth Retr
    [ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec 0 sender
    [ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec receiver
    ysc3839
        22
    ysc3839  
       2020-03-06 02:47:34 +08:00
    @yao990 那就说明不是网线之类的问题了。至于为什么慢,我也不知道。
    yao990
        23
    yao990  
    OP
       2020-03-06 02:52:01 +08:00 via Android
    @ysc3839 刚才单独测硬盘速度也正常,网速也没问题,莫不是系统问题?额,,,,
    yao990
        24
    yao990  
    OP
       2020-03-06 02:55:58 +08:00 via Android   ❤️ 2
    @cev2 都是闲出来的问题,用了两年一动不动,一点问题没有,,今天清个灰,就出问题了。。
    过个年,我已经折腾 4 次了,第一次是给笔记本换 xfce,结果系统崩了,最后重装,第二回是给音响换电位器,结果音响聋了,还好熬夜修好了,第三回是整白菜白光,结果烙铁不加热了,后来也修好了,这是第四次了,,,,,
    gemini767
        25
    gemini767  
       2020-03-06 11:48:03 +08:00
    @visitant pcie 比这还是快很多好吧.....pcie 表示存储器用不满,这锅我不背
    woshijidan
        26
    woshijidan  
       2020-03-06 11:59:40 +08:00 via Android
    @yao990 reboot 试试?可能是某硬盘配置 bug 了
    augustheart
        27
    augustheart  
       2020-03-06 12:20:33 +08:00
    1.路由器口插得不对?
    2.cat6 换成了 cat5 ?
    3.硬盘出现坏道了?
    4.该去武当山找张真人做个法了?(调皮)
    augustheart
        28
    augustheart  
       2020-03-06 12:22:06 +08:00
    ps:硬盘刚出现坏道的时候,可能在多次重试后还是能读取出来,表现出来就是读取速度大幅下降
    visitant
        29
    visitant  
       2020-03-06 12:39:08 +08:00
    mateor95
        30
    mateor95  
       2020-03-06 13:55:45 +08:00 via iPhone
    我遇到过一次类似问题,是 usb 3.0 掉成 usb 2.0 的缘故,你的不清楚🤦‍♂️
    yao990
        31
    yao990  
    OP
       2020-03-06 14:18:42 +08:00 via Android
    @woshijidan 已经 reboot 无数次了,然而无一点效果。。。
    yao990
        32
    yao990  
    OP
       2020-03-06 14:20:07 +08:00 via Android
    @augustheart 路由器还是原来的路由器,线还是原来的线,口也是原来的口,水晶头我亲手做的,。,,,硬盘坏道??这个,我觉得不太至于,要真是硬盘坏道就惨了
    yao990
        33
    yao990  
    OP
       2020-03-06 14:22:48 +08:00 via Android
    @augustheart 等我忙完测下坏道试试,老子保佑硬盘没问题
    cev2
        34
    cev2  
       2020-03-06 14:32:53 +08:00 via Android
    @yao990 😏若真的硬盘问题岂不可以借此将 lvm 更换为 zfs 或 btrfs,定时快照防手残岂不是美滋滋。单机下用 lvm 岂不是杀鸡屠牛刀。
    yao990
        35
    yao990  
    OP
       2020-03-06 15:29:45 +08:00 via Android
    @cev2 😱😱😱😱😱好恐怖,我决定回去就测下坏道,看到底有没有问题,,,另外,nfs 下为啥比 sftp 要慢?按道理是一样的才对
    augustheart
        36
    augustheart  
       2020-03-06 16:39:46 +08:00
    @yao990 希望是我敏感了,我有过惨痛的回忆。
    手上曾经的某台笔记本,每天都用得好好的,某晚心血来潮装系统(那时候年轻,还有装系统的精力),然后在安装过程中蓝屏,反复几次之后非常困惑,按说已经是 win7 了,不是硬件问题不大可能蓝屏。最后检查硬盘发现,果然红了一片………………
    cev2
        37
    cev2  
       2020-03-06 16:39:57 +08:00
    @yao990 #35 按道理也不一样呀,局域网内的话:
    NFS 和 SMB 默认数据都是不加密的,而 SFTP 是经过 SSL 加密的,所以如果嵌入式设备性能有限(比如路由器当 NAS ) SFTP 可能跑不满。
    NFS 用 UDP/TCP 传输文件,若 挂载的块( Linux 叫法)大小 与 TCP 包大小 与 硬盘文件系统的簇( Windows 叫法)大小 还有 以太网的帧大小 对不起来也可能跑不满,既然你以前能跑满又没改动过的话,那问题不大。
    ps:以前我在路由器上( openwrt )挂载硬盘开 SMB 当 NAS,用 SMB 能跑满,但 SFTP 跑不满( CPU 不支持加密指令集,满载),但如果开启路由器的硬件 NAT 加速功能 SMB 也跑不满了。。。
    gemini767
        38
    gemini767  
       2020-03-06 18:06:40 +08:00
    @visitant 点开了,所以呢? 单 line 是双 lane,至今没看过跑满 pice 的
    bsidb
        39
    bsidb  
       2020-03-06 18:38:53 +08:00
    可以看看硬盘的 S.M.A.R.T 数据,如果磁盘有坏道,会有大范围异常。
    ym1996
        40
    ym1996  
       2020-03-06 20:46:03 +08:00
    感觉是硬盘的瓶颈吧
    suspended
        41
    suspended  
       2020-03-06 22:09:44 +08:00
    @visitant 你可能对现在的 ssd 有点误解。samsung nvme pm981 这种便宜货都能读 3GB/s,写 1.8GB/s 了。
    visitant
        42
    visitant  
       2020-03-07 00:47:51 +08:00
    @suspended 好吧.....但是这个 5GB/s 也太秀了,都超过 pcie3.0x4 的带宽了
    beggarvip
        43
    beggarvip  
       2020-03-07 01:07:41 +08:00 via Android
    挂个 ssd 上去再测
    yao990
        44
    yao990  
    OP
       2020-03-07 01:36:39 +08:00 via Android
    @augustheart 目前看来硬盘暂时是正常的,已经扫了 85%了,没发现坏道,,现在排除了硬盘和网络,那就剩系统了,可是系统会出什么问题??
    yao990
        45
    yao990  
    OP
       2020-03-07 01:39:16 +08:00 via Android
    @cev2 好吧,我现在正在扫硬盘,从下午七点开始扫,现在扫了 85%了,暂时没发现坏道,如果硬盘和网络都被排除了,那好像就只剩下系统问题了,可是系统会出什么问题?
    yao990
        46
    yao990  
    OP
       2020-03-07 01:40:41 +08:00 via Android
    @bsidb 没看 smart,直接扫坏道,目前为止已经扫了接近 7 个小时了,完成了 85%,暂时没法玩坏道。
    optimus
        47
    optimus  
       2020-03-07 06:30:47 +08:00
    @yao990 #46 继续追踪此事,楼主更贴啊
    LiYanHong
        48
    LiYanHong  
       2020-03-07 09:29:11 +08:00
    再找一台设备当服务器,互拷下看看,确定下是网络设备的问题还是服务器的问题
    dadachen1997
        49
    dadachen1997  
       2020-03-07 09:51:43 +08:00
    千兆网口被识别成百兆了?
    csdreamdong
        50
    csdreamdong  
       2020-03-07 10:03:10 +08:00
    可以先用 iperf 测下。是不是网络吞吐量的问题。。然后 dd 或者 fio 测下磁盘 io 问题
    xyjincan
        51
    xyjincan  
       2020-03-07 10:41:38 +08:00
    配置 smb 重新设置一下,增加点缓存
    cherryas
        52
    cherryas  
       2020-03-07 10:43:50 +08:00
    可能和文件有关?表面上是大文件实际上的各种碎片文件的集合。
    laminux29
        53
    laminux29  
       2020-03-07 12:46:48 +08:00
    直接用替换法不就解决了。
    deef
        54
    deef  
       2020-03-07 17:11:23 +08:00
    你清了个灰...是不是动过网口了?重新用钳子做个头试试呢...
    yao990
        55
    yao990  
    OP
       2020-03-08 17:22:13 +08:00
    @csdreamdong 测过,吞吐量没问题,磁盘也正常
    @dadachen1997 没有,正常千兆,要不然也不能到 50MB/S
    @deef 试过,无效。。
    @cherryas 这个不应该,因为不可能所有的文件都是碎片,而现在是所有的文件拷贝速度都降下来了。
    yao990
        56
    yao990  
    OP
       2020-03-08 17:46:02 +08:00
    @optimus
    @LiYanHong
    @cev2
    @augustheart
    最新进展
    上次测了网络吞吐量,然后对硬盘进行了全盘扫描,最后发现无问题,那就剩下系统了。
    那就换个系统再测,打算用 Ubuntu 试用版(像 pe 一样,无需安装就可以用),结果不知道什么原因,在笔记本上访问不到。
    那就给移动硬盘里装个系统测试,先把移动硬盘现有分区缩小,腾出空间来装新系统,先用 gnome-disk 缩小,结果半路卡住了,可能是 gnome-disk 对 ntfs 支持的不好,于是分区损坏,于是换到 Windows (笔记本是双系统)下进行 chkdsk,移动硬盘是 1T 的,所以时间比较长,…………接近 10 个小时过去了,眼看快要完工了,结果,电脑突然重启了,完全没有任何预兆,,于是,前功尽弃,,然后又在服务器上换到 pe 下进行 chkdsk,又是十多个小时过去了,,这回成功了,这次在 diskgenius 下缩小分区,成功,重启,装系统,装的时候 U 盘是 uefi 格式,而移动硬盘是 mbr 分区表,装不进去,退出来,转换成 gpt,重启时发现 U 盘自带 mbr 格式,白转换了,既然已经转换了,那就继续装吧,用 uefi 启动 U 盘,安装,一切顺利,安装完成。
    再测,一样的结果,那就说明不是系统问题,那是什么问题呢?我把笔记本切到 Windows 下,测试 smb 的速度,稳定 75MB/S,,,我感觉可能是我笔记本的 centos 出问题了,,我再试试用 Ubuntu 启动笔记本,连接服务器试下,希望能确定故障点。。
    yao990
        57
    yao990  
    OP
       2020-03-09 13:59:14 +08:00 via Android
    3 月 9 日更新
    这两天我又找来了一台电脑,同样安装 centos 和 win10,分别和服务器、笔记本在不同的系统下进行互拷操作,发现 centos 下的结果一致,sftp 基本在 50MB/S 左右,win10 下都在 75MB/S。都达不到之前的 100MB/S。
    顿时我又觉得和系统无关了,,,下午准备再找台交换机再试。
    yao990
        58
    yao990  
    OP
       2020-03-09 16:13:35 +08:00 via Android
    3 月 9 日下午
    买来一台华三的 s1209f 八口千兆交换机,分别测试。
    win - win,最高 75MB/S,不稳定。
    centos smb - win,最高 117MB/S,同样不稳定,一会儿高了一会儿低了。
    centos smb - win 中转 - win,稳定 75MB/S。
    centos nfs - centos,最高 30MB/S,稳定在 24MB/S,,
    centos sftp - centos 中转 - centos nfs,稳定 42MB/S。
    头大了,不知道到底哪的问题。。
    webs
        59
    webs  
       2020-03-10 14:44:06 +08:00
    隔壁老王也在拷贝占了带宽吧,或者冠希在下小电影狂写磁盘
    yao990
        60
    yao990  
    OP
       2020-03-10 21:31:33 +08:00 via Android
    3 月 10 日
    升级了 nfs v4.1,依然龟速
    yao990
        61
    yao990  
    OP
       2020-03-10 21:31:55 +08:00 via Android
    @webs 没有,就我自己,没别人
    optimus
        62
    optimus  
       2020-03-11 00:52:13 +08:00
    继续关注和死磕 ing
    DUSTINTHEWIND
        63
    DUSTINTHEWIND  
       2020-03-11 16:18:43 +08:00
    亲 这边建议把灰重新涂上试试
    yao990
        64
    yao990  
    OP
       2020-03-11 18:47:46 +08:00 via Android
    @DUSTINTHEWIND 🤣🤣🤣🤣🤣这个就不必了,毕竟灰已经没了,找不回来了
    yao990
        65
    yao990  
    OP
       2020-03-11 18:53:01 +08:00 via Android
    @optimus 谢谢关注
    3 月 11 日,
    今天试着给服务器做端口汇聚,没成功。
    然后试着给客户机设置软挂载,以解决 nfs 断线时客户机假死的问题,结果也没有成功,反而出了个新情况
    ,从客户机往服务器拷东西时,会出现断续的情况,就是传 3 秒,停 3 秒,再传 3 秒,再停 3 秒,就这样,直到传完。这个问题到现在依然没有解决,嗯,雪上加霜。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3280 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 14:10 · PVG 22:10 · LAX 07:10 · JFK 10:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.