lovejunjie1 最近的时间轴更新
lovejunjie1

lovejunjie1

V2EX 第 372282 号会员,加入于 2018-12-23 04:40:53 +08:00
lovejunjie1 最近回复了
@ccde8259 我现在十分怀疑是我的网络配置出现了问题,dd 模拟 IO 的情况下和我实际使用中的情况是一直的。

iperf3 相关的数据目前没有条件做,我这边可以让我拿来测试的只有一台 linux 服务器,另一台万兆 win10 机器时不时会有人使用。

其他协议我中午也摸过了一圈。NFS 或者 iSCSI 可能会纳入选择。但是因为用户的习惯,现在 SMB 依然是首选。
喜报。打开缓存之后,并把 MTU 设置为 9000 后,有了 10%的性能提升
^C 记录了 301749+0 的读入
记录了 301748+0 的写出
1235959808 bytes (1.2 GB, 1.2 GiB) copied, 7.61762 s, 162 MB/s
Command terminated by signal 2
0.05user 1.06system 0:07.61elapsed 14%CPU (0avgtext+0avgdata 2384maxresident)k
2414144inputs+0outputs (1major+87minor)pagefaults 0swaps
@gam2046 中午调查服务器 bios 和设备管理器的时候。看到了我这边有 iSCSI 的字样。这个似乎是一个硬件的 iSCSI 设备?看来可以尝试一下这个了。
@CallMeReznov 目前 read cache policy 是 read ahead, dirver cache 是 unchanged.中午把 IO 项从直连 direct 改成缓存 cached 了。目前还在试
@choury 额。伪装成 IO 的话,似乎就重现了我之前的问题

[email protected]:~$ sudo time dd if=/dev/sdb of=/dev/null bs=4k iflag=direct
[sudo] huawei 的密码:
^C 记录了 1353482+0 的读入
记录了 1353481+0 的写出
5543858176 bytes (5.5 GB, 5.2 GiB) copied, 37.218 s, 149 MB/s
Command terminated by signal 2
0.34user 4.82system 0:37.23elapsed 13%CPU (0avgtext+0avgdata 2344maxresident)k
10827880inputs+0outputs (1major+86minor)pagefaults 0swaps
@ccde8259 感谢,不愧是神佬。经验丰富。我也是疏忽了忘记告知是 SMB 协议。
我尝试一下 iperf3 。等会吃完午餐把数据发上来。
SMB 协议是我用的比较熟悉的。趁着午饭我也把这三个稍微摸一下。
回 7 楼的疑问:
是的,只考虑性能就可以。
1.目前服务器上 3.5 寸口的 slot 已经基本上告罄,没有硬盘也没有 slot 来测试这个问题了。
2.读写都比较多,我把这块视作一个公共的网络缓存。
3.大概是随机读写会比较多。目前已有的序列帧,单文件 15MB 到 50MB 居多,一次缓存任务,读取 200 到 600 个左右。
4.好的,我去咨询一下。这里或许是有优化的空间的。
5.这个点我还需要继续做一些调查。以我目前的知识储备还需要一些时间才能作答……
@ccde8259 测试了一下读取速度,512MB 。这个速度很理想
[email protected]:~$ sudo time dd if=/dev/sdb of=/dev/null bs=4k
^C 记录了 2213858+0 的读入
记录了 2213857+0 的写出
9067958272 bytes (9.1 GB, 8.4 GiB) copied, 17.7102 s, 512 MB/s
Command terminated by signal 2
0.42user 5.75system 0:17.71elapsed 34%CPU (0avgtext+0avgdata 2452maxresident)k
17711520inputs+0outputs (1major+88minor)pagefaults 0swaps
@ccde8259 感谢回复
1.网络协议的开销方向我尝试做一下调查,感谢指导方向
2.考虑过 SSD 直通,因为费用开销的问题可能要延后才能实施了。并且因为钱的问题,没能上支持 SSD 阵列的卡。
3.硬阵列可以节省一些服务器性能的开销。因为服务器上我还跑着几个虚拟机。这是我选择硬阵列的理由之一。
4.这组 R0 阵列的内容是缓存内容。我会监控硬盘健康状态。在发生无法挽回的事情之前会转移数据。即使因为突发情况数据丢失,也可以通过另一组 R1 恢复数据。或者重新生产数据。耽误两三天的时间,是我们可以容忍的。
5.软阵列因为没有接触过。所以对他的了解并不充分。
6.感谢提供了几个方案的研究方向,我会一一搜索的。
7.我这边数据有 4 个备份。工作盘>成果盘>冷备份>个人硬盘备份。充分考虑了容灾措施。
8.是的。影视行业是重数据,一个文件 1G 还是很常见的。10 分钟的解算缓存,按照每 0.5 帧一个缓存文件的共极端情况计算。需要 28,800 帧,每帧平均 800MB ,需要约 20T 左右容量。
@dapang1221 是双盘做的 R0 。单盘写上限只有 300MB/S 。目前这个速度可以满足我们向服务器的这个 R0 缓存盘同步写入数据用了。直通模式的事情我咨询一下华为售后看看如何操作。
2020-06-10 22:11:58 +08:00
回复了 lovejunjie1 创建的主题 问与答 求助各位,自己搭的家用 nas 文件权限的问题
@msg7086 感谢帮助,我试着看看搜索一下这方面的内容

@ferock hhhhh,开始没怎么在意服务器的类型,后来电影服务器下载的片子想在手机和其他端改名整理的时候遇到了写麻烦,现在因为家庭原因会在不同的机器上切来切去的工作。所以之前可以隐忍的问题,变得不得不解决了。


@Osk 太感谢了!!!!!我去看看怎么配置!!!!
2019-08-07 05:08:18 +08:00
回复了 xiaomajia008 创建的主题 职场话题 该不该辞职,认真提问。。。
到手 30K,告辞了
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   992 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms · UTC 21:18 · PVG 05:18 · LAX 13:18 · JFK 16:18
♥ Do have faith in what you're doing.