10Gb 网络问题，单线程速度很低

[aku]

单线程只有 1Gb 左右

多线程正常
跟硬盘没关系，跟硬盘没关系，跟硬盘没关系
跟MTU没关系，跟MTU没关系，跟MTU没关系
跟巨包没关系，跟巨包没关系，跟巨包没关系

系统是 smartos ，网卡是 Intel X529

看邮件列表也有人反应这个问题
Oracle 的系统也有类似问题
Freebsd 也有类似问题
根据 Oracle 的文档推测，是单线程能分配到的 CPU 资源有关
很可惜 smartos 跟 Solaris 还是有些差别，有的参数没效果

但是看红帽工程师的一个 10Gb 网络调优演示
红帽是没有这个问题的
单线程就能跑满


所以我想问各位
Linux 常见发行版，比如 Ubuntu ， Debian ， Arch ，是不是单线程跑 10Gb 没有问题
另外， Windows 有没有问题？

哪位有相关经验的分享一下

[ryd994]

这…… U 盘启动自己测一下会比较靠谱

[aku]

@ryd994 我要哭了

上次为了一个兼容性问题

连续测试了 freenas freebsd omnios smartos ubuntu …

这才几天……

😵
人生为何如此艰难…

[geeklian]

也没说什么应用，什么环境，怎么测的....
只能推测是人品问题。

[xbb7766]

感觉可能是 cpu 单线程瓶颈，毕竟 10G ，不同系统下网卡驱动是不是一样啊？你说红帽没问题是不是红帽的网卡驱动方面有优化.

[lhbc]

iperf ，我们线上测试 10G 是能跑满的。 CentOS 系统。
另外，我们 MIPS 架构 36 核都能跑 30G 。

[ryd994]

@aku 抽屉里一堆 U 盘，一个一个插上去重启就好了啊，反正 Linux 下同样硬件程序基本可以互换

[aku]

@lhbc 你们的 iperf 是单连接测试结果还是多连接测试结果？

我看红帽在没有任何调优的情况下单连接就好几个 Gb 了

[aku]

@geeklian 你大概没有做过 1Gb 以上的网络

上面的信息已经足够了

又不是调优
明显是其它大问题

我主要是问一下其他人的不同系统的情况而已

[aku]

@xbb7766 不知道是不是驱动有优化

可能性不大

基本可以肯定是 CPU 资源限制
感觉还是跟 kernel 有关

[lhbc]

@aku 默认参数直接跑
[ 4] local 10.200.1.254 port 5001 connected with 10.200.2.254 port 59704
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 12.3 GBytes 10.6 Gbits/sec

[aku]

@xbb7766
@lhbc
刚刚试了下，从 Ubuntu 向 smartos 发包，速度正常
smartos 向 Ubuntu 发包，就只有 1Gb 左右

看来要换系统了
Solaris ， BSD 太陈旧了

[lhbc]

@aku 驱动问题吧。
BSD 的网络不比 Linux 差。

[aku]

@lhbc 很喜欢 BSD ， Solaris 的一些特性
可惜驱动太陈旧了，经常等要从 linux backport 过去
没办法了，只能割爱了

不过这次的问题我感觉并非驱动
oracle 有一篇文章提到
https://blogs.oracle.com/dlutz/entry/maximizing_nfs_client_performance_on
虽然文章很老了，但问题依旧

[chinawrj]

开大你的 tcp window

[tifan]

你可以用 dtrace 跟踪一下。

http://www.dtracebook.com/index.php/Main_Page