买了一台 HPE ProLiant ML30 Gen10 当 NAS

[imbushuo]

实习的工资和 Relocation 补贴感觉有点不大用的完，最近又下了一张新信用卡，于是就打算把 NAS 买了。一开始打算买群晖，后来看了一眼价格，立即点击关闭网页。然后再看了看 MicroServer Gen10 Plus，发现主要问题是 PCIe 的可扩展性不够，于是选择了同等价位的 ML30 Gen10 。

概况

我家里大概的情况是：

• 因为我毕业之后要搬一次家，所以我目前暂时不购买 Rack mount 的产品
• 我对 SMB Direct (RDMA) 有需求，家里已经有 10GbE 的网
• 我还需要开一些虚拟机（大概 12 个），网卡如果有 SR-IOV 是最好的
• 暂时对噪音有一些要求
• 我家里有 Active Directory 域，所以身份认证集成很方便

硬件

这个机器有很多的 SKU，最便宜的大概 500 多刀样子，默认硬盘不可热插拔，走主板自带的 SATA 控制器。乞丐版的 PCIe 风扇也是默认没装需要另买的，不过一些散热量不高的卡不装也没事（虽然 iLO 会警告你）； iLO 5 的独立网口和 License 也是需要加钱的（虽然 iLO Advanced 免费到 2021 ）。实际上把硬盘改热插拔是可行的（但是你需要买其他型号的 Backplane + 笼子 + HBA ），如果觉得热插拔是硬需求的话可以加点钱上有热插拔的版本，大概 800 刀。我的硬盘还在陆续到达中，所以目前的硬件配置是这样的：

• 这台机器的 SR-IOV 是全的，默认能用
• 自带网卡是 Intel I350，两个口，有 SR-IOV 支持（默认每个口 6 个 VF ）
• 我再加了一块 I350-T4 然后直接把 PF 通进了某个虚拟机里（特殊需要），和上面那个卡一样，也是每个口默认六个 VF
• 加了一块 Mellanox ConnectX-4 Lx，一个 PF 通进存储虚拟机里跑 RDMA，另一个口暂时留空
• 硬盘买的都是 WD/HGST UltraStar （从三个 supplier 买了不同批次的硬盘，还有一些盘在路上），系统盘就用了一块普通的 M2 NVMe SSD
• 内存插满了 64GB UDIMM ECC

噪音情况的话，把它丢在单独的一个房间里，关上门声音就不见了。放在客厅的话它的噪音跟我的空调近似，然后稍微轻那么一点。

SMB Direct

存储机跑的是 Windows Server 2019 Datacenter，然后直接 JBOD 跑 Storage Space Mirror 然后打开了数据去重。由于一些 concern，我在 Storage Space 上使用了 NTFS 而不是 ReFS 。默认情况下 Windows 检测到支持的卡会自动打开 SMB Direct，可以用命令检查一下：

PS C:\Users\redacted> Get-NetAdapterRdma

Name                      InterfaceDescription                     Enabled     PFC        ETS
----                      --------------------                     -------     ---        ---
vEthernet (Internal LO... Hyper-V Virtual Ethernet Adapter         False       NA         NA
PCIe Slot 3 Port 2        Mellanox ConnectX-4 Lx Ethernet Adapt... True        ...


PS C:\Users\redacted> Set-NetOffloadGlobalSetting -NetworkDirect Enabled

创建了 SMB 共享，然后创建了一个家庭 NAS RW 访问的 SG，把自己的域用户加了进去，直接不输入凭据访问。然后随便跑了几个 smoke test：

客户端和 NAS 都支持 SMB Direct 的情况下，基本上速度能打满 link （写进 SSD ）或者盘（写进 Storage Space 的 HDD ）。往 Storage Space 里写的情况下大概稳定 200MB/s 样子，比较符合 UltraStar 这个盘的样子。

然后是 SMB Direct 看番。注意没有什么 TCP/IP 流量（ RDMA 网络正常现象）：

对于不支持 SMB Direct 的设备，我另外有一块 I350 VF 通给了虚拟机用来承载这些流量。大概 802.11ac 的情况下稳定跑个 500Mbps 问题还是不大的。

Misc

• 记得调整 WU 设置以避免意外重启，我是加入了域然后从组策略分发的
• 在虚拟机里直通磁盘开 Storage Space 的时候，把 Host 上的 Microsoft Storage Spaces SMP 和 Storage Tiering 服务禁用掉，然后再禁用 SpacePort 驱动 (i.e. Start = 4) 以避免不必要的麻烦

[DarkKowalski]

劳群观光团

[hjc4869]

劳群观光团

[xiashali]

劳群观光团

[chouch0u]

劳群观光团

[yvbbrjdr]

劳群观光团

[lty1993]

劳群观光团

[kotomei]

劳群观光团

[Xusually]

这个不错。
家里主力仍然是 CU 德淘的 HP MicroServer Gen8，4x10TB DELL OEM HGST 氦气盘
CPU 换成了默认被动散热能压住的最大可能：Xeon E3-1265V2
内存 16GB 插满
P222 raid adapter with cache & battery unit，自己加了个猫扇，四盘 raid5
原始主板上带的辣鸡软 raid 卡被我用来接了个光驱位的老旧 mlc ssd 做系统盘
系统是 ESXi，跑了黑群晖和 OpenWrt

白群晖 918+，四盘 8TB 氦气盘 /ssd raid 1 cache/8GB RAM，出掉了 摊手.jpg

[Xusually]

接上条，一直看着新出来的各种 GEN9 和 GEN10，MicroServer 也好，ML30 也好，都忍住没剁手，不知道能忍多久

[peyppicp]

gen8 16g 内存，永远的痛

[demoxu]

@peyppicp 16G 跑 nas 应该是足够了，硬件限制，再大也上不去了

[shizhengj]

我最近也买了 ml30 gen10， 为什么我自带的网卡是 HP NC332i，而你的是 Intel I350 ？

[imbushuo]

@shizhengj 332i 是 I350 的 OEM brand，本质上是一个玩意（

[imbushuo]

@shizhengj 啊不对，你那个是 BCM5720，那感觉就是 SKU 差异了

[shizhengj]

@imbushuo 我的型号是 P06785-S01，比乞丐版高一个级别，带热插拔硬盘笼子的版本。你的 sku 是什么？还有第一次玩服务器不懂，发现装自己的硬盘还需要 caddy tray, 这玩意儿好像也不太好买，都是拆机配件吧？

[shizhengj]

@imbushuo 好像 e-2224 cpu 版本的都自带 i350 网卡，我的是 e-2124 。都怪自己没做好功课，现在网卡都没法开 SR-IOV 。

[imbushuo]

@shizhengj HPE 的 Caddy 大部分都是兼容的，可以买官方的，也可以买拆机的，也有第三方兼容货

另外自己插个支持的 PCIe 网卡上去是能开 SR-IOV 的

[shizhengj]

@imbushuo 不同代的比如说 gen8, gen9 的也可以么？我看网上买的都有些支持哪一代哪一个型号的服务器。我有一块 x540-at2 的网卡，sr-ivo 在 esxi 6.7 或 7.0 上死活开不了。状况是可以打勾开启，但是虚拟网卡数量永远是 0，就算改成其他数字后重启后还是显示 0 。没折了，我试试 PVE，不行只能换网卡了。

[imbushuo]

@shizhengj SR-IOV 被明确文档里描述支持是从 Gen8 开始，我这里有一台 DL380p Gen8 装 X520-DA2 是可以直接开的；另外也要看卡的文档，有一些卡可能要额外配置 VF，具体要看而定

可以先试试 PVE 上情况怎么样