V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
cernard
V2EX  ›  问与答

HDFS 的 RAM DISK 和普通 HDD 上传速度经测试区别不大,是哪环节做错了吗?

  •  1
     
  •   cernard · 2020-04-14 19:32:16 +08:00 · 902 次点击
    这是一个创建于 1470 天前的主题,其中的信息可能已经有所发展或是发生改变。

    测试环境:

    1. 1 个 namenode,2 个 datanode (其中一个 datanode 和 namenode 一台机器)
    2. RAM DISK 最大大小理论上配置的是 20G

    测试方法:

    1. Python 生成 1K~10G 的若干个 CSV 文件,每个文件上传 10 次,每次上传完毕后删除。
    2. 统计每个大小文件的 10 次上传平均时间

    测试结果: RAM DISK 和 HDD 几乎没有速度上的区别,只有几秒的差异。

    请问下造成这个结果的可能性有哪些?

    6 条回复    2020-04-15 16:58:44 +08:00
    cernard
        1
    cernard  
    OP
       2020-04-14 20:38:51 +08:00
    忘了说了,是写入速度
    OSDI
        2
    OSDI  
       2020-04-14 20:48:59 +08:00
    网络带宽多少呢
    Aruforce
        3
    Aruforce  
       2020-04-14 21:06:15 +08:00 via Android
    带宽小于硬盘的读写速度…?
    cernard
        4
    cernard  
    OP
       2020-04-14 21:47:55 +08:00
    @OSDI #2
    @Aruforce #3 局域网百兆带宽,暂时接的路由器
    OSDI
        5
    OSDI  
       2020-04-15 01:54:11 +08:00 via Android
    @cernard 是不是由单个节点发起的 I/O 测试?可以尝试多个节点并发 I/O
    Aruforce
        6
    Aruforce  
       2020-04-15 16:58:44 +08:00
    @cernard 机械硬盘的读写速度 几乎没见过 100Mbyte/S 以下的 局域网的才 100Mbits/S....你换个 1000mbits 的网络吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1166 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 18:19 · PVG 02:19 · LAX 11:19 · JFK 14:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.