V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sunpengliang
V2EX  ›  程序员

求大数据的大佬解答下疑惑,想咨询下一些关于 hadoop 的问题

  •  
  •   sunpengliang · 2022-11-30 23:17:37 +08:00 · 573 次点击
    这是一个创建于 483 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想问下大佬几个关于 hadoop 的问题,因为本人对 hadoop 的了解非常肤浅,有一些工作上的问题

    1.hadoop distcp 的时候拷贝的是 src 目录那个时间节点的状态 2.如果拷贝途中 src 目录有增删文件的行为,拷贝一定会失败吗 3 如果拷贝失败以后,distcp 参数加上--uodate 能保证 dst 和 src 相同吗,原先失败的任务拷贝的文件拷贝到 dst 以后会不会影响下一次拷贝(-update 模式下认为该文件已经拷贝,但是由于上一次任务失败导致拷贝文件不全。导致最终拷贝到 dst 的文件不完整)

    我自己的理解是 1 是不是拷贝的是 src 当时的快照 2 增加文件没问题,但是删除文件会导致任务失败 3 没啥想法

    还请各位大佬能够指点一二,给一些链接或者参考下,谢谢大佬

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3099 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 14:34 · PVG 22:34 · LAX 07:34 · JFK 10:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.