V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
zhangneww
V2EX  ›  云计算

Hadoop or Spark ?

  •  
  •   zhangneww · 2015-06-11 18:58:08 +08:00 · 2486 次点击
    这是一个创建于 3449 天前的主题,其中的信息可能已经有所发展或是发生改变。
    本人大三学生,会一点 java,C#,python,C,熟练程度递减。

    之前 配置过 Storm, kafka, zookeeper。只是配置过。现在在配置 hadoop,64位本地库还没编译。

    打算学大数据,看到 Spark 比 hadoop 好一点,可以直接学 Spark 吗,V友们给点意见,谢谢。
    9 条回复    2015-06-19 21:14:26 +08:00
    johnsmith123
        1
    johnsmith123  
       2015-06-11 19:02:17 +08:00   ❤️ 1
    只问一句 有100台服务器吗?
    Gonster
        2
    Gonster  
       2015-06-11 19:03:00 +08:00 via iPhone   ❤️ 1
    这里好像不是或关系吧...
    zhangneww
        3
    zhangneww  
    OP
       2015-06-11 19:05:18 +08:00
    @Gonster 先学 hadoop 吗?
    FeiMa
        4
    FeiMa  
       2015-06-11 20:02:55 +08:00
    要学的话,还是先学Hadoop吧。
    另,两个的应用场景不同,有需要的话,两个都要学。
    sleeperqp
        5
    sleeperqp  
       2015-06-11 20:09:44 +08:00
    看你是想往什么方向做了
    运维 就看看怎么怎么自动化配置 加上个docker nagios这些
    分布式平台 就看源码吧
    还是数据挖掘机器学习这类 先看理论然后在上面实现
    这两个都是平台而已
    20150517
        6
    20150517  
       2015-06-12 03:13:30 +08:00 via Android
    你这是做运维了吧?装啊装配置什么的。。。其实还是关键写的map reduce程序啊,说到底到的java水平啊
    zhchaos
        7
    zhchaos  
       2015-06-12 13:55:09 +08:00
    运维
    lujiajing1126
        8
    lujiajing1126  
       2015-06-12 17:00:38 +08:00
    Hadoop和Spark都不是同一层面上的吧

    Hadoop一般主要是MR和HDFS,主要是用来做离线计算的,非常底层的

    Spark是实时计算
    locatelli
        9
    locatelli  
       2015-06-19 21:14:26 +08:00
    现在的业务场景经常需要Hadoop和Spark结合,所以不是零和的关系
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5467 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 03:41 · PVG 11:41 · LAX 19:41 · JFK 22:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.