这是一个创建于 1634 天前的主题，其中的信息可能已经有所发展或是发生改变。
自己在电脑上用 virtualbox 搭了一个虚拟集群，3 台 centos，内存大小 2048mb，硬盘大小 48g 。一个 master 两个 slaves，都安装了 spark 和 hadoop 。 尝试跑了 wordcount，数据大概从 200mb 到 1500mb 。跑出来的结果是 hadoop 只比 spark 慢一点，有的数据量差不多快。 我很奇怪为什么会出现这样的结果。两者硬件条件一样，而且我两个都用的是 yarn 来分配资源，spark 的优势为什么显示不出来呢？
 |
1
billlee 2020-06-03 01:01:42 +08:00
1. wordcount 太简单了，利用不上 spark 的优势
2. 1500mb 的数据量也太小了，运行时间恐怕还没创建销毁 application 的开销长。直接用单机单线程的 wc 恐怕比这两个都快 hadoop 和 spark 是在双路 CPU 几百 GB 内存的服务器都处理不过来时用的，拿 3 台 2GB 内存的虚拟机来测性能没有意义。 |
 |
2
yuikns 2020-06-03 02:41:19 +08:00
@billlee +1
spark 的优势在于用程序的方式构建一些任务的 DAG 然后自动推导可以 schedule 出优化后的 spark jobs. 在有比较复杂的任务的时候浪费的算力会少很多。 https://i.stack.imgur.com/cyvd1.png 低性能的虚拟机下 spark 和 hadoop 比很多单机程序都慢。不过如果单纯内部比较，当任务变得复杂后，hadoop 浪费了较多算力，我觉得还是可以看出出性能的区别的。 |
 |
3
snappyone 2020-06-03 12:24:00 +08:00 via Android
你这个配置拿来玩玩就行了，性能就不要深究了
|
Select Language