《Spark与Hadoop大数据分析》——2.3 为何把 Hadoop 和 Spark 结合使用

2.3 为何把 Hadoop 和 Spark 结合使用

Apache Spark 与 Hadoop 结合使用时表现更好。为了理解这一点,让我们来看看 Hadoop 和 Spark 的特性。

2.3.1 Hadoop 的特性

《Spark与Hadoop大数据分析》——2.3 为何把 Hadoop 和 Spark 结合使用

2.3.2 Spark 的特性

《Spark与Hadoop大数据分析》——2.3 为何把 Hadoop 和 Spark 结合使用

当这两个框架结合起来的时候,我们就得到了具有内存级性能的企业级应用的威力,如图2-11 所示。

关于 Spark 的常见问题

以下是从业者对 Spark 提出的常见问题:

《Spark与Hadoop大数据分析》——2.3 为何把 Hadoop 和 Spark 结合使用
《Spark与Hadoop大数据分析》——2.3 为何把 Hadoop 和 Spark 结合使用

《Spark与Hadoop大数据分析》——2.3 为何把 Hadoop 和 Spark 结合使用

图2-12显示了完全缓存和分散到磁盘两种情况之间的性能差异:

《Spark与Hadoop大数据分析》——2.3 为何把 Hadoop 和 Spark 结合使用

《Spark与Hadoop大数据分析》——2.3 为何把 Hadoop 和 Spark 结合使用
《Spark与Hadoop大数据分析》——2.3 为何把 Hadoop 和 Spark 结合使用