您的位置: 首页 > 文章 > Spark在不同存储格式下的性能对比 Spark在不同存储格式下的性能对比 分类: 文章 • 2024-02-20 21:37:58 笔者发现,很多同学在各种项目中尝试使用Spark,大多数同学最初开始尝试使用Spark的原因都很简单,主要就是为了让大数据计算作业的执行速度更快、性能更高。然而,通过Spark开发出高性能的大数据计算作业,并不是那么简单的。如果没有对Spark进行合理的调优,Spark作业的执行速度可能会很慢,甚至根本体会不到Spark作为一种快速大数据计算引擎的优势。 事实上,Spark系统的性能调优是一个很复杂的过程,需要对Spark以及Hadoop有足够的知识储备,从硬件、操作系统、HDFS、数据存储格式、Spark等多个层面都会对性能产生很大的影响,显然不是调节几个参数就可以搞的定的。本文测试的目的是用来对比 Spark 三种存储格式TEXT、PARQUET、YDB的在性能差异。 因机器环境以及配置的不同,测试结果可能略有差异,该测试报告仅对笔者的软硬件环境负责。 测试结论: 通过以下比较全面测试,发现数据存储格式对Spark的性能有非常大影响。 Text的测试性能表现极差,在绝大部分场景中,YDB相比Parquet有较大的性能提升。 1、检索过滤性能 2、排序性能 1~2个列的TOP N排序 10~12个列的TOP N排序 3、统计性能 1个列的统计 1~2个列的Group By 10~12个列的统计及Group By 4、高纬值列的性能 高纬值列统计及排序性能 高纬值列的Group By性能 5、存储空间使用情况 6、导入速度对比