大数据测试之主流程和关键步骤
原博主网址:https://blog.csdn.net/weixin_34354945/article/details/85071456
大数据测试之主流程和关键步骤
万变不离其宗,不论是什么测试ta的主流程基本都是一样的,就是我们刚开始学习测试的那一套流程。也许你会觉得简单,但你要明白,无规不成方圆,有时候没有推行好或者结果不好不一定是因为技术不行,也许是没有好的流程。就好像,一辆汽车的生产,如果没有好的流程你觉得最终出来的汽车质量会好吗?
明白这个道理之后,我们就先来看看大数据测试的主流程是个神马样子的。
需求分析。这步考虑的越全面那么后续问题就会越少。
测试计划。此处省略N个字。
测试用例编写与评审。可以从数据库层面和页面层面考虑。这里要注意,虽然是大数据测试但也要保证页面功能的正确性啊(嗯,测试确实是个苦逼的活儿)
执行测试。这块可以分享一些小建议,对于一些频繁迭代更新的我们还是以手工测试为主,工具验证为辅;对于一些较为稳定的,则可以通过UI、接口、SQL等方法进行验证。
线上验收测试。
测试总结。这步也是很多团队忽略的。其实测试很多的价值挖掘都在这步实现的哦。在《小强软件测试疯狂讲义》一书中详细讲解过。
知道主流程之后我们就来看看重点,在大数据测试中的关键步骤,这也是和传统数据库测试的区别。
1、pre-Hadoop阶段验证(预处理验证阶段),主要是对输入的数据进行处理并存储到hdfs上。
在这个阶段可能由于各种原因造成数据不正确,一般要进行如下的测试:
输入文件与源文件对比,保证正确性
根据需求确认获得数据的正确性
验证正确的文件被存入HDFS且被分割、复制到不同的节点
2、MapReduce验证阶段
当文件存入HDFS之后就要通过MapReduce进行处理了。这个阶段可能出现的问题包括但不限于编码不对、节点配置错误、聚合不正确、输出格式不对等问题。一般需要进行如下的测试:
MapReduce进程正常工作
数据处理完成,输出文件正确
验证map时生成的key-value是否正确
验证reduce结束后聚合是否正确
输出格式是否符合要求
3、输出阶段验证
此阶段主要是生成处理过的最终数据文件以及存放到数据仓库。一般需要进行如下的测试:
检查转换规则被正确应用
检查数据加载到目标系统中且完整
通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏
这些过程中,你可以通过Hive得到分析报告来做进一步的验证。
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
最后放一张图,总结上面的内容(一图胜千言)