BI类产品测试总结
BI类产品测试总结
一、业务应用背景
1、向数据要价值->提供决策依据
2、实现数据的综合分析
3、多个视角观察数据
4、提供更丰富灵活的报表展现方式
5、提供业务系统无法提供的灵活查询
6、提供高级数据分析功能、如数理统计、预测、挖掘等
优势:
二、名词解释:
1、BI
- BI是一个过程:分析需求理解及业务建模、DW建模、数据整合、数据分析、信息展示、信息交付、决策支持(DSS)、改善业务,提升管理
- BI是一组软件工具的集合:ETL工具、数据清洗工具、数据仓库引擎、分析模型及算法、OLAP工具、查询报表工具、信息展现工具、管理维护工具
2、维度表:维度表是维度属性的集合。是分析问题的一个窗口。是人们观察数据的特定角度,是考虑问题时的一类属性,属性的集合构成一个维度------维度
3、事实表:事实表是数据仓库结构中的*表,它包含联系事实与维度表的数字度量值和键。事实数据表包含描述业务(例如产品销售)内特定事件的数据----指标
4、切片、切块、旋转、上卷、下钻
- 切片与切块:在数据立方体的某一维度上选定一个维成员的操作叫切片,而对两个或多个维执行选择则叫做切块。下图逻辑上展示了切片和切块操作
- 旋转:旋转是指改变报表或页面的展示方向,即更改select后面字段的顺序
- 上卷和下钻
三、测试过程总结
<功能测试、性能测试、接口测试>
需求分析,业务流程分析:
测试过程:根据需求文档及原型编写测试用例,然后与研发、产品、项目经理进行用例评审,评审后修改用例,研发提测后,提交版本,进入第一轮测试,提交Bug,Bug解决后研发提交第二轮版本,进行第二轮测试,验证Bug,并进行新需求与阶段性回归测试。
总结问题:
1、需严格按照软件包和版本号进行测试,严格规范测试轮次,提高测试效率,杜绝在本轮测试未完成情况下,研发私自提交代码(因为本项目测试对接的是外部虚拟桌面环境,不是公司实验室环境,所以部署测试环境是研发对接,而不是测试部署,所以需严格跟研发leader沟通好环境部署问题)
2、测试过程中关注不同模块的Bug数量,以及研发的解决Bug能力,特殊模块需重点测试
3、一次迭代测试后输出Bug与测试轮次相关的总结,包含:bug**次数、bug处理轮次与提交轮次的关系,如果bug数量过多及时与研发以及测试组长讨论出现原因,如何从流程上提升代码质量或者具体解决方案,优化整个软件开发流程。
4、BI类产品测试涉及多类型数据源、不同数据源承载的数据量不同,生成的报表的数据量以及取数的数据量不同,要进行报表数据查询的性能测试
5、BI类产品测试涉及多类型数据源、不同数据源库表结构定义不同,也要考虑现网的要求的加载表的数量以及库的数量,注意此处的性能问题
6、BI类产品测试涉及到订阅功能,要注意现网与测试环境时区配置等是否一致,如不一致可能会出现邮件收不到情况,邮件的测试要注意多种类型的邮件收发测试,以及大数据量报表订阅导出的测试
项目中遇见的难点及解决方案:
1、业务使用场景不明确,通过需求分析以及调研,确认业务使用场景:多为数据分析师使用,根据具体使用场景出发,基于用户角度开展功能测试,避免主观思维测试,遗漏相关测试点。
2、数据的灵活性使用,测试指标波动变化时,需自己制造一些随机测试数据,通过写sql,标记字段值为flag=0,1,2,标记日、周、月、数据,随机生成不同周期的数据后,再进行功能性测试,手工根据公式计算指标波动值,与程序计算的指标波动值对比
3、大数据量测试,需通过存储过程制造测试数据,BI类产品测试难点在于sql编写以及理解,涉及到各类聚合方式的测试,需在系统中跑sql,以及去库里跑sql,比对两者的数据,确认数据准确性,难点在于ES、Hbase、Hive等不同类型数据源查询语法等不一样,最后我们测试时是用研发写好的查询接口,直接把sql作为参数,放在接口里,请求就会返回查询数据
四、最后整体Bug分析