持续集成实践小结[2] —单元测试
相对于UI自动化,单元测试方面的实践还是不够充分的,因此,这里也只是小结一下我们的经验
概述
首先明确一下,此处单元测试概念与经典意义有所不同,泛指所有:
由开发工程师编写的,可以在开发本地一键运行的,运行时间在分钟级别的测试用例,用例执行会依赖不多的,但往往也是稳定可靠的外部环境
测试框架一般使用TestNg而不是JUnit,主要原因在于TestNg的 DataProvider 功能很给力,非常适合用例须要覆盖多分支的场景
用例组织原则:
一个测试类对应一个功能类: funcOneTest.java 对应于 funcOne.java
若干个测试方法对应一个功能方法:test_funcOne_smoke() & test_funcOne_normal() & test_funcOne_error() 对应于 funcOne()
用例分类约定
还是以 超市购物 为背景,写几个Demo用例
Δ冒烟型用例 – 甲
@Test(description = "getNewestItems_冒烟_获取最新商品并检查若干关键属性")
public void test_getNewestItems_smoke() {
List<ItemVo> itemList = itemBean.getNewestItems(1);
Assert.assertTrue(itemList.size() == 16, "size应该是16");
for (ItemVo vo : itemList) {
Assert.assertTrue(vo.getName() != null, "name不能为空");
Assert.assertTrue(vo.getPrice() != null, "price不能为空");
}
}
|
说明:
顾名思义,就是在用例中简单调用一下被测方法(method),主要是为了跑通流程,拒绝Block级别问题
实践中,推荐 伴随着功能开发,随时编写冒烟用例,功能代码与冒烟用例一起提交代码库
对于一些复杂的功能,功能开发的过程也是一个持续重构的过程,编码前期完成的冒烟用例,可以有效起到安全网作用
Δ冒烟型用例 – 乙
@Test(description = "enter_and_leave_market_冒烟_进入与离开超市")
public void test_enter_and_leave_market_smoke() {
Custom tom = new Custom("Tom");
tom.enterMarket();
Assert.assertTrue(Custom.isAtMarket(tom), "tom应该在超市内");
tom.leaveMarket();
Assert.assertFalse(Custom.isAtMarket(tom), "tom应该不在超市");
}
|
说明:
这个用例把进入超市及离开超市这两个(强相关的)接口串起来了,目的在于走通流程
实践中,建议 将新模块(函数)与其强相关的模块(函数)尽早进行简单的集成测试以提前发现一些问题
Δ正常流程用例
@Test(description = "addToCart_正常流程_往购物车内添加各种类型数目的商品", dataProvider = "test_addToCart_normal_data")
@Rollback
public void test_addToCart_normal(String caseNote, long itemId, int count) {
Custom tom = new Custom("Tom");
this.setCustom(tom);
cartBean.addToCart(itemId, count);
Item item = tom.getCart.getItems.get(0); // 获取购物车中的第一项商品
Assert.assertEquals(item.getId, itemId, "itemId is wrong");
Assert.assertEquals(item.getCount, count, "count is wrong");
}
@DataProvider
public Object[][] test_addToCart_normal_data() {
return new Object[][] {
// caseNote, itemId, count
{"Milk - just a dozen", 39001L, 12, },
{"Bread - huge number", 116001L, 999},
{"Bean - less then 10", 1018100L, 2},
};
}
|
说明:
这个示例代码演示了如何测试addToCart()的功能,假定这个方法内部有十分复杂的业务逻辑,我们须要覆盖各种场景
可以看到,正常流程用例与冒烟用例其实差不多,不同的是,正常流程用例会覆盖更多分支,冒烟用例则一般是走通流程就行
这个用例使用了@Rollback标签,用例执行后会回滚数据,而不会真正往数据库内插入数据;这个功能十分有用,可以大大减少数据准备与清理的工作;至于@Rollback背后的实现原理,此处暂时按下不表
测试参数使用TestNg的@DataProvider组织起来,每一行都是一组测试数据,覆盖一种测试分支
测试参数的第一列建议设置为caseNote,简单阐述用例的意图,可以有效提升用例可读性
Δ异常流程用例
@Test(description = "addToCart_异常流程_往购物车内添加参数非法的商品", dataProvider = "test_addToCart_error_data")
@Rollback
public void test_addToCart_error(String caseNote, long itemId, int count, int expectedErrorCode) {
Custom tom = new Custom("Tom");
this.setCustom(tom);
try {
cartBean.addToCart(itemId, count);
Assert.fail();
} catch (Exception e) {
Assert.assertEquals(e.getErrorCode, expectedErrorCode);
}
}
@DataProvider
public Object[][] test_addToCart_error_data() {
return new Object[][] {
// caseNote, itemId, count, expectedErrorCode
{"iPad - 0 count", 39001L, 0, Cart.ZERO_COUNT},
{"MacBookPro - more then stock", 116001L, 1024, Cart.MORE_THAN_STOCK},
{"no such item", 0L, 1L, Cart.NO_SUCH_ITEM}
};
}
|
说明:
如果不同的异常输入会有相应的 errorCode 的话, 可以把errorCode当成测试数据的一项参数传进去
Δ特殊场景 & 复杂流程
个别特殊场景,不方便使用@DataProvider合并的复杂流程,可以单独创建一个用例进行测试,函数命名的时候注明一下,例如:
test_addToCart_error_withoutEnoughMoney() – 钞票不够
test_addToCart_normal_mergeMultiCarts() – 合并多个购物车
Δ前事不忘,后事之师
出过Bug的地方(及其周边)补充单元测试覆盖,由单元测试帮你记住前事 – test_funcOne_issue12345_bugfix()
用例编写流程
用例编写顺序:
开发新功能时,同步编写冒烟测试,用于自测及调试,功能代码与冒烟用例一起提交 – test_funcOne_smoke()
稍晚,补充更多分支覆盖的正常流程用例,相当于进行又一轮自测 – test_funcOne_normal()
最后,补充异常流程和特殊(复杂)场景用例 – test_funcOne_error() & test_funcOne_specialScenario()
之所以这样安排,一个很重要的原因是希望 保持主干及正常流程的畅通,确保开发及测试不会Block
此外:
尽量把单个开发任务切分成多个小功能点,频繁提交,稳扎稳打,配合Jenkins & Sonar,多跑单元测试和静态代码检查,问题早发现早处理
前事不忘,后事之师,出过Bug的地方补充单元测试
补遗
单元测试与静态代码检查(static analysis, SA)是一对好基友,两者可以统一显示在Sonar上面,在实践中往往一起考察
关于Sonar,实乃居家必备,代码度量之利器,以后会另外讲述,这里先贴个图:
最新内容请见作者的GitHub页:http://qaseven.github.io/