自动化测试的时候,经常会遇到这样的问题:大部分时候执行测试用例都能pass,只是偶然出现false,而出现false的时候是因为外部因素引起,比如WiFi不稳定、使用了第三方插件不稳定等,这些情况下往往重新再执行用例就可以pass。可能遇到这种用例false的情况,我们首先想到的会是去剔除失败的用例,但是这样做不是最明智的做法,当用例数量多的时候,很难去判定哪些用例容易由于第三方因素false。最好的办法是----让出错的用例重跑。
那么如何做到让出错的用例重跑呢?如果你用的是nose或者pytest框架编写用例,就可以使用flaky插件。该插件能够在那些不稳定的case失败之后,重复执行这些case。
1.flaky插件安装
pip install flaky
2.测试脚本中的使用
2.1 将不稳定的case标记为flaky
from flaky import flaky@flakydef test_func(self): self.assertEqual(1+3,5)
备注:在case方法上方加上,用例执行失败的时候会默认重新执行一次。
from flaky import flaky@flaky(max_runs=3, min_passes=2)def test_func(self): self.assertEqual(1+3,5)
备注:flaky接收两个参数:max_runs,min_passes。max_runs表示测试失败之后,会重复执行这个测试的次数。min_passes表示执行max_runs这么多次中,成功的次数>=min_passes的话,则认为这个case就pass了。如上用例表示:执行3次用例中,如果pass次数>=2,则pass.
2.2 将不稳定的测试类标为flaky
from flaky import flaky@flakyclass testAdd(unittest.TestCase): def test_func(self): self.assertEqual(1+3,5) @flaky(max_run=3) def test_double(self): self.assertEqual(2+6,8)
备注:以上testAdd类下的所有方法都会应用到flaky。test_func失败之后会默认再执行一次。test_double失败之后会重新再执行3次。
3.命令行中使用flaky
3.1 强制所有的测试使用flaky
py.test --force-flaky
3.2设置重复执行的次数
py.test --force-flaky --max-runs=3 --min-passes=2
3.3不输出flaky执行的测试报告
py.test --no-flaky-report
备注:正常情况下,测试完成后将输出flaky的测试报告,该报告中显示了有哪些测试重复执行了以及重复执行的情况。如果不想在测试完成后输出flaky报告,可以在执行测试的时候加上--no-flaky-report参数。