线下测试-field test in offline stores

文档说明

此次线下测试主要针对的是由于设备反应慢而返厂的设备，在lab中无法辨析产生设备慢的具体原因，

因此采取线下测试的方式模拟用户实际购买及使用场景，复现可能的bug.

测试前期准备

checklist	description
测试商店	尽可能的覆盖用户量较大的店铺
测试设备	用户返厂设备 可对比的设备
版本及硬件信息	保证测试版本（对比机与测试机）为指定版本 记录硬件信息
测试账号	使用指定的测试账号
测试书籍	多台测试设备使用相同的测试书籍或操作步骤，保证测试数据的可参考性
网络环境	在测试过程中，保证所有测试设备与对比设备使用相同的网络、相同步骤、同时操作，记录数据。保存测试环境的网络状态。

 

 

 

 

 

 

 

 

 

 

 

 

测试数据收集

1.log

针对kindle，有两种log可以进行获取：adb log 和dm log (区别在于是否实时).

adb logcat -v time >测试用例序号.txt    //在整理日志时，不同日志最好采用测试用例序号进行命名，以便后续查找方便。

dm log中包含main、kernel、bugreport、crash等日志信息，可以在全部测试场景结束后抓一个整体的日志，命名时最好标注操作起始时间。

2.video

测试过程中发现任何问题，需要进行录像，并且再做3次并记录数据。

3.KPI data

由于此次测试主要针对的是设备慢的问题。因此需要记录性能测试中设备的响应时间。

目前采取如下格式进行分析汇总数据：

 测试场景

此处列出具体的测试用例

 

测试报告

• 包括excel 中的具体性能测试数据；
• bug信息（复现步骤、video和log地址等）；
• 测试数据中标红的部分（比对比设备慢的较多的数据）