兼容性评分标准
1.评分规则
1.1 设备权重划分
Android,根据国内市场占有率(n)划分设备权重:
n | 权重 |
---|---|
n≥0.9% | 2 |
0.9%>n≥0.5% | 1.5 |
0.5%>n≥0.1% | 1 |
n<0.1% | 0.5 |
iOS,根据国内市场占有率划分设备权重:
n | 权重 |
---|---|
n≥10% | 2 |
10%>n≥5% | 1.5 |
5%>n≥1% | 1 |
n<1% | 0.5 |
1.2 设备评分细则
1.2.1 兼容性评分细则
评分规则,每个设备未出现问题,则打满分100分,(P3)问题不减分:
1.核心玩法相关bug,导致无法继续测试的问题,-100分;
2.核心玩法相关bug,(P1)问题,每个bug-60分;
3.核心玩法相关bug,(P2)问题,每个bug-40分;
4.核心玩法相关bug,未重现问题,每个bug-20分;
5.非核心玩法相关bug,(P1)问题,每个bug-40分;
6.非核心玩法相关bug,(P2)问题,每个bug-20分;
注:非核心玩法最多-40分。
1.2.2 稳定性评分细则
稳定性评分规则,必现闪退/卡死归类为兼容性问题:
1.游戏50%以上概率出现闪退/卡死,-100分;
2.游戏出现非必现的或者不定时的闪退/卡死,-40分;
3.游戏出现未重现的闪退/卡死,-20分。
1.2.3 评分记录
在测试记录模板中,根据评分细则,对每个设备进行打分
1.3 统计计算规则
若每个设备的兼容性评分或者稳定性评分分别为:x1,x2......xn
对应设备的权重分别是:w1,w2......wn
那么根据
计算出兼容性加权平均分和稳定性加权平均分,向下取整数,得到的结果即为兼容性评分和稳定性评分。
1.4 评分结果查看
评分结果可以通过在线兼容性测试报告查看。
2.评分指标
95分以上:兼容性优秀;
85分~94分:兼容性良好;
75分~84分:兼容性中等;
74分及以下:兼容性差。
3.单个测试项通过率
单个测试项是指安装、启动、运行、UI等,计算规则:单个测试项通过率=通过设备数/设备总数,以下图为例:
UI通过率=116/116=100.0% 特殊屏适配通过率=36/(36+67)≈35.0%