魔百和是移动出品的一款电视机顶盒，但功能远超于机顶盒本身。
它不仅包含电视频道、超高清视频点播，同时还有视频通话、和家相册、多屏互动等各类好玩好用的新功能，因此，在测试过程中需要针对魔百和的产品特性，加入“硬件”维度指标。
中移互联网有限公司全网测评中心为魔百和量身定制了一份指标体系；同时在2轮测评过程中，对指标体系进行迭代优化，不断完善指标体系，以便于全面客观地评价魔百和产品，并发现可用性问题，为产品优化提供建议。
一、建立魔百和品质指标体系
体验类指标（用户调研）
质量类指标体系
体验测评（专家走查）
性能测评（分省自测）
二、制定魔百和测评方法
经过组内多次讨论和调整，魔百和测评方法确定为：
通过同时录制盒子指示灯和电视屏幕详细记录盒子测试操作细节；
通过视频分析软件查看测试过程中每一帧的变化得到盒子的性能表现数据；
通过同时录制与屏幕重叠的计时器防止通过视频编辑方式进行作弊。
该方法的优点在于：测评过程充分调动各省资源，发挥最大作用以获取最优效果。
鉴于目前各个省公司存在着分省和基地两种模式，前期存在各省的测试指标难以对标，测试方法不统一，测评数据分散，测试结果参差不齐的问题。
针对该问题，测评中心经过2轮测试案例（第一轮测试筛选了7个省份：河南、江西、江苏、广东、四川、浙江、山东和广东电信、小米、创维开展了对标测评；第二轮测试筛选8个省份：河南、湖南、北京、江苏、广东、四川、福建、山东和广东电信、天猫、小米、华为开展对标测评，为各省魔百和提供测评能力支撑，横向对标各省市魔百和、纵向对标行业优秀竞品。）输出统一的测评指标体系、测试方法，为各省产品团队提供测试标准。
三、魔百和测评维度
用户体验评价
魔百和“用户体验类”指标体系，从有用、易用和爱用三个维度获取用户的满意度评价，对用户的整体体验水平进行评估。
专家认知走查
通过用户体验专家分析用户的心理加工过程来评价魔百和的用户体验水平，发现魔百和在功能、界面、内容、硬件方面的可用性问题。
性能测试
性能测试主要从即时性、稳定性、兼容性等方面开展，同时与OTT、运营商竞品横向对标，深入分析魔百和性能现状。
功能需求优先级分析
测评中心17年5月对用户使用电视盒子的功能需求优先级进行调研，运用业界通用的卡诺模型分析法，明确划分出各功能点的优先级。
深度专题分析
针对魔百和开机启动时延较长问题，按照分省和集中模式分维度进行专题分析。
魔百和测评过程实现了软件硬件测评一体化，多维度测试评估保证了魔百和上线质量问题，用户反馈良好，整体满意度上升7.31分。
期待下一服务对象是您！
我们的口号是：为您的产品上线保驾护航！
网友评论