跑分成绩和实际用户体验究竟差多少？

2016-03-15 14:39

【手机中国评测】之前和各位读者分享过安兔兔评测和鲁大师两款跑分软件和智能机之间那些有趣的故事，今天我们继续聊聊类似的话题。不知道大伙有没有以下的经历？有些跑分软件的结果，你是看不懂的，并不是仅仅看分数那么简单，我们更关注的是分数背后那些细节，例如今天我们要讨论的“安兔兔视频测试”。

很多人用过“安兔兔视频测试”之后都觉得这款软件不错，在其诞生之前，评测界前辈们如果想测试一款手机的视频解码能力，需要将不同类型的视频下载到手机上，而且还存在遗漏的问题。另外就是主观性比较重，张三认为常用的视频格式，李四压根儿都不看，李四经常看的视频格式，张三又可能不太常看，正所谓众口难调，上网下载了一大波测试视频的评测君累得半死，最后还落得“不够专业”的头衔。
“安兔兔视频测试”就是专门负责检测手机的硬解码能力，看看智能机的GPU究竟能够不通过CPU协助，硬解多少种视频格式？当然，好的软件也有缺陷，“安兔兔视频测试”能够减少我们这些编辑的工作量，但是也有不少读者和我们反映，“安兔兔视频测试”的跑分结果和日常实际表现还是有一点区别，跑分成绩单上显示支持的视频格式，在网上下载了一部相同格式的影片到手机看的时候却发现无法播放，或者没有声音，或者没有画面，为此，笔者今天为各位读者亲身示范类似的实验，把真相揭露出来。
跑分软件介绍 “安兔兔视频测试”是安兔兔公司旗下的另一款跑分软件，相比综合性更强的“安兔兔评测”，“安兔兔视频测试”更加专注于对GPU解码能力的考验。上文提到，“安兔兔视频测试”减轻了编辑们的工作量，主要是因为它把日常常见的视频编码影片全部下载好了，减少了遗漏、主观性重的问题，同时也节省了评测时间。
软件安装成功后，系统会联网下载数据包，这和PCMark和3DMark类似。刚接触“安兔兔视频测试”的读者心里总是存在疑问，几十部片子同时下载下来，数据包不就很占ROM的空间吗？手机存储容量少一点都不敢使用这款软件。其实不是的，测试视频只有一个小短片，而且播放时长很短，最特别的是，这部短片看上去是一部完整的视频，但是通过Android文件管理器打开隐藏文件夹可以看到，这是由30段视频片段组成的短片，没错，换句话说，你在观看这部短片的时候，其实已经将整个测试流程跑完一遍。

存放在隐藏目录下的30个视频文件
30部视频片段使用了不同的视频编码、音频编码、封装方式的组合来考验手机的GPU硬件解码能力。为了更好地告知用户目前播放的视频片段是哪一种视频编码、音频编码和封装方式的组合方式，软件在运行过程中会在屏幕上方显示上述三项参数，如下图所示：

测试过程的截图
测试结果分为两部分，除了跑分成绩这种比较直观的视图元素，还会展示30种组合方式的兼容性、流畅性情况，后者才是最重要的指标，相比之下，跑分成绩在这款软件中的意义则不大，因为30种组合方式占总成绩权重等审核标准并不是大众投票所得，而是评测软件的标准而已。如下图所示，列出了这30种组合方式：

“安兔兔视频测试3.0”已经升级到30种不同组合方式的视频
跑分过程中，评测软件会对每一种“视频编码、音频编码和封装方式”的组合方式进行音频输出、视频输出、画面丢帧卡顿、不流畅等情况的考核，最终反馈到“成绩单”上就是在右侧会列出播放结果，分为正常、无声音、无画面和无法播放四种情况。另一方面，跑分软件会对将跑分成绩单进行分类展示，分别为：“支持格式”，“不完整支持格式”，“不支持格式”三种情况。如下图所示：

跑分结果显示方式
“不完整支持格式”就是将“播放效果”一列显示为无画面、无声音、卡顿的那行记录（视频编码、音频编码和封装方式）集合在同一张视图上给读者看。如下图所示。

不完整支持格式
“不支持格式”也类似，只不过变成了将“无法播放”的记录汇聚在一起展示。如下图所示。

不支持格式
和安兔兔、鲁大师不同的是，这款跑分软件一般是不会出现两次跑分不同情况，尤其是30种“视频编码、音频编码和封装方式”组合方式的明细表，不会出现上次跑分还支持1080P 的RMVB视频，这次跑分就不支持了的情况。
为了消除各位读者在下文观看跑分结果时候的阅读障碍，最后补充说明两件事情：
对于“视频编码”这一列，HEVC和H.265是同一个意思，部分读者看习惯了H.265标识，对HEVC可能比较陌生，正如看习惯了骁龙801，突然说MSM8974的时候，部分技术宅可能需要思考一会儿才能够想起这是另外一种称呼。类似地，AVC和H.264也是同一个意思。
由于本文主要探讨跑分软件和实际体验之间的区别，所以关于H.264和H.265两种编码方式区别，mkv和avi、mov等不同封装格式之间区别，我们等待以后有机会再详述。
第二件事情就是上述的“跑分成绩单”中，不标注的记录默认为1080P分辨率，2K和4K视频会单独标注出来。
不同平台SoC跑分情况接着咱们来看看不同平台SoC之间在视频解码能力上的差异，这次参加测试的6台评测样机分别来自3大处理器平台，具体跑分情况如下图所示：
PS：为了让表格看上去更加简洁，正常播放或者流畅播放的选项，我们不进行任何的标识，重点标识那些出现问题以及播放时候卡顿的情况。

6款机型在“安兔兔视频测试”跑分结果
从上图的表格中我们获取了以下几个结论：
1、2K和4K视频在如今的中高端机型之中，依然还是比较棘手的视频类型。
2、1080P的视频之中，采用了HEVC这种压缩率更高，视频质量更好，同时对硬件要求也更高的编码方式的视频，基本上也是各大SoC平台的梦魇，出现“无画面”情况比较多。
3、跑分“总成绩”确实存在权重的机制，骁龙801的SoC平台相比MT6752在“不完整支持格式”和“不支持格式”上出现问题更多，但是由于出现问题的格式在日常生活中的使用频率并不高，所以最终骁龙801和MT6752两种SoC分数比较接近。
4、Qualcomm在最新的骁龙820、骁龙652、骁龙650三款处理器上明显加强了视频硬解码的能力，从而让骁龙652最终得分相比定位中端的——骁龙615，以及昔日的旗舰处理器——骁龙801高出不少。
5、不用等到下文，现在就已经能够和各位读者指出跑分成绩和实际用户体验之间存在着区别的其中一个例子，还记得在“堆料真的有用吗？三大Hi-Fi芯片方案长测”一文中，笔者曾经整理过如下表格：

之前的实验验证过这台采用AK4375 Hi-Fi芯片的骁龙615样机支持FLAC格式
第三列机型正是上文提及到的，采用骁龙615处理器的那款机型，在音频专项测试中，这款机型是支持FLAC格式的音频解码的，但是在“安兔兔视频测试”结果中却显示无法解码FLAC格式音频，最终获得“无声音”表现，这和实际用户体验存在着区别。

“安兔兔视频测试”结果显示骁龙615那台样机不支持FLAC格式
6、采用相同SoC的两款机型（MT6752平台），在跑分成绩上有所不同，但是具体到30种视频兼容性上表现基本上没有区别。
7、最后一点就是，读者会发现，在上面表格中，出现了在音频解码、视频解码和封装格式上完全一致的两条记录，笔者当时也觉得奇怪，之后我就找到了存放这些视频文件的目录，仔细对比了一下两条看上去相同的记录之间究竟有什么内在的不同，如下图所示，两个红框选定的内容看上去完全一致。

蓝色框区域内有玄机
其实内有乾坤，我们把视线转移到蓝色框部分，大伙有没有发现它们的大小是不同的，笔者觉得它们应该在采样率（码率）上面存在着不同，因为压缩率已经被视频格式限定死了，所以采样率就是突破口。

右键对比两个视频文件属性
和笔者预测的一样，两个相同压缩率的视频文件，在采样率上面采用了不同的数据速率和总比特率，最终生成文件大小自然也就不同，采用高码率（采样率）的视频文件体积大一点，视频质量也会相对好一点，对硬件解码要求也会更高。还记得之前在“高保真还原手机Hi-Fi芯片是噱头还是干货”一文中，曾经介绍过采样率和压缩率对于音频文件的重要性，同样地，在视频领域也一样，读者朋友们可以举一反三。

类似上文情况，也是码率不同
测试视频介绍接着咱们回归到实际应用场景中，看看跑分软件的测试结果究竟靠不靠谱？笔者精选了13个采用不同音频解码、视频解码、封装方式组合的视频文件，包括MV、宣传片、电视剧、电影等类型，涵括了日常生活中各位看官的影视娱乐需求。

日常生活中常见的一些经典视频
跑分成绩和用户实际体验究竟差多少？接着，我们把“安兔兔视频测试”的相关视频格式和笔者这13个视频文件挂钩，让各位读者更清楚它们之间对应关系以及我们的测试目的。

选取这13部视频的原因主要为了验证“安兔兔视频测试”结果
由于网上原生采用AVC或者HEVC编码的4K分辨率的mkv文件资源实在太少，所以笔者通过泡论坛，找到了另外四款影音发烧友更喜欢的测试短片进行测试，格式上有所区别，但是依然是4K视频。1080P视频方面基本上和“安兔兔视频测试”选择类似，需要注意的是，mkv文件采用了HEVC编码方式，估计又有机型被虐了。
测试结果如下图所示，笔者挑选了在上一个环节中最具代表性的三款机型（分属三大处理器平台）参加这一轮的测试。PS：为了让表格看上去更加简洁，正常播放或者流畅播放的选项，我们不进行任何的标识，重点标识那些出现问题以及播放时候卡顿的情况（下文其它地方也采用了类似表达方式）。

13部视频实际测试结果
纵然换了四部不同格式的4K视频，但是三大平台的表现依然不如理想，无论是像十分卡顿和闪退这种完全无法观看视频的现象，还是只有声音没有画面这种半吊子解码方案，最终带给消费者的体验就是“无法观看绝大部分4K视频”，这和“安兔兔视频测试”的结果还是比较相似的。
接着我们重点看看1080P视频方面的表现，请看下面汇总表格（左边为实际应用场景，右边为跑分情况）：

实际应用场景　VS　跑分结果
我们只讨论跑分成绩和实际体验不同的部分：
1、骁龙615平台中，1080P的ts格式视频，跑分结果显示只有画面没有声音，但是实际用户体验并没有类似情况。
2、mov其实就是苹果的QuickTime播放器的内置格式，在骁龙615和Exynos 5410两个平台中都出现了跑分成绩和实际用户体验不同的情况。
3、采用HEVC编码的1080P分辨率的mkv视频，在跑分中显示能够正常播放的MT6752平台，在实际影片观看中却类似Exynos 5410，只有声音没有画面。
4、在跑分时候，骁龙615平台对flv、rmvb和webm三种格式的视频兼容性或多或少出现了问题，在实际影片测试中却并没有出现类似的情况，播放流畅，声影同步。
　　总结：本文所有参加测试的机型都只采用内置视频播放器进行解码（GPU硬解码），并没有借助第三方视频播放器进行解码（CPU软解码），日常生活中，我们碰到无法解码的视频，一般会采用两种方式，普通消费者就会借助MoliPlayer或者MX Player之类的第三方播放器进行软件解码，虽然能够看到视频，但是却让CPU负荷增加。另一种比较喜欢DIY用户就会使用视频转码软件进行转码，将其转成能够让内置播放器播放的格式，减轻CPU负荷。
通过本文的介绍，读者现在应该很清楚跑分成绩和实际用户体验之间存在着一定的差距，以“安兔兔视频测试”为例，跑分结果显示不支持或者不完整支持的视频格式，最终播放相同格式的视频未必真的如跑分结果显示那样，当然，大部分情况还是比较准确的，不然这款软件设计出来的目的就已经消失了。

共有评论0条