全面评估音视频实时通信的开发测试环境Part1指导文档，初稿

全面评估音视频实时通信的开发测试环境Part1指导文档，初稿
Walker Xu

必须实事求是的说，全面评估我们目前做不到，受团队规模，业务重心的影响，受经费的影响(没有经费)。根据业内的中上水平看一个专业的能做全面评估的团队不少于5个专业人士，搭建一个环境软件硬件设备上的投资7位数起。下图是别人家的测试评估环境，我们看看，至少知道差距在哪目标是什么。

上图是某司音视频实验室的基本配置，我们真是一穷二白，为了缩小差距，我们把资源的获取扩大到魅族全公司，虽然差距仍然巨大但是也不是一穷二白了。
我们有一个静音室在总部(网图)
没有专业的声音场景模拟设备，我们有手机要多少有多少，用多台手机多角度播放录制的嘈杂音等声音场景
或者买几个小音箱(质量太差就算了)，主要是没有闭环的声音回路设备
或用一台手机循环播放录音模拟人工嘴
买不起专业的网损设备，搭了一个用软件模拟网损的环境
测试声音延时的回路设备不好准备，我们用摄像机+秒表测量视频的延时，或者用录屏软件
如果有音箱作为音源，可以通过示波器搭上音箱和接收手机的耳机，这样一个简单的回路，通过示波器上两路波形的时间差，可以测试声音的延时

我们还有，一个秒表软件精确到毫秒
一个模拟地球匀速自传的小程序和一段新闻联播带有匀速滚动字幕的视频
还有一段纯净的从1数到到50的录音
还有一段录制的蝉鸣的录音
还有一段录制的拱北关口人声嘈杂的录音，一段马路边车流声的录音
不过没有专业录音设备都是手机录制的，作为噪音源应该可以
专业的噪音源可以下载NoiseX-92，有很多种噪音源比较专业，前期还是使用用户场景的噪音吧

想当年革命先烈们小米加步枪...

用户人都是主观的动物，使用环境也千差万别，为了达到某种效果技术在各个指标上也是不停的博弈，这些都构成了评估的挑战。结合自身的现实条件，我们对这些挑战提出了一些解决方案，并且持续进化。

主观性：由于条件的限制，采用主观为主客观辅助的策略
对于延时，带宽使用(吞吐量)，流量，编解码时间，帧率我们借助工具来测量。
对于视频的清晰度质量，流畅度，平滑度(在远程助手里可以作为参考项不做强制)，主要靠主观评价，因为在实时通信中参数是在变化的，测量视频单帧的质量意义不大。后续流畅度和平滑度我们可以通过的帧间隔时间来评估。
由于缺少闭环的音频回路和测试设备，音频的降噪，抗丢包，延时等指标主要靠主观评价。
也有一些客观手段，可以通过示波器+秒表+音源+摄像机测试音源设备播放，手机A采集手机B输出波形之间的时间差，或者采集音源和接收输出的两路波形对比时间差
也可以好好利用audio dump工具拿数据和原始音源比较，可以得出从音源设备播放，手机A采集，手机B接收解码过程中，数据的变化或损失，如果要进一步贴近用户环境，可以用apx525这样的专业设备采集手机B输出到耳机的信号做进一步对比。
主观测试目前的缺陷是，人手不够，从统计学角度样本不够，部分用户最容易体验到的主观测试项屏蔽专业术语，列出几项，采取打分制，便于更多人参与体验反馈主观感受。

不确定性：通过实验室环境消除不确定性，在实际环境验证最终效果，在实验室确定的条件下开发测试，可以明确指出缺陷的存在，比较有针对性，不容易出现优化跑偏的情况。
我们有特定的屏蔽室，单独的实验室网络，确定的视频源，音频源，能够准确的控制网络环境模拟各种网路情况，尽量排除通路中的不确定性。网络环境模拟控制的实现请参考下边两个文档。
leningrad02.网络环境模拟工具部署与Android打通.pdf
leningrad03.ubuntu台式机如何用usb无线网卡共享网络.pdf

矛盾与平衡：
带宽与图像分辨率，质量，延时与抖动，拥塞永远是矛盾的存在，工程师要在设计上平衡这些指标的博弈，根据不同的业务场景可能侧重点也不一样。
针对这种情况，我们采用A/B/C test方式，给出3个不同的平衡设计，针对每个设计进行测试打分，最后进行综合评估。

缺少的设备（便宜的，不包含能借到或借不到的贵的设备比如示波器）
剪开的耳机线若干
音箱若干
手机支架若干
......

主要指标：比较影响用户体验的（暂不参考目前的数据，新的指标数值待定，实施时确定，还要做一些调研和竞品分析，制定一个合理的指标）

视频

音频

控制

网络

以上指标主要关心p2p情况下的。
需要转发的涉及到服务器的性能，CDN，云部署，都决定了一些指标的好坏，比如接近用户部署服务器延时肯定会下降，这个以我们目前的实力做不了。
所以需要转发的情况，有些指标需要服务器部署才能优化的，测试不重点关注。
转发

面临的困难：
最大的困难，很难把所有设备同时集中到一个地方，线下是分开做能做一步是一步
缺少一些小设备
有些指标需要进一步对比竞品得出

改进：
以后希望利用大数据的方式，实时监控线上质量，从全盘角度进行评价。
抽空逛下深圳华强北看有什么便宜的价格能接受的设备补齐，如果价格稍高看好型号走OA。

理想很丰满现实很骨感，跑下来发现所有实验设备集合到一起是件非常困难的事情，结合实际情况吧，能做多少做多少。
最好申请到一个实验室，把能固定的都固定下来。
结合之前文档和素材，针对现有业务进行搭建。

这是一个长期艰巨的任务。