如何搭建视频通信系统——iOS篇

音视频通信是近几年互联网应用的一个新领域，其应用极其广泛，我们常见的视频电话、会议系统和连麦直播等都是视频通信的具体应用。在移动互联网飞速发展的今天，各种应用都渴望加入视频通信的功能，实现用户与企业，用户与用户之间的音视频交流。

于是问题出现了，开发一个视频通信系统需要什么技术储备？市场上又有哪些可以免费使用的iOS视频通信系统呢？

搭建视频通信系统所需技术储备：

构建视频通信系统是一项综合了数据采集、处理和显示技术，数据压缩编解码技术和网络传输技术的系统性工程。而一个基础的视频通信系统过程主要包含以下几点：

1. 数据采集技术：高效及时的获取高质量的原始数据

例如：在实时视频通话应用中，对采集到的音频一般要经过预处理，主要有滤除背景杂音、检测并消除回音等。

2. 数据压缩技术：视频通信系统的核心技术

由于原始视频的数据量非常大，如果不经过压缩，将会给传输和存储带来极大的压力，这就需要高效的视频编码技术在传输带宽限制下尽可能保持高质量，或者在质量相等情况下，获得尽可能高的压缩率。

在低延时的业务中，对压缩速度的要求也非常高。比如要达到每秒20帧的帧率，就要求压缩每一帧的时间低于50毫秒，同时还要兼顾到压缩的性能。目前主流的视频编码标准H.264/AVC，可以获得不错的性能与速度的折中。

3. 网络传输技术：视频通信系统的关键技术

压缩后的数据需要根据合适的网络传输协议打包，再经过网络传输到接收端，接收端再根据网络协议解析出压缩数据。根据业务类型以及传输数据的类型，需要选取不同的传输协议。最常用的两种是传输控制协议TCP和用户数据包协议UDP：TCP是面向连接的可靠传输协议，但是延时相对较大；UDP是无连接、不可靠的传输协议，但是延时相对较小。

在实际的使用中，不同的业务有不同的需求，需要结合业务本身进行合理设计。

4. 多媒体数据的解码播放：视频通信系统的最后一步

保证音画同步，避免花屏是视频解码的关键。因此解码时，需要根据解码标准检测是否丢失了数据，对解码失败的视频帧采取不予显示或请求重发等措施，避免出现不完整解码帧，也就是花屏。同时对音视频的播放，要根据时间戳进行同步播放，否则会极大地影响用户体验。对于解码得到的音频，往往要经过滤波、自动增益等处理，从而得到圆润而不刺耳的声音效果。当然，在多人通信中，首先还要对多路音频进行混音。

说完所需技术后，接下来，我们就来介绍一下目前市场上两家免费的音视频通信系统，以及利用他们如何搭建属于自己的音视频通信。

---

免费的音视频通信系统

Webrtc

webrtc是谷歌在2011年开源的网页实时通信协议，现已成为实时通信行业标准，阿里云、七牛云等都以webrtc为基础，搭建了自己的实时通信协议。

那么如何通过webrtc搭建一套ios音视频通信？步骤如下：

我们先要去官网下载iOS版本的源码，再对其进行编译，源码大小差不多6个多G，编译的过程也会遇到许多困难，最终形成的webrtc的.a库大概有300多M。

( 一）安装环境
系统环境：Mac OS
网络环境：准备好稳定的VPN工具

（二）安装git
http://www.cnblogs.com/ccdev/...

（三）安装depot_tools
创建一个目录专门来存放项目编译工具和项目代码仓库等，确保该目录所在磁盘可用空间至少有8~10G.打开系统的终端工具:

mkdir webrtc_build

在执行下面命令之前,请确保你已经连上VPN已经FQ了，或者你已经给git单独配置了有效的socksFQ代理。开始安装depot_tools，这是一套Google用来编译Chromium或者WebRTC的构建工具，在我们后续的编译过程中也将使用它。

a.  cd webrtc_build

b.  git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git

c.  把depot_tools 设置到PATH中:echo "export PATH=$PWD/depot_tools:$PATH" > $HOME/.bash_profile

d.  使PATH设置生效:source $HOME/.bash_profile

e.  echo $PATH查看设置是否生效。

（四）获取WebRTC源码

在我们的编译工作目录webrtc_build下创建一个webrtc子目录来存放代码：

*mkdir webrtc
cd webrtc*

开始把WebRTC项目的代码仓库下载一份到本地来，由于其仓库之大，大约一共需要下载6G+的东西，所以这一步非常需要有耐心，而且需要有稳定无障碍的互联网：

a.  设置要编译的平台到环境变量中：export GYP_DEFINES="OS=ios"

b.  fetch --nohooks webrtc_ios

c.  gclient sync

c步骤，也可以使用gclient sync -r eeab9ccb2417cab18ae1681c6644c25fa4eadcd3指定版本，注意：eeab9ccb2417cab18ae1681c6644c25fa4eadcd3为版本号。获取版本号方式为：

1. 进入[WebRTC](https://webrtc.org/native-code/ios/)官网

2. 点击上方About->Release Notes

  
 3. 选择想要下载的版本，例如M59，进入如下页面

 4. 点击WebRTC M59 branch后

  
5. 选择第一行，进入如下页面

现在即可见到版本号eeab9ccb2417cab18ae1681c6644c25fa4eadcd3。

（注意：fetch --nohooks webrtc_ios 和 gclient sync这一步需要等待很久）

（五）编译WebRTC

源码下载好了，现在目录结构如下图：

这些源码可以编译为好几个平台，OS X、Linux、 Windows、Android、iOS等。这里我们只需要编译iOS平台的WebRTC,并制作成一个iOS的开发框架，我们需要在终端命令行环境下去搞定这一切。

A. 设置构建配置，分环境编译

a. 进入WebRTC源码文件：cd src

b. 根据需要编辑构建配置，编译iOS系统，设置为target_os="ios"，编译iOS真机，target_cpu为"arm"或"arm64"，编译iOS模拟器，target_cpu="x64"，如：

gn gen out/ios_64 --args='target_os="ios" target_cpu="arm64"'

gn gen out/ios_sim --args='target_os="ios" target_cpu="x64"'

c. 开始编译：ninja -C out/ios_64 AppRTCMobile

编译后，得到arm64下的WebRTC.framework，目录结构如下图：

B.使用脚本，自动编译

在我们下载的源代码中有一个编译脚本，还是以我们下载的M59版本为例，其位置在src/tools_webrtc/ios/build_ios_libs.sh，直接执行这个脚本就能编译出需要的库文件了。编译后目录结构如下图：

图中选中的WebRTC.framework为包含arm64、arm、x64环境的库，如果需要具体环境下的WebRTC.framework，进入相应文件夹选择。

（六）使用WebRTC.framework注意事件

将WebRTC.framework导入工程后，运行会报错：

dyld: Library not loaded: @rpath/WebRTC.framework/WebRTC
 
Referenced from: /Users/MFJun/Library/Developer/CoreSimulator/Devices/4441D192-28A0-46AF-9CA9-C8945BB3442C/data/Containers/Bundle/Application/34E51961-4516-4478-AA59-579342D8D3A5/WebScoketTest.app/WebScoketTest
 
Reason: image not found

仔细看错误原因，是没有找到framework文件包，解决方法是：

TARGETS -> Build Phases -> New Copy Files

接着再点击下面+号，选择自定义的framework

在arm64的环境下，运行会报错

把TARGETS -> Build Settings -> Enable Bitcode设置为NO

接下来，Build Success！

(关于webrtc的编译方法来源简书MFJun,完整链接为：https://www.jianshu.com/p/64b...

说完webrtc，接下来给大家介绍另一套免费的音视频通信系统

---

Tucodec

tucodec是图鸭科技开发的一套音视频通信系统。其VoIP SDK已免费提供给用户，服务器的源代码和客户端网络模块代码也已开源。我也简单介绍一下如何用其搭建iOS音视频通信：

首先在图鸭官网：http://tucodec.com 进行注册，获得SDK中所需要的AppKey、AppSecret，注册登录后如下图所示：

其次到开发者里选择下载iOS中所需SDK。

最后解压，如下图所示：

1、解压voipDemo.zip，如图所示：

把TYVoIPiOSSDK.framework拿出来，该framework即为图鸭音视频SDK,导入到所需的iOS项目中,有时候导入framework工程没有自动添加该SDK的framework路径，检查方法:target—>Build Settings—>Search Path。

在Framework Search Path中加入TYVoIPiOSSDK.framework的路径。由于SDK是与C++混编的,所以只要使用到SDK中文件的 .m 文件都需要改成 .mm 后缀名，如下图所示：

在使用TYVoIPiOSSDK.framework库的时候，需要导入下面这些框架：

完成上述操作后，我们的音视频通讯App所需的大体框架已经完成啦。
之后就是码代码，完成系统UI界面绘制和用户之间通讯的逻辑操作。

在图鸭科技提供的SDK中，我们可以看到对外只有两个头文件，可见快速集成音视频通信并不是那么复杂。如下图所示：

二、头文件定义：

<1> TYVoipDarwinManager.h文件，该文件定义了对外提供的类和协议。以下3个是该文件中核心类与协议。
(1) TYVoipDarwinManager : VoIP主要功能以及管理类
(2) TYVoipVideoData : 接收以及发送视频数据模型
(3) TYVoipDelegate : VoIP的代理

<2> TYVoipRender.h文件：提供渲染用户视图View。

了解上述主要接口文件及其定义后，我们来了解SDK中的通信原理：在SDK中，所有用户都以通讯节点的形式存在，作为节点的用户都拥有自己唯一的表示—— UserID ，整个SDK会根据每个用户的UserID来进行通讯。

例如，甲和乙之间进行通讯，假设甲的UserID为401，乙的UserID为402，甲登录后向乙发送我要和你开视频，乙登录后向甲发送我要和你开视频，甲开始渲染乙的视图，乙开始渲染甲的视图 。完成上述所有操作后，甲乙建立通讯。

三、完整的SDK使用步骤简介:

<1>配置voip,在程序启动的时候调用:

[[TYVoipManager share] configVoip];

<2>登录转发服务器(登录一次即可):

[[TYVoipDarwinManager sharedVoip]      loginRelayServer:ip
                                       serverPort:port
                                       sessionId:sessionId
                                       userId:_401
                                       AppKey:AppKey
                                       AppSecret:AppSecret];

<3>设置voip代理和开始voip:

[[TYVoipDarwinManager sharedVoip] setDelegate:self];
[[TYVoipDarwinManager sharedVoip] startCallWithUserId:401];

<4>根据逻辑,添加(删除)需要通话的节点:

[[TYVoipDarwinManager sharedVoip] addClientNode:402];
//[[TYVoipDarwinManager sharedVoip] removeClientNode:402];

<5>不需要通话时,停止voip:

//关闭voip
[[TYVoipDarwinManager sharedVoip] stopCall];
//清空现有的连接节点(不再接收节点的数据)
[[TYVoipDarwinManager sharedVoip] clearClientNodeList];

<6>根据具体的业务逻辑重复步骤3、4、5

<7>在程序结束时销毁voip

[[TYVoipDarwinManager sharedVoip] destroy];
  

四、部分代码解释：（从用户甲的实现代码来解释）

TYRenderView * preView;    //渲染甲的视图
TYRenderView * otherView;   //渲染乙的视图

<1>登录操作：

甲（UserID：401）登录操作,返回值为是否登录成功(非0即为成功):

-(BOOL)login{
    NSString * ip = @"**.**.**.**";//所需转发服务器地址 
    uint16_t port = 0;
    int sessionId = 0;
    uint32_t AppKey = 0;//填写刚才申请的AppKey与AppSecret
    uint32_t AppSecret = 0;
    int res = [[TYVoipDarwinManager sharedVoip] loginRelayServer:ip
                                                serverPort:port
                                                sessionId:sessionId
                                                userId:_401
                                                AppKey:AppKey
                                                AppSecret:AppSecret];
    return res;
}

<2>连接操作

甲连接乙操作：

-(void)startVoip{
    //设置通讯中所需代理涉及到实现的方法下面有解释
    [[TYVoipDarwinManager sharedVoip] setDelegate:self];
    //甲自己加入到通讯中
    [[TYVoipDarwinManager sharedVoip] startCallWithUserId:401];
    //添加节点（添加乙的USerID）
    [[TYVoipDarwinManager sharedVoip] addClientNode:402];
    //视图渲染
    [self.preView startRendering];//渲染甲自己
    [self.otherView startRendering];//渲染乙视图
}

<3>断开操作

甲进行断开通信操作

-(void)stopVoip{
    //关闭voip
    [[TYVoipDarwinManager sharedVoip] stopCall];
    //清空现有的连接节点(不再接收节点的数据)
    [[TYVoipDarwinManager sharedVoip] clearClientNodeList];
    //停止视图渲染
    [self.preView stopRendering];
    [self.otherView stopRendering];
}

<4>代码中出现代理方法详解

-(void)localVideoImage:(TYVoipVideoData *)image{//甲画面处理
    if ([self.preView isRenderring]){
        [self.preView renderVoipVideoData:image];//进行甲画面渲染
    }
}
- (void)remoteVideoImage:(TYVoipVideoData *)image{//乙画面处理
    if ([self.otherView isRenderring]){
        [self.otherView renderVoipVideoData:image]; //乙画面渲染
    }
}
- (void)previewAudio:(NSData *)data{//本地语音

}
- (void)mixedAudio:(NSData *)data{//其他节点语音,混音

}

(关于tucodec的编译方法来源简书Tucodec图鸭科技,完整链接为：https://www.jianshu.com/p/5c4...

Tucodec是17年才步入到观众视野的音视频通信系统，相比webrtc，其文档不够丰富，但是延时更低，编译难度也更低。总之，是一款可以直接进行接入测试的音视频通信系统。

---

两款软件的优劣

Webrtc和tucodec作为两款免费音视频通信项目，其在技术上的差别没有多大，主要是实际应用中的问题，webrtc的源码太多，编译难度大；Tucodec门槛低难度小但是开发文档不够完善。

其实作为任何的音视频项目，都会存在一些瑕疵，没有办法做到尽善尽美。大家在具体使用的时候，还是要根据具体的使用场景来选择。