ZEGO即构科技

ZEGO即构科技 查看完整档案

填写现居城市  |  填写毕业院校  |  填写所在公司/组织填写个人主网站
编辑

音视频云服务商

个人动态

ZEGO即构科技 发布了文章 · 10月14日

教育场景方案升级| 打通业务前后端,少量开发快速上线(一):互动小班

一位老师同时面向多位学生教学的互动小班课,在一定程度上摊薄了教育机构的师资成本,让优质师资得到充分利用;老师和每位学生的直接互动,又可以打造系统、全面、精准地个性化教学。因而兼具“运营成本更低和互动教学效果更好”的在线教育小班课,已成为在线教育最热门的班型之一。

作为强互动的线上教学班型,互动小班在构建的过程中也对技术提出了更高的要求。

一、至少要对接3家云厂商,互动小班接入难度大

线上互动小班的搭建,涉及到多项功能和技术点。

首先是实时音视频。互动小班教学过程中既需要提供超低延迟的音视频互动,同时也需要保障多人通信时的优质音画效果。例如:多人低延迟实时互动、多人互动双讲效果好、多种硬件机型适配兼容、复杂网络下无卡顿教学等等;

其次,根据小班课独特的业务场景,还需求提供多重后台管理能力,例如:提供可划分老师、学生不同课堂角色的操作逻辑;支持上课、下课等课堂状态管理;支持对课堂上摄像头、麦克风的管理等等。

最后,为了实现更好的互动教学效果,互动小班还需要接入互动白板、云录制、IM实时消息等多重能力。

因而,若一个教育机构想打造线上互动小班课,首先需要集成音视频SDK,接着自行开发后台逻辑,同时再接入白板、IM等能力。整个开发过程至少需对接3个云服务厂商,多个技术环节要打通,教育机构要投入大量的时间和研发成本。
image
为了满足更多中小型教培机构快速上线小班课的需求,即构全新升级了互动小班解决方案,为教育客户提供打通前后端、少量开发快速上线的小班课整体方案。

二、即构提供整套业务功能和后台的新小班课方案

即构教育行业解决方案在音视频SDK外,将小班课场景所需的互动白板、云录制、实时消息、业务后台等能力进行了打通,为客户提供小班课的全套业务功能。

1、即构小班课新方案与行业传统接入方式的区别
image
2、即构互动小班方案架构图
image
3、即构互动小班新方案功能一览

  • 音视频SDK

音视频是互动小班的核心,即构小班课已接入即构音视频云,可实现老师与学生、学生与学生之间的低延迟无卡顿的音视频实时互动。

  • 白板文件SDK

即构小班课已接入ZEGO文件转码服务和ZEGO互动白板服务,老师可以分享课件、白板绘制,并支持老师与学生进行白板互动等。

  • 实时消息

即构小班课支持集成实时消息SDK,实现老师与学生、学生与学生之间实时发送文字消息。

  • 录制回放

即构小班课支持对接ZEGO云端录制服务,将上课时的多路音视频以及白板画面录制为视频,满足课堂质量分析和学生复习回顾等业务需求。

  • 课堂角色

支持创建老师、学生等角色,并且老师和学生拥有不同的视角和操作逻辑,实现与线下无差别的教学体验。

  • 课堂管理

支持上课、下课等课堂状态管理,老师可控制当前课堂的状态,满足平台对课堂的管理需求。

  • 成员管理

提供基础成员管理能力,支持老师对学生进行摄像头、麦克风的管控,支持将学生移出课堂。

  • 权限管理

支持老师对学生互动共享权限及聊天权限的管控,满足老师维护课堂秩序的需求。

三、即构新小班课场景方案的优势

即构小班课新方案从通用场景及需求出发,在保障小班课多人互动教学体验的基础上,还大大降低了客户的接入难度,让更多中小型教育机构可快速实现小班教学场景。

1、全平台Demo源码,大大降低客户集成难度和时间

即构提供全平台小班课Demo源码,在Demo源码中,我们将小班课场景所需的音视频SDK、白板文件SDK、IM实时消息SDK以及录制服务等功能全面打通。客户无需单独集成或是逐一对齐不同的SDK或服务,直接使用ZEGO提供的源代码,进行少量独家业务开发即可上线运营。

2、贴合实际场景的业务逻辑设计,降低客户开发门槛
即构小班课新方案根据实际教学流程,为开发资源不足的教育客户开放了前端及业务后台源码,帮助快速实现各平台的界面开发、前后端交互以及教室管理、学生管理、权限管理等后台服务。整套逻辑、流程设计可满足90%以上小班课场景的真实使用需求,客户可直接复用。

3、多维度后台数据服务,满足机构业务及运营需求
在音视频质量分析平台“棱镜”的基础上,即构新增了针对教育客户所关注的各类数据服务,例如进入/退出课堂数据、教学时长等,帮助客户进行运营分析。教育客户可自行维护即构所提供的服务后台,或是快速复制该后台数据逻辑,搭建建自己的后台上线使用。

即构互动小班新解决方案已上线,并已帮助多家教育客户实现了便捷快速的小班课集成。更多对互动小班有需求的小伙伴,欢迎联系我们获取互动小班Demo源码,实现项目的加速上线。

查看原文

赞 0 收藏 0 评论 0

ZEGO即构科技 发布了文章 · 9月16日

即构SDK9月迭代:外部采集、音频频谱、房间附加消息等多个模块功能上新

即构SDK9月迭代来了,本月SDK在外部采集、音频频谱、房间附加消息等多个功能模块均有新功能上线,并且还针对K歌音乐场景下,优化了变调功能效果。以下是详细的迭代内容:
image

LiveRoom

新增

1.新增外部视频采集支持旋转的功能
在推流端,采集预览支持 0°(默认值),90°,180°,270°等多角度逆时针旋转,客户可根据实际场景调整移动端的横竖屏旋转效果。在拉流端,只需渲染时采用顺时针角度旋转还原即可。
在教育场景中,老师使用录屏作为外部采集源会存在旋转使用的过程,旋转功能可帮助调整视频方向。

2.新增音频频谱支持采集系统声卡数据的功能
音频频谱功能支持采集麦克风的人声数据和系统声卡的音频数据,并回传给开发者。

在直播场景中,主播开系统伴奏放歌,其频谱动画效果可展示给主播自身和观众观看,增添更多互动玩法和趣味画面。

3.新增房间附加消息 RoomExtraInfo 模块
房间附加消息 RoomExtraInfo 模块,将替代原有的可靠消息 ReliableMessage 模块。RoomExtraInfo 模块具有更高的稳定性和可靠性,保障机制会保证房间内所有人会收到消息更新。

在教育场景中,一堂线上公开课,教师可以更新房间附加消息,通知房间内所有人课程的进行状态,如:开始上课/课间休息/课程结束等,学生在房间内可以稳定及时地收到该消息更新。
注意:两个模块不能同时使用,可靠消息 ReliableMessage 模块计划于12月的迭代版本中废弃。

优化

**1.优化 SDK 中部分域名对 DNS 预解析过程

  1. 优化多用户同时登录房间可靠消息同步问题
    1. 优化了变调功能效果**

在人声效果不变的同时,使得乐器声或背景声的变调更加自然,同时提升了变调范围,开发者可以根据场景需要自定义配置。

AudioRoom

新增

1.新增音频频谱支持采集系统声卡数据的功能
音频频谱功能支持采集麦克风的人声数据和系统声卡的音频数据,并回传给开发者。

在直播场景中,主播开系统伴奏放歌,其频谱动画效果可展示给主播自身和观众观看,增添更多互动玩法和趣味画面。

优化

1.优化 SDK 中部分域名对 DNS 预解析过程
2.优化多用户同时登录房间可靠消息同步问题
3.优化了变调功能效果

在人声效果不变的同时,使得乐器声或背景声的变调更加自然,同时提升了变调范围,开发者可以根据场景需要自定义配置。

以上就是本月SDK迭代的主要内容,更多详细文档以及ZEGO SDK历史更新内容,可以进入“即构官网(zego.im)-开发者中心”查看。

查看原文

赞 0 收藏 0 评论 0

ZEGO即构科技 发布了文章 · 9月1日

【干货】在线教育平台如何保障课件数据安全

上周,我们介绍了即构新推出的自研互动白板,依托成熟的亿级用户实时信令网络,即构互动白板具备“音视频实时同步、百人实时在线协作、跨国跨网无差别体验”等独特优势。

我们提供了互动白板的体验APP,扫描下方二维码,即可获取iOS、Android、Web三个端的下载地址,大家可以亲自感受即构互动白板的使用效果:
image

课件数据安全是教育平台在白板选型时的重点关注因素,那么,如何保障白板分享时课件数据的安全性呢?基于在音视频、信令服务近20年的技术积累,下面我们将分享即构互动白板在解决数据安全难点的方案及技术实践。

随着教育行业竞争的加剧,越来越多的教育平台投入大量的人力物力进行课程研发,因而这些核心课件数据的保护十分重要。教育平台在选择白板互动厂商时,往往更关注教学过程中的课件安全问题,包括课件的防被盗、防丢失,防损坏等。

即构根据白板文件共享的整体流程,从文件存储、访问、业务等多方面保障数据的安全性。

存储安全

我们主要从以下两方面来保障存储的安全性:

  • 加密存储

无论是原课件还是转码后的文件,都先经过加密处理后再进行存储,确保文件本身的加密安全,内容不泄漏。

  • 备份容灾

基于云服务厂商提供的备份容灾能力,确保课件存储的可靠性。

访问安全

我们通过双重验证来保证文件访问的安全性:

  • 文档服务支持对访问课件的请求进行auth key验证,只有验证通过才能获取到课件的相关信息,如存储信息等。
  • 基于云服务厂商提供的对课件的鉴权访问。

业务安全

通过采用转码业务与存储相分离设计,把存储变成独立模块,支持第三方存储接入。客户可以仅使用即构的转码服务,而使用自己的存储服务,打消客户对核心课件资源的安全性顾虑。

通过对课件上传、转码、存储、分发、下载的整个链路的进行加密、鉴权,保障客户的课件安全,为客户的核心课件数据保驾护航。

查看原文

赞 0 收藏 0 评论 0

ZEGO即构科技 发布了文章 · 9月1日

技术分享:即构互动白板音视频同步、多端实时互动同步技术实践

8月27日晚,即构联合技术社区LiveVideoStack在线上举办了互动白板的技术分享直播活动,吸引了大量在线教育及音视频相关的开发者参与。即构科技互动白板研发负责人陈晓聪在活动上分享了我们在互动白板的技术探索与实践,并首次公开即构是如何解决“白板与音视频的同步、白板的多端实时互动同步”两个技术难点的。

在本次活动上,陈晓聪首先介绍了即构互动白板的优势以及整体技术框架。

一、即构互动白板的优势

  • 全面覆盖主流平台、主流框架,基于原生平台的技术框架开发,便于根据平台特性深度优化性能,降低SDK包大小;
  • 互动涂鸦实时同步;
  • 白板绘制与音视频实时同步;
  • 文档共享支持10+主流的文档格式,支持动态PPT,是当前市面上支持文档格式最齐全的白板系统;
  • 丰富的白板教具,包括画笔、文本、直线、矩形、椭圆、激光笔、橡皮擦等,同时针对教育行业的需求,有规划的丰富教具;
  • 白板与音视频的实时同步录制,已经开发完成,正在内测中,很快就能上线,有需求的小伙伴可以保持关注。

二、即构互动白板整体技术框架

即构的互动白板主要是由以下几部分构成:
image

1白板互动服务

数据的存储和操作信令的转发,信令的同步就是由这个服务负责。

2文档转码服务

文档的转码、访问鉴权,我们的转码服务有个优势,就是针对Native端转出的是PDF,针对Web端转出的是SVG,这样就能实现矢量放大,高清放大不模糊。

3对象存储

负责文档资源的存储,采用与文档转码服务相分离的设计,客户除了可以使用即构的对象存储,还可以选择自己的对象存储,可以打消客户对文档资源安全的顾虑。

4内容分发网络

负责文档资源的全球加速分发,实现客户端对文档资源的就近访问,确保客户在全球各地都能快速共享文档。

5云录制服务

负责对互动白板信令和音视频流进行实时采集、合成,实现互动白板和音视频的同步录制、回放,支持对课堂中的白板和音视频进行混流合成MP4。

在介绍了即构互动白板的整体技术框架后,陈晓聪深度分享了即构是如何解决互动白板技术实现中的两大难点:音视频与白板实时同步、互动白板多端实时互动同步。

三、即构互动白板技术实践

通过实际使用的痛点描述、问题产生的原因以及对应的解决方案,层层深入分享互动白板的技术实践。

  1. 白板音视频不同步产生的原因?
  2. 最容易出现白板音视频不同的的两大场景?
  3. 即构白板音视频同步的解决方案是什么?
  4. 多端实时互动不同步主要由哪三方面导致的?
  5. 针对这三个痛点即构的解决方案?

上面的内容,我们在活动中进行了详细的分享。错过直播的小伙伴,可以扫描下方二维码,获取活动的完整视频回放、演讲PPT、演讲文字稿。

image

本次活动我们分享了整体的技术框架,并针对白板音视频同步和多端实时同步两个技术难点分享了我们的探索和实践,欢迎更多对互动白板技术实现感兴趣的小伙伴与我们互动交流。

查看原文

赞 1 收藏 1 评论 0

ZEGO即构科技 发布了文章 · 8月27日

技术分享:如何构建低延迟跨国互动教学白板

上周,我们介绍了即构新推出的自研互动白板,依托成熟的亿级用户实时信令网络,即构互动白板具备“音视频实时同步、百人实时在线协作、跨国跨网无差别体验”等独特优势。

我们提供了互动白板的体验APP,大家可以亲自感受即构互动白板的使用效果。

点击这里下载体验APP(支持iOS、Android、Web)

在线课堂中,互动白板的跨国体验关系着服务的可用性。那么,如何实现跨国教学中白板的高效互动呢?基于在音视频、信令服务近20年的技术积累,下面我们将分享即构互动白板在解决跨国互动“延迟高、协作难”的方案及技术实践。

跨国教学场景中,老师和学生往往有一方不在国内,若白板服务商全球节点部署不足,容易出现跨国网络通信延迟高、不稳定等难题,并导致以下问题:

  • 外教国外教学时,容易掉线,影响老师的教学节奏、学生的上课进程;
  • 老师和学生双方延迟过高,难以进行有效的课堂互动,教学质量难以提升;
  • 网络差时,容易出现下载课件失败,导致无法打开课件。

即构的跨国通信优化方案,实现了服务集群的全球部署,并通过统一接入、课件内容分发、上传下载优化等手段,保障跨国教学场景下白板的优质体验。

全球部署

在线教育用户跨国场景中,用户的地域分布主要呈现以下特点:

  • 用户主要在国内,少量国外用户
  • 用户主要在国外,少量国内用户

我们通过在国内和国外部署服务集群,支持客户根据用户地域分布特点切换国内和国外集群,让集群离大部分用户更近,实现大部分用户就近接入、快速访问。

对于少部分需要跨国访问服务集群的用户,我们通过在全球部署多个代理中心,实现用户的就近接入、快速访问。
image

网络接入优化

传统的https需要重复建立连接,每次tcp连接都需要3次握手,在跨国场景中,网络网络环境更加复杂,该缺点被放大,增加了传输延时。为此,我们在网络通讯方面引入了QUIC传输协议。QUIC协议既吸收TCP和UDP的优点,又对当前网络环境有优良的适应性,尤其是在弱网环境下能保证数据传输的可靠、稳定和高效。通过在客户端和白板信令服务中间接入层采用基于QUIC协议通讯的接入调度服务,提高这最后一公里的传输效率,优化了弱网环境下的接入质量,降低网络延时。同时,通过在全球多地部署网络调度节点,基于用户IP信息实现精准调度,实现用户的就近接入访问,从整体上实现网络接入优化。
image

课件内容分发

基于云服务厂商提供的对象存储能力,即构实现对课件的存储与分发。在开启全站加速后,可以利用云厂商的全球CDN加速节点进行内容分发,实现客户就近下载课件资源,确保课堂内来自海内外的老师和学生都能快速打开课件。

上传下载优化

随着课件功能越来越丰富,课件大小也在逐渐增大。在弱网状态下,大课件的上传和下载往往很容易失败。究其原因在于,课件的上传和下载一般采用https/http协议,在客户端弱网条件下,很难在一定时间内下载完成课件数据,超时失败后重新下载依然面临同样问题,导致老师和学生一直无法打开课件。

即构的优化方案是从客户端入手,互动白板SDK通过一整套的文件断点上传和断点下载机制来兼容弱网场景,确保完成课件的上传和下载,让课堂有序进行。

通过对跨国白板互动中的各个关键环节进行针对性优化,即构在实践中明显的提升了跨国课堂的白板互动体验,有效的改善课堂效率。

查看原文

赞 0 收藏 0 评论 0

ZEGO即构科技 发布了文章 · 8月24日

影响音视频延迟的关键因素(三):传输、渲染

影响音视频延迟的种因素有很多,此前我们已分享了不同流媒体系统对时延影响,数据流动过程中采集、前处理、编解码三个环节是怎样引入时延的,今天我们将分享在流媒体数据传输、渲染环节,有哪些因素会导致时延。

1传输

流媒体数据传输是非常复杂的过程,涉及到运营商、物理距离、接入方式以及节点部署等多方面因素。传输的极限是光速,光在光纤中的传输速度大概是28万每秒,从北京到深圳,大概需要10ms,但在实际传输过程中,使用光纤到户这种方式传输大概需要20ms,用4G的话会达到80ms,我们实测的5G会好很多,5G更接近光纤。

在传输方面做延迟的优化,可以通过以下几个方面来实现:

第一,更好的基础设施。比如FTTH(光纤到户)、5G,如果没有好的网络,做低延迟的优化是不现实的,所以首先是要加强网络建设;

第二,合理部署服务。让我们的服务本身足够靠近用户,做好全链路最优路由;

第三,针对实时流媒体优化传输控制协议。现实的网络中抖动、丢包是不可避免的,我们需要针对这种特性去设计我们实时流媒体传输控制协议,包括重传、估算可用带宽、编码,根据网络情况加入编码冗余;为了对抗抖动要加dejitter等

5G对低延迟的影响有这两个方面:第一高可靠低时延通信,它的空口时延号称达到1ms,我们自测的话是接近光纤,基于此我们可以实现一些关键操作,比如远程控制,工业的自动化;另一个是增强型移动宽带,它可以达到很大的上行,我们测的话可以达到7/800兆,上传4K、8K的视频没有太大压力。
image

即构很期待5G的到来和铺开的,首先我们方案是转控分离的,我们的信令面和媒体转发面是分开的,转发面我们就可以从一个localDC到另一个localDC,不需要再往上面去扩,这样更靠近用户走更短的路径,有时延的优化;第二是我们控制面是有状态的,那我们还是往上走,控制面并不影响数据的延迟。

2渲染

最后一个是渲染,渲染时会调用系统的接口,因此系统接口的类别对时延的影响很大。如安卓我们用OPENSL ES,这个是低时延的关键,还有一些厂商做的私有接口优化,比如耳返。在某些场景耳返是个重要功能,如唱歌过程中歌声需要实时返回耳朵来判断唱的准不准,那这里的时延就非常关键,如果不做耳返优化,在VIVOX9它的时延可能达到了209ms,而当开启优化之后,时延降低到14ms,这是非常明显的优化。

即构的接口SDK已经去适配这些厂商,拿到了他们的文档、接口,我们做了适配,选择即构的方案,就可以即插即用。

以上就是分环节分析延迟产生的各种因素,但降低延迟是一个系统性工程,任何单个节点出现异常,都会引发整体异常。

下图上下两部分是两个极端,上半部分粒度很粗,采集、前处理、编码一起做完给传输,对端解码、后处理、渲染也一口气做完。这样做,在设备性能好的情况下,延迟是可以比下面的流水线实现低的,但是吞吐是有问题的;
image

另一个极端是把每个环节拆的很细,采集、前处理、编码、后处理等环节都当成一个个单独的任务,拆的很细就会有另一个overhead,我们把数据从前一个抛给后一个是生产者和消费者的关系,这样是自带buffer的,buffer就意味着延迟。

因此我们需要权衡考虑设备的能力和怎么去拆解每个环节任务,做更合理的分割。

查看原文

赞 2 收藏 2 评论 0

ZEGO即构科技 发布了文章 · 8月20日

影响音视频延迟的关键因素(二):采集、前处理、编解码

上一篇,我们分析了5种流媒体系统与音视频延迟的关系。今天,我们将按照数据的流动步骤,分析每个环节是如何影响音视频时延的,首先分享的是音视频“采集、前处理、编解码”这三个部分是如何引入时延,以及我们的优化方案。

媒体数据流动步骤:

采集:把模拟信号变成数字信号;

前处理:包括3A之类的,把它变成纯净的信号;

编码:将信号送给编码器做编码编成码流,做数据压缩;

传输:把码流通过网络传输到对端;

抗抖动:对端在播放时要考虑流畅,卡顿的时候没法用,因此要做缓冲;

解码:当有一定数据积累后给解码器解码;

后处理:恢复信号后有的产品会需要做后处理(通常不需要);

渲染:最后交给设备做渲染,实现音频播放视频播放。
image
上面整套流程的每个环节都会引入时延,我们可以针对每一环节去做优化。

1采集

音视频采集环节的延迟,与硬件设备、采集的参数配置相关。在即构侧来说,我们是和操作系统的接口打交道。在音频采集时,我们需要考虑音频采样频率,每一次API返回的采样点数。比如:

如果我们以44.1K赫兹去采样,系统 API 每次返回 1024 个点的数据,那么就有 23.2ms 的延迟,再加上一些设备的延迟,最终的延迟会大于23.2ms。如果以48K赫兹去采样,系统 API 每次返回 192 个点的数据,延迟只有 4ms。

但也不是越短越好,这里需要针对应用场景做权衡,很多情况下减少采集帧长的意义不大,一方面编码的帧长有要求,另一方面可能会增加 CPU 开销。并且发送封包需要加包头,帧越短,需要拼帧做编码,payload 占比太小,意义没那么明显,甚至会增加额外开销。

2前处理

第二个是前处理。比如实时音频的回声消除、噪声抑制、自动增益3A处理;语聊场景的变声;实时视频的美颜、挂件、磨皮、瘦脸等。这些都会产生时延,我们可以从两个角度来看时延的产生:

第一个是算法的固有时延,在下面的图片中,原始数据是蓝色的曲线,我们想通过FIR低通滤波给它做平滑处理,可以看到这个效果是不错的,它确实变平滑了而且它的波形没有太大变化,但是我们也可以看到它整体向右移了,这其实就是算法的固有时延。
image
第二个就是计算时延,尤其是对视频来说有更大的挑战。通常我们会把这个计算交给GPU,那么GPU就有额外的负担,这是一个异构的计算,我们要把数据给GPU,再把数据从GPU拉下来,这里是需要同步的,我们发现会有10%-20%的延迟。而为了得到这么大的吞吐量一定要依靠GPU,因而这个是避免不了的。

3编解码

这是比较重要的部分,这里主要指的是信源编码。信源编码的主要目的是压缩,把传输所需要的字节数压缩减少,它需要权衡几个方面的东西:第一个是质量,第二个是码率,第三个是时延,第四个是吞吐。在同等码率下,一个编码方案引入的时延越高,通常来说质量会越高。
image
我们可以看看常见的编码方案对延迟的影响:

首先是音频的编码方案,以我们常用的HE AAC编码方案和开源的OPUS方案为例,HE AAE系统设计会引入129ms的固有时延,而OPUS可以做到10ms内,通常我们在低延迟的时候会选择OPUS。

在视频编码方面,H.264是目前广泛应用的标准,它有多种编码类别,像baseline profile、main profile等,这两种编码最大的区别是baseline profile只产生I帧和P帧,而main profile除了I帧和P帧外还会产生B帧,B帧是双向参考帧,它会参考未来的数据,当编码帧率是20帧每秒,一个B帧将引入50ms的额外延迟。因而在实时通信场景中,我们通常都是用baseline profile。

另一方面,不同的编码实现对质量与延迟都会产生影响,以视频编码为例。我们要考虑是用软件实现编码还是硬件实现编码,软编通常效果会比硬编好,一方面软编有非常多的策略去做提升优化,另一方面软编的时延通常会比硬编的低。

当然也不是说软编就能完爆硬编,硬编的吞吐量大,当分辨率很大、码流很大的时候,软编是hold不住的,所以还是要依赖硬编。而硬编又依赖于具体的芯片实现,在某些芯片的实现上,硬编可能会达到70ms的延迟,而硬解可能会达到130ms的延迟,这和芯片性能相关。

以上就是采集、前处理、编解码环节,时延是如何形成的。第三篇我们将分享在传输、渲染环节,有哪些影响时延的因素。

查看原文

赞 0 收藏 0 评论 0

ZEGO即构科技 发布了文章 · 8月19日

**影响音视频延迟的关键因素(一):流媒体系统**

低延迟的实时音视频技术应用场景在不断扩大,从秀场直播、连麦PK直播到在线教育、视频会议,音视频技术的落地应用朝着更高清、更低延时发展。下面我们来看看,构成音视频低延迟的因素有哪些,如何实现更低延时的实时音视频?

首先,来看看第一个影响音视频延迟的关键因素:流媒体系统

以下是目前比较流行的媒体传输系统的延迟对比:
image
第一个是HLS,这是苹果公司提出的一套传输协议,它依托于现有的Http框架,加上苹果强有力的推动,让它有了广泛的设备支持基础。但HLS是以切片为单位传输,默认 6s一个切片,播放器为了保障流畅,会默认缓存3个切片才开始播放。因此,即时不考虑任何其他因素,HLS的系统延迟就达到了18S;

在HLS基础上,基于Http的分块传输编码,LHLS做了优化,它可以做到3-7S的延迟。这套方案还在演进,苹果在去年的WWDC上提出了新的草案,新版草案号称可以做到2S,大家可以期待下。

第二个和第三个是RTMP和HTTP-FLV,这两个都是Adobe提出的,其实这两种协议在优化的较好的情况下是可以做到比较低延迟的,即构也支持RTMP,我们的方案可以做到实验室情况下400ms。但它有个硬伤,它的传输基于TCP,TCP在有丢包的情况下无法做流控,也就是说现实中它的延迟会达到秒级。

第四个就是比较火的WebRTC,在实验室情况它可以做到100ms以内,即构也有做WebRTC的网关,实测的话是300-500ms。

最后一个是即构自研的私有协议,这一套方案在实验室环境的延迟和WebRTC区别不大,因为只要有好网络,很多策略都用不上的,但是在有丢包、网络抖动的情况下,我们的表现会优于RTC,感兴趣的小伙伴可以与我们联系获取实测数据。

我们所说的延迟是端到端的延迟,那么按照数据的流动可以分为这几个步骤:采集、前处理、编码、传输、解码、后处理、渲染。这整套流程的每个环节都会引入时延,接下来我们会分享如何针对每一环节去做优化,敬请期待第二篇~

查看原文

赞 0 收藏 0 评论 0

ZEGO即构科技 发布了文章 · 8月18日

【重磅】音视频与白板完美同步,即构自研白板SDK上线

image
身处“教育科技”时代,用于提升教学质量的“黑科技”越来越多。但无论是线下教室,还是线上课堂,有一样东西始终存在——黑板/白板。

线下教室里的黑板,是老师进行板书、书写示范的核心区域,而线上课堂的白板,除了展示老师的课件外,还是屏幕两端的老师和学生异地互动的承载物。

白板好不好用,关系着老师的上课质量,更直接影响学生的上课体验。一个优秀的线上互动白板,除了要支持画笔、文本、橡皮擦、激光笔、直线等多样化教学工具外,还要具备这三个方面的能力:

1.功能齐全:支持矢量放大文件高清不模糊、PPT动态展示高度还原动画”等能力,满足客户对白板的多样化需求。

2.互动高效:保障音画与白板的实时同步、多人操作有序协作”的体验,让线上课堂的互动协作更高效。

3.可用性强:解决“白板使用对带宽/内存的占用高跨国跨网延迟大**”等问题,提高互动白板在低端机、跨国教学等场景中的适用性。

但目前,市面上大部分的互动白板厂商提供的服务仍存在能力不全、音视频与白板不同步、无法多人协作等问题,深深困扰着很多线上教育平台。

因此,在接收到多家教育客户的白板痛点需求,并深入行业内调研了多家白板/文件共享厂商后,即构决定自研互动白板及文件共享系统,让用户获得更优质的多人白板互动协同体验。

目前即构互动白板和文件共享SDK已上线,点击这里即可下载体验APP

在提供全面的互动白板和文件共享能力,满足教育客户的教学互动需求外,即构还针对性解决了机构在使用白板应用过程中的痛点,帮助平台获得质量更好的线上课堂,有效降低工单率、退课率。

一、白板应用痛点一:白板能力不全

线上课堂中,老师要共享课件作为教学内容支持。但如果白板在能力上不够全面,就会让老师辛苦准备了10分的课件,只展示出来3分,教学效果大打折扣。

支持的文件类型太少

幼教、K12教育注重动态PPT,学科类课件则涉及到excel、word、pdf等多种类型文件,如果只能支持少数文件类型,就会出现老师部分课件无法分享、授课形式受限等问题;

课件分享太模糊

在教学过程中,学生使用手机/平板等小屏幕设备上课时,会放大查看老师分享的课件,但部分文件共享只是将文件转化为固定尺寸图片之后进行共享,会导致课件放大后变的非常模糊,直接影响到学生的上课体验。
image

部分白板文件放大后模糊

使用即构互动白板 SDK,可以有效避开以上问题:

支持动态PPT展示,支持10+文件格式

即构互动白板支持将PPTX格式动态转码转成HTML5,高度还原原始PPT上的动画内容;支持包括PPT、DOC、XLS、PDF、JPG、BMP、TXT等在内的10多种主流文件格式;同时还提供多表单的完整显示,兼容每页大小不同的异形PDF文件等能力。

矢量放大,高清呈现共享文件

即构互动白板中的文件共享采用矢量放大,可原样呈现文件内容。通过矢量渲染文件内容,即便放大也呈现高清晰度的文件和白板内容,保障学生正常上课。
image
即构白板文件放大后清晰的效果

二.白板应用痛点二:高效互动难

除了能够完美的共享课件外,作为老师和学生之间的高频互动载体,白板还需要有强大的互动能力。

音视频与白板/文件实时同步难

由于音视频与白板分属不同的厂商,目前市场上大部分的白板都很难做到与音视频实时同步。这直接导致了上课时音画不同步,例如老师说“来看下一页”,并进行翻页,学生端会先看到下一页,再听到老师的声音。

多人实时操作难

在上课过程中,老师和学生多人同时操作时,容易因为同时对同个图元操作而产生冲突,导致老师学生双方观看的内容不同步。例如当老师和学生同时选中同一个元素,老师往左拖动,学生往右拖动,最后老师看到的在左边,学生看到的在右边。

基于完全自研的技术优势,即构将音视频与白板紧密结合,可实现音视频与白板的实时同步,多人协作有序进行。

音视频与白板/文件实时同步

即构通过推流时在音视频流和白板文件信令上带上时间戳,拉流时通过对齐两者的时间戳,做到音视频流与白板绘制的对齐同步。同时针对网络异常导致的白板文件多端不同步问题,即构SDK通过实时监控网络状态,利用信令SEQ实时同步服务端最新状态,确保多端同步。

多人实时操作,高效互动

在多端同时操作的场景下,即构白板/文件共享SDK通过自研的智能多人实时冲突判定算法,保证互动的有序进行,可实现百人同时高效互动协作,无论是1V1还是多人互动小班,都能满足课堂上的课件协作需求。

image

即构白板多人操作的效果

三.白板应用痛点三:卡顿掉线体验差

每个在线教育平台,都对课堂质量有着超高要求。一旦出现卡顿、掉线、听不清等问题,很容易引发家长投诉,工单率上升,严重时甚至导致学生退课。

白板带宽内存占用过高导致卡顿

白板信息传输需占用网络带宽和内存,数据量太大时会抢占信令和音视频等的带宽资源,造成音视频卡顿等问题。当带宽资源和内存占用过多时,对设备性能要求也同步提高。

互动白板在跨国教学中的质量难保证

跨国教学已成为常态,平台的老师大都来自北美、欧洲或东南亚。但由于网络部署、服务节点的限制,部分平台的白板服务在跨国教学时容易出现卡顿、掉线问题。

即构基于自研技术,从底层优化信令服务,极致压缩白板传输数据量;基于全球500+服务节点覆盖,实现国内外教学无差别体验。

优化信令服务,降低白板对带宽和内存的占用

即构通过优化信令服务,精简信令协议,降低白板文件操作时同步和缓存过程中的数据量,降低对带宽和内存的占用。在文件渲染和白板笔画绘制等不同场景下,基于canvas和svg选择不同的渲染方案,在保证渲染高流畅性的基础上,降低渲染过程中对内存和cpu的开销。

全球部署,跨国教学体验好

即构音视频服务已覆盖全球200个国家和地区,我们会根据客户平台用户的分布特点,提供国内和海外服务部署,全站加速,凭借分布式技术保障各数据中心的一致性,真正做到就近接入、就近读取,对于远距离的跨国传输,实现超低延时访问。

技术的进步,让教育插上腾飞的翅膀。基于优秀的自研能力,即构为教育客户提供能力更全面、互动更高效、质量更优质的互动白板和文件共享能力,让每一次的课堂教学都更生动可靠。

查看原文

赞 1 收藏 1 评论 0

ZEGO即构科技 发布了文章 · 8月13日

线上狼人杀太卡?快试试这个新功能

以线上狼人杀、线上剧本杀为代表的发言类游戏,已经逐渐成为社交新宠。用户在游戏过程中,代入第一视角,通过有限的线索,进行多轮语音推理互动。在时而分享信息、时而隐瞒欺骗的游戏过程中,拉近用户间的距离。

因而,一个优质的线上狼人杀平台,除了优化游戏设置、打磨剧本内容外,还需要不断提升语音互动质量,让线上用户获得如线下玩家一般的流畅体验。

一、一转换场景就卡顿,线上狼人杀频“出戏”

影响线上狼人杀体验互动体验的因素很多,比如杂音、回声、噪声等音质问题;网络不稳定;高并发;硬件不兼容等等。

而为了尽可能的还原线下游戏场景,在解决了上述痛点外,平台还需参考线下场景进行业务形态设计。比如,游戏过程中要分为“白天”和“黑夜”不同的场景,在白天环节,所有玩家在同一个房间发言互动,而在黑夜环节,所有狼人玩家切换到其他房间进行私聊分享。
在线狼人杀游戏中,白天/黑夜场景切换

在游戏场景切换过程中,不少狼人玩家就发现,从“白天”切换到“黑夜”,进入“狼人们”沟通交流的房间时,很容易出现切换延时大、卡顿等问题。这导致了游戏氛围被破坏,体验感大打折扣。

二、即构支持切换房间功能,让场景切换丝般顺滑

从技术角度来看,上述场景切换主要涉及到的是“房间”服务。而出现卡顿的原因,则与技术实现方式有关。

线上狼人杀要实现场景转换,业内通常做法是:

首先登出现有房间,停止推拉流;接着登录到另一个房间,再进行推拉流。在整个过程中,伴随登出房间会停止对麦克风、扬声器和摄像头等音视频设备的占用;接着重新登录新的房间,又需要重新启动对应的音视频设备。

正是硬件设备的停启,导致了切换房间推拉流耗时过久,让用户感受到卡顿、不流畅等问题。

针对狼人杀场景切换可能导致的问题,即构深度优化了SDK逻辑,上线了切换房间(switch room)的功能。

只需调用一个新增的switch room接口,调用后停止上一个房间的推拉流并进入新房间,切换房间成功会收到新房间登录成功的回调。与之前通过调用“登出原房间和加入新房间”两个接口的实现方法相比,更加易用和高效。

除此之外,考虑到用户切换房间前后都有发言的行为,即构提供了多种音频设备模式,可在用户上麦后一直占用麦克风和扬声器,避免了常规模式下,伴随登出登录房间音视频设备的不断停止和重启,进一步降低了切换房间后推拉流的耗时。

三、游戏之外,切换房间还有助于提升在线教学体验

在线上狼人杀游戏场景外,即构切换房间功能还可应用于在线教育行业。帮助教育平台提高提升教学质量,降低师资成本。

线上监课:为了提升平台教学质量,不少线上教育平台会进行在线“监课”。监课老师进入正在授课的线上课堂,查看学生上课情况,评估老师授课质量。基于切换房间功能,监课老师可以流畅的切换巡查多个教室(房间),更便捷高效的进行课堂管理。

助教辅导:热门教育班型超级小班中,在切换房间功能的支持下,一位助教老师可以同时辅导多个小班。通过切换房间快速进入各个小班,针对性指导小班内的学生,可以提升助教老师的效率,降低平台的师资成本。

基于即构切换房间功能和丰富的音频设备模式,能够帮助狼人杀/剧本杀等发言游戏的玩家,在游戏各个阶段都拥有优质的音视频体验。同时针对教育、泛娱乐等更多对房间切换有需求的场景,即构提供贴合业务形态的技术方案,满足客户的多样化需求。

查看原文

赞 0 收藏 0 评论 0

认证与成就

  • 获得 4 次点赞
  • 获得 1 枚徽章 获得 0 枚金徽章, 获得 0 枚银徽章, 获得 1 枚铜徽章

擅长技能
编辑

(゚∀゚ )
暂时没有

开源项目 & 著作
编辑

(゚∀゚ )
暂时没有

注册于 4月15日
个人主页被 144 人浏览