技术分享:即构互动白板音视频同步、多端实时互动同步技术实践

8月27日晚,即构联合技术社区LiveVideoStack在线上举办了互动白板的技术分享直播活动,吸引了大量在线教育及音视频相关的开发者参与。即构科技互动白板研发负责人陈晓聪在活动上分享了我们在互动白板的技术探索与实践,并首次公开即构是如何解决“白板与音视频的同步、白板的多端实时互动同步”两个技术难点的。

在本次活动上,陈晓聪首先介绍了即构互动白板的优势以及整体技术框架。

一、即构互动白板的优势

  • 全面覆盖主流平台、主流框架,基于原生平台的技术框架开发,便于根据平台特性深度优化性能,降低SDK包大小;
  • 互动涂鸦实时同步;
  • 白板绘制与音视频实时同步;
  • 文档共享支持10+主流的文档格式,支持动态PPT,是当前市面上支持文档格式最齐全的白板系统;
  • 丰富的白板教具,包括画笔、文本、直线、矩形、椭圆、激光笔、橡皮擦等,同时针对教育行业的需求,有规划的丰富教具;
  • 白板与音视频的实时同步录制,已经开发完成,正在内测中,很快就能上线,有需求的小伙伴可以保持关注。

二、即构互动白板整体技术框架

即构的互动白板主要是由以下几部分构成:
image

1白板互动服务

数据的存储和操作信令的转发,信令的同步就是由这个服务负责。

2文档转码服务

文档的转码、访问鉴权,我们的转码服务有个优势,就是针对Native端转出的是PDF,针对Web端转出的是SVG,这样就能实现矢量放大,高清放大不模糊。

3对象存储

负责文档资源的存储,采用与文档转码服务相分离的设计,客户除了可以使用即构的对象存储,还可以选择自己的对象存储,可以打消客户对文档资源安全的顾虑。

4内容分发网络

负责文档资源的全球加速分发,实现客户端对文档资源的就近访问,确保客户在全球各地都能快速共享文档。

5云录制服务

负责对互动白板信令和音视频流进行实时采集、合成,实现互动白板和音视频的同步录制、回放,支持对课堂中的白板和音视频进行混流合成MP4。

在介绍了即构互动白板的整体技术框架后,陈晓聪深度分享了即构是如何解决互动白板技术实现中的两大难点:音视频与白板实时同步、互动白板多端实时互动同步。

三、即构互动白板技术实践

通过实际使用的痛点描述、问题产生的原因以及对应的解决方案,层层深入分享互动白板的技术实践。

  1. 白板音视频不同步产生的原因?
  2. 最容易出现白板音视频不同的的两大场景?
  3. 即构白板音视频同步的解决方案是什么?
  4. 多端实时互动不同步主要由哪三方面导致的?
  5. 针对这三个痛点即构的解决方案?

上面的内容,我们在活动中进行了详细的分享。错过直播的小伙伴,可以扫描下方二维码,获取活动的完整视频回放、演讲PPT、演讲文字稿。

image

本次活动我们分享了整体的技术框架,并针对白板音视频同步和多端实时同步两个技术难点分享了我们的探索和实践,欢迎更多对互动白板技术实现感兴趣的小伙伴与我们互动交流。


ZEGO即构科技
音视频云服务商

音视频云服务商

30 声望
11 粉丝
0 条评论
推荐阅读
音视频开发进阶|第七讲:分辨率与帧率·上篇
在视频系列的前几篇推文中,我们已经接触了视频相关的不少概念,它们都是围绕着几个核心角色 :色彩、像素、图像和视频来展开的。这几个核心角色之间的关系,大家应该都有了基本的了解,我们再来简单回顾一下。

ZEGO即构科技阅读 390

🖼️ 如何解决 SVG 图片中字体失效的问题
如果你喜欢我的文章,希望点赞👍 收藏 📁 评论 💬 三连支持一下,谢谢你,这对我真的很重要!「SVG 图片中字体失效」的修复方案很简单,只想看答案翻到最后看结论就行。如果想看我的排查思路和具体原因可以从头开始...

卤代烃6阅读 1.4k

svg之viewBox
基本语法首先,我在大小为400 x 400的画布中绘制了一个200 x 200的矩形:可以发现,没有问题。现在,我把svg的宽和高改变后:可以看见,等比例变小了。简单的理解就是:viewBox规范了画布的大小,svg标签里面的内...

zxl200707013阅读 629

封面图
QUIC 协议:特性、应用场景及其对物联网/车联网的影响
QUIC(Quick UDP Internet Connections)是由谷歌公司开发的一种基于用户数据报协议(UDP)的传输层协议,旨在提高网络连接的速度和可靠性,以取代当前互联网基础设施中广泛使用的传输控制协议(TCP)。

EMQX阅读 498

封面图
[React] react + vite + ts项目中优雅使用.svg 文件
在react + vite + ts项目中svg文件的基本使用如1所示1、直接在JSX组件中引入SVG文件,使用img标签,img标签的src代码嵌入到JSX组件中,例如:// XXcomponent.tsx

DiracKeeko阅读 427

unplugin-svg-component 助你优雅的使用 svg 图标
现如今, 项目中的小图标往往会使用 svg 的方式来做, 许多 svg 插件供我们选择, 比如说 vite-plugin-svg-icons, 这个插件的使用的范围是比较广的, 但是就我使用下来而言, 发现几个痛点:

Jevon617阅读 396

封面图
QUIC在京东直播的应用与实践 | 京东云技术团队
国内的互联网直播技术从2005年前后兴起,彼时最具代表性的直播产品是由PPLive创始人姚欣在华中科技大学就读期间发起的校园直播项目PPLive。当时的直播技术用的还是基于windows系统自带的mediaplayer内置的COM组件...

京东云开发者阅读 246

封面图

音视频云服务商

30 声望
11 粉丝
宣传栏