干掉大小流切换 I 帧!阿里云 RTC QoS 及视频编码联合优化之切流编码

2022-01-20
阅读 4 分钟
1.8k
如果要在两条分辨率不同的视频流之间切换,尽管这两条流的画面内容基本一样,但是由于两条流的参考帧不同,分辨率不同,目前所有的视频编码标准都无法做到利用帧间预测编码得到编解码匹配的结果,而帧内预测编码即 I 帧的压缩效率是非常低下的,因此在切流处很容易造成视频质量下降或由于码率突增引起的卡顿;阿里云 RTC...
封面图

浅谈语音质量保障:如何测试 RTC 中的音频质量?

2021-09-27
阅读 4 分钟
3.1k
日常音视频开会中我们或多或少会遭遇这些场景:“喂喂喂,可以听到我说话吗?我听你的声音断断续续的”,“咦,我怎么可以听到回声?”,“太吵啦,我听不清楚你在说啥” 等等。这些语音质量问题影响音视频开会体验,如若是重要的会议,那足够让人 “恼羞成怒”。那么如何有效的减少这些问题发生呢?本系列文章就将为大家分享阿...
封面图

WebRTC 传输安全机制第二话:深入显出 SRTP 协议

2021-06-16
阅读 11 分钟
3.8k
通过 DTLS 协商后,RTC 通信的双方完成 MasterKey 和 MasterSalt 的协商。接下来,我们继续分析在 WebRTC 中,如何使用交换的密钥,来对 RTP 和 RTCP 进行加密,实现数据的安全传输。同时,本文会对 libsrtp 使用中,遇到的问题的进行解答,例如,什么是 ROC,ROC 为什么是 32-bits?为什么会返回 error_code=9, error_c...

详解 WebRTC 高音质低延时的背后 — AGC(自动增益控制)

2021-05-27
阅读 12 分钟
5.7k
前面我们介绍了 WebRTC 音频 3A 中的声学回声消除(AEC:Acoustic Echo Cancellation)的基本原理与优化方向,这一章我们接着聊另外一个 "A" -- 自动增益控制(AGC:Auto Gain Control)。本文将结合实例全面解析 WebRTC AGC 的基本框架,一起探索其基本原理、模式的差异、存在的问题以及优化方向。

上手 WebRTC DTLS 遇到很多 BUG?浅谈 DTLS Fragment

2021-05-17
阅读 5 分钟
2.1k
上一篇《详解 WebRTC 传输安全机制:一文读懂 DTLS 协议》详细阐述了 DTLS。本文将结合 DTLS 开发中遇到的问题,详细解读 DTLS 的一些基础概念以及 Fragment 的机制,并进一步深究 DTLS 协议。

详解 WebRTC 传输安全机制:一文读懂 DTLS 协议

2021-05-08
阅读 10 分钟
5.3k
DTLS (Datagram Transport Layer Security) 基于 UDP 场景下数据包可能丢失或重新排序的现实情况下,为 UDP 定制和改进的 TLS 协议。在 WebRTC 中使用 DTLS 的地方包括两部分:协商和管理 [SRTP]() 密钥和为 [DataChannel]() 提供加密通道。

阿里云 RTC QoS 弱网对抗之 LTR 及其硬件解码支持

2021-04-28
阅读 3 分钟
3.4k
LTR 弱网对抗由于需要解码器的反馈,因此用硬件解码器实现时需要做一些特殊处理。另外,一些硬件解码器对 LTR 的实现不是特别完善,会导致出现解码错误。本文为 QoS 弱网优化系列的第三篇,将为您详解阿里云 RTC QoS 策略中的 LTR 抗弱网原理与实现硬解 LTR 时遇到的坑及其相应解法。

如何用 Electron + WebRTC 开发一个跨平台的视频会议应用

2021-04-15
阅读 3 分钟
3.6k
在搭建在线教育、医疗、视频会议等场景时,很多中小型公司常常面临 PC 客户端和 Web 端二选一的抉择。Electron 技术的出现解决了这一难题,只需前端开发就能完成一个跨平台的 PC 端应用。本文主要介绍使用 Electron + WebRTC 搭建跨平台的视频会议应用的技术方案。

4.16-17 | 阿里云技术大咖分享新内容新交互时代下的新技术、新机会

2021-04-13
阅读 3 分钟
1.5k
阿里云视频云一直在关注和推动这样的新内容新交互时代。在此时代背景下,视频云所打造的音视频数智化能力,在不断延展新技术、创造新机会,并不断重构众多行业和缔造新的物种。

阿里云 RTC QoS 弱网对抗之变分辨率编码

2021-04-02
阅读 3 分钟
1.4k
变分辨率在弱网场景的实际应用中非常常见,网络状况不好的时候降低分辨率可以降低码率,减少块效应,网络好的时候增加分辨率可以提升清晰度及主观体验。

用 WebRTC 打造一个音乐教育 App,要解决哪些音质难题?

2021-03-24
阅读 5 分钟
2k
2020 年的新冠疫情改变了在线教育中素质教育行业的生态,音乐陪练是其中的典型场景。众多线下琴行因无法承担高昂的租金关门,在线音乐教育平台用户激增,这其中的代表有 The One、VIP 陪练、快陪练、美悦陪练、音乐笔记等。根据公开信息,目前 VIP 陪练的日上课量达到 3 万节,快陪练在 2020 年 10 月用户突破 120 万。...

白话解读 WebRTC 音频 NetEQ 及优化实践

2021-03-16
阅读 7 分钟
6.7k
NetEQ 是 WebRTC 音视频核心技术之一,对于提高 VoIP 质量有明显的效果,本文将从更为宏观的视角,用通俗白话介绍 WebRTC 中音频 NetEQ 的相关概念背景和框架原理,以及相关的优化实践。

WebRTC 音视频同步原理与实现

2021-03-08
阅读 4 分钟
7k
所有的基于网络传输的音视频采集播放系统都会存在音视频同步的问题,作为现代互联网实时音视频通信系统的代表,WebRTC 也不例外。本文将对音视频同步的原理以及 WebRTC 的实现做深入分析。

阿里云联手 Intel 举办首届视频云挑战赛,40 万奖金邀你来战!

2021-02-04
阅读 2 分钟
1.7k
本届大赛包括两个赛道:“算法挑战赛” 和 “创新应用挑战赛”,参赛选手可以自由报名参加任一赛道。选手可以在视频分割挑战以及视频创新应用领域中,发挥自己的创造力,探索视频云技术在互联网、零售、文娱、安防、文化、教育、金融、交通、公共安全、日常生活、公益等行业领域的应用。

阿里云 RTC QoS 屏幕共享弱网优化之若干编码器相关优化

2021-01-20
阅读 4 分钟
1.7k
屏幕共享是视频会议中使用频率最高的功能之一,但在实际场景中用户所处网络环境复杂,常遇到丢包或者拥塞的情况,所以如何优化弱网环境下的用户体验也成为了音视频通信中重要的一环。本文主要分享阿里云 RTC QoS 如何通过若干编码器相关优化提升弱网环境下的屏幕共享体验。

WebRTC 的现状和未来:专访 W3C WebRTC Chair Bernard Aboba

2021-01-18
阅读 16 分钟
1.3k
WebRTC 无疑推动和改变了互联网视频,而这仅仅是刚刚开始,除了大家熟悉的 WebRTC-PC、Simulcast 和 SVC,有太多的新技术和新架构出现在 WebRTC 新的标准中,比如 WebTransport、WebCodecs、AV1、E2EE、SFrame、ML 等等,这篇文章详细介绍了未来的 WebRTC-NV,不容错过。

WebRTC ICE 状态与提名处理

2021-01-13
阅读 5 分钟
3k
大家都知道奥斯卡有提名,其实在 WebRTC 的 ICE 中也有提名,有常规的提名,也有激进的提名,而且提名的候选人不一定是最优秀的候选人喔,本文就带你一探其中玄妙。文章内容主要描述 RFC 5245 中 ICE 相关的状态和 ICE 提名机制,并结合 libnice(0.14) 版本进行分析。

light-rtc: 理念与实践

2021-01-04
阅读 5 分钟
2.1k
在与同行交流过程中,发现很多同行对 WebRTC 改动太多,导致无法升级 WebRTC 版本。而 WebRTC 开源社区的快速迭代,让他们感到欣喜又焦虑:开源社区的迭代效果,是不是超过了他们对 WebRTC 的优化效果?我们针对特定场景优化 WebRTC 时,怎么紧跟 WebRTC 开源社区通用的优化?

浅谈 WebRTC 的 Audio 在进入 Encoder 之前的处理流程

2020-12-25
阅读 3 分钟
4k
在 WebRTC 中,Audio 数据在被送入编码器之前,有 2 大部分需要特别关注,一是数据采集,二是 Audio Processing。

实战排查|为什么遮挡推流摄像头,会导致播放绿屏?

2020-12-17
阅读 4 分钟
3.4k
前言:做音视频的小伙伴们多少都遇到过奇怪的BUG(如:卡顿、花屏、绿屏、变声等),表象上矛盾点颇多,推理得出的结论都是:“不应该啊!”,最终你抽丝剥茧,发现真相只有一个:“事出反常必有妖”!

深入浅出 WebRTC AEC(声学回声消除)

2020-12-10
阅读 11 分钟
9.4k
前言:近年来,音视频会议产品提升着工作协同的效率,在线教育产品突破着传统教育形式的种种限制,娱乐互动直播产品丰富着生活社交的多样性,背后都离不开音视频通信技术的优化与创新,其中音频信息内容传递的流畅性、完整性、可懂度直接决定着用户之间的沟通质量。自 2011 年 WebRTC 开源以来,无论是其技术架构,还是...

WebRTC SDP 详解和剖析

2020-11-24
阅读 18 分钟
9.9k
WebRTC 是 Web Real-Time Communication,即网页实时通信的缩写,是 RTC 协议的一种 Web 实现,项目由 Google 开源,并和 IETF 和 W3C 制定了行业标准。在国内 WebRTC 已经获得了越来越多厂商的支持,应用前景变得更加广阔,所以我们也开设专栏,分享阿里云内部的 WebRTC 研究工作。