【网易云信】音画同步测试方法的研究与实践

2023-09-06
阅读 2 分钟
711
随着移动互联网的普及和网络带宽的提高,音视频通话越来越成为人们生活和工作中不可或缺的一部分。音画同步是音视频体验的一个重要指标,在音视频传输过程中,由于不同的传输策略因为网络的干扰,音频和视频往往难以同时到达,即使在网络层面对齐后在设备侧音频播放和视频渲染也存在一定的时间差,从而导致音画同步问题...
封面图

网易云信回声消除量化评估方法

2023-08-10
阅读 4 分钟
537
随着现代通信技术的发展,语音通信成为了人们生活中不可或缺的一部分。然而,环境噪声和回声等因素对语音通信质量产生了不良影响,降低了通信效率和用户体验,声学回声消除技术的应用变得越来越重要。如何评估回声消除的效果也变得极为关键,准确合理的评估有助于发现产品的不足,改进和提升产品竞争力。过去采用的是传...
封面图

【网易云信】直播场景播放侧常见问题分析与实践经验

2023-07-20
阅读 4 分钟
278
播放器的播放流程与推流过程类似,但是顺序相反。推流端先采集音频和视频,进行音视频编码和封装,并按照流媒体协议进行处理,最终得到输出流。而播放器则将输入流经过解析和解封装,得到音频包(如 AAC)和视频包(如 H.264、H.265),并进行解码以获取音频帧 PCM 和视频帧 YUV。最后,播放器需要经过音视频同步模块将...
封面图

网易云信 RTC 音频问题排查的挑战与实践

2023-05-10
阅读 5 分钟
695
实时通信(Real-Time Communication,RTC)音频技术是指将音频流实时传输到远程用户的技术,满足线上实时交互的诉求,广泛应用于在线教育、视频会议、直播、泛娱乐社交、金融、医疗、政企等场景。在 RTC PaaS 厂商实际开发、运营中,音频问题场景多样性、问题迥异性、问题定位时效性对 RTC 音频问题的排查带来了诸多挑战。
封面图

网易云信 RTC 音频 QoS 综述

2023-04-21
阅读 4 分钟
813
QoS 服务质量,指一个网络能够利用各种基础技术,为指定的网络通信提供更好的服务能力,是网络的一种安全机制, 是用来解决网络延迟和阻塞等问题的一种技术。
封面图

“易+”开源 | 基于 ijkplayer 的 LLS-Player 移动端应用实践

2023-03-30
阅读 4 分钟
820
云信低延时直播(Low-Latency Streaming,LLS)是在网易云信标准直播的基础上,依托自研的全球实时传输网 WE-CAN 推出的低延时直播产品方案。在保障低延时的同时,具有极致秒开,低卡顿的特性。同时兼容标准直播的推流和云端媒体处理能力,方便客户从标准直播迁移到低延时直播上来。
封面图

海量并发低延时 RTC-CDN 系统架构设计(下)

2023-02-22
阅读 6 分钟
727
RTMP 和 HTTP with FLV 以及 HLS 底层均使用 TCP 作为传输层协议。针对 TCP 协议的优化在一定程度上可以达到降低延时的效果,比如使用全链路 TCP 加速方案以及替换使用 BBR 在内的更好的拥塞控制算法。
封面图

海量并发低延时 RTC-CDN 系统架构设计(上)

2023-02-15
阅读 5 分钟
658
随着近几年音视频流媒体行业的持续发展,海量并发、低延时和低成本作为三大核心诉求依旧需要不断深挖,同时随着 RTC 和 CDN 这两种技术的界线越来越模糊,因此有必要从底层架构层面重新思考 RTC 与 CDN 的融合之道。本文将重点分享:网易云信如何构建 RTC-CDN 服务架构,深入剖析这套架构是如何解决海量并发、超低延时与...
封面图

泛娱乐社交出海解决方案技术实践

2023-02-02
阅读 5 分钟
807
随着人们的互联网娱乐社交需求不断释放,加之即时通讯技术、音视频技术等技术的不断进步,娱乐社交出海业务在需求和技术的双重驱动下,已经表现出了新的特点。从业务场景看,娱乐社交出海业务,既多样融合,又泛化创新。主流场景包括:1 对 1 社交、语聊房、视频直播、游戏社交、元宇宙社交等。
封面图

网易智企首发:万字讲透元宇宙前世、今生与未来

2023-01-10
阅读 3 分钟
954
元宇宙(Metaverse)一词最早见于美国著名科幻作家 Neal Stevenson 于 1992 年发表的科幻小说《雪崩》,其对元宇宙的描述为:戴上耳机和目镜,找到连接终端,就能够以虚拟分身的方式进入由计算机模拟、与真实世界平行的虚拟空间。Metaverse 由 Meta 和 Verse 两个词根组成,Meta 表示“超越”“元”, Verse 表示“宇宙 Unive...
封面图

网易云信智码超清转码技术实践

2022-11-04
阅读 5 分钟
626
随着 5G、AI 技术发展,视频行业迎来一个高速的增长期,视频在网络带宽的占 2019 年为 43%,预计到 2025 年占比将高达 76%,仍然保持着高速的增长,其中有大部分是超高清的视频,据某权威机构预测,2022 年超高清的视频规模有望达到 4 万亿人民币,相比于 2019 年的 1.2 万亿人民币翻了 3 倍之多,可见超高清市场的规模...
封面图

新一代音视频架构在元宇宙场景的实践

2022-11-03
阅读 4 分钟
867
元宇宙的发展始于 1992 年,大致的发展可以分为 2 个阶段,一个是初始阶段,从 1992 年到 2020 年。第二个是探索阶段,从 2020 至今。

解密数字时代 AI 加持之道,网易智企联合机器之心发布 AI 应用实践白皮书

2022-09-22
阅读 5 分钟
526
过去的十年,是以神经网络、深度学习为代表的新一代 AI 算法在计算机视觉、自然语言及语音等领域取得了革命性进展的十年;过去的十年,同样也是全球范围内移动互联网、多媒体互联网与各行各业深度融合,数字科技不断为社会发展带来惊喜的黄金十年。
封面图

活动回顾 | 基于英特尔技术的端到端音视频优化

2022-09-14
阅读 2 分钟
852
导读:2022 年 8 月 18 日,“视界无垠,音聚而生”,2022 网易音视频技术大会成功举办,本次大会邀请了来自网易智企、网易云音乐、网易伏羲、网易新闻和英特尔的产品与技术专家进行专题分享。本文是来自英特尔的技术专家张立宇分享的《基于英特尔技术的端到端音视频优化》。
封面图

超分辨率技术在实时音视频领域的研究与实践

2022-07-05
阅读 5 分钟
2.5k
近日,计算机视觉和模式识别领域顶级会议 CVPR 在美国新奥尔良市举办,同时计算机图像恢复领域最具影响力的全球性顶级赛事 NTIRE 在会上颁奖,网易云信音视频实验室取得 NTIRE 高效率超分辨率挑战赛总体性能赛道冠军,以及运行时间赛道季军。本文将着眼于 AI 超分技术从研究到部署的落地问题,介绍超分辨率技术现状,以...
封面图

WWDC22 多媒体特性汇总

2022-06-21
阅读 6 分钟
1.4k
M2 芯片M2 芯片采用增强的第二代 5 纳米制程技术并封装了超过 200 亿个晶体管,相比 M1 多 25%;支持 100GB/s 的统一内存带宽,相比 M1 提升 50%,最高支持 24GB 的 LPDD5 内存 ;CPU 架构沿用 8 核心架构(4 个性能核心 + 4 个能效核心),相比 M1 性能提升 18%;GPU 支持 10 核心,相同功耗下整体图形性能比 M1 提升 2...
封面图

沉浸式体验网易云信在线 KTV

2022-05-27
阅读 3 分钟
964
近年来,唱鸭、鲸鸣、回森、小森唱等多款产品竞相出现,激励金、高投入等现象也很常见,各平台都在抢占用户市场方面牟足了劲儿,一份份财报、数据图和全线飚红的 K 线,也给投资人们的投入带来了可观的回报。根据第三方数据研究机构比达咨询在 2021 年 4 月底发布的相关数据显示,3 月份全民 K 歌的活跃用户数在行业中大...
封面图

这么好用的低延时直播,网易云信竟然将它开源了?!

2022-05-13
阅读 4 分钟
1.7k
自上世纪末,流媒体直播技术兴起以来,伴随着网络基础设施的发展脚步,直播也同频共振般地起势。而近年来 AI、云计算、音视频等技术日趋成熟,以及新冠肺炎疫情带来的“宅经济”刺激,使直播行业的发展势头被进一步激活。
封面图

超低延迟传输网络架构在元宇宙场景的应用

2022-05-10
阅读 4 分钟
1.3k
元宇宙如今已成为全球科技业的下一个风口。在元宇宙琳琅满目的各种应用场景中,无论是如电影《头号玩家》中的那种体感交互设备,还是医生利用 VR 医疗,远程做手术,元宇宙强交互的基础是数据的低延迟传输和同步。本文将介绍网易云信解决全球数据低延迟交互问题的方案。
封面图

网易云信 QUIC 应用优化实践

2022-04-28
阅读 4 分钟
1.5k
导读:网易云信作为音视频服务提供商的领导者,一直致力于提供顶级的音视频通话服务体验,为用户在各种恶劣环境下提供可靠的音视频服务。如何在极端弱网条件下仍然能给用户提供可靠的音视频服务,是网易云信关注的重中之重。本文将阐述网易云信对于 QUIC 协议的应用优化实践。
封面图

20 万字《网易智企技术合辑》重磅发布!

2022-03-29
阅读 1 分钟
1.2k
网易智企技术团队致力于为开发者提供最具价值的技术干货和业务一线的实践经验,旨在将网易智企积累的技术沉淀向行业同仁赋能输出,助力每一位思考者成长为技术专家。

网易智企发布“易+”开源计划,网易会议组件正式开源

2022-03-03
阅读 2 分钟
1.6k
 2021 年 11 月,工业和信息化部印发《“十四五”软件和信息技术服务业发展规划》,将“繁荣国内开源生态”作为一项重要任务,开源被提升至国家级别的战略高度。
封面图

技术干货 | WebRTC ADM 源码流程分析

2022-02-23
阅读 6 分钟
2.1k
本文主要基于 WebRTC release-72 源码及云信音视频团队积累的相关经验而成,主要分析以下问题: ADM(Audio Device Manager)的架构如何?ADM(Audio Device Manager)的启动流程如何?ADM(Audio Device Manager)的数据流向如何?本文主要是分析相关的核心流程,以便于大家有需求时,能快速地定位到相关的模块。
封面图

云信小课堂|如何实现音视频安全检测?

2022-01-21
阅读 8 分钟
1.2k
泛娱乐类音视频聊天场景中,充斥着各种不可控的风险因素,例如色情、暴恐和涉政信息等。随着国家监管的日趋严格,各平台需要对平台的音视频内容进行管控,自行处理音视频内容审核需要投入大量人力进行甄别。
封面图

网易云信发布两大元宇宙解决方案,打响进军元宇宙第一枪

2021-12-08
阅读 5 分钟
1.9k
12 月 4 日,由网易智企主办的 2021 网易创新企业大会在杭州隆重举行。大会以“科技未来说,商业相对论”为主题,网易(杭州)副总裁、网易智企总经理阮良在会上发布网易云信两大元宇宙解决方案——「IM + RTC + 虚拟人」解决方案和「游戏 / VR 语音」解决方案(文末可以免费试用),引发线上线下观众广泛关注。
封面图

网易应用创新开发者大赛成功在杭举办,十强队伍现场比拼

2021-12-06
阅读 2 分钟
1.3k
12月4日,由网易智企旗下网易云信主办的「Innovation 2021」网易应用创新开发者大赛决赛路演在杭州成功举办,这也是本届大赛的现场收官之战。
封面图

社交重构、游戏革新,万物皆可元宇宙?这场大会给你讲清楚了|活动预告

2021-11-23
阅读 2 分钟
1.6k
2021 年,元宇宙无疑成为了科技领域最火爆的概念之一,众多企业争先布局、资本市场广泛关注、话题引发破圈热议,元宇宙的时代正在呼啸而至。技术渴望新场景、用户期待新体验,虚拟与现实的距离逐渐缩小,科技的发展赋予了未来世界无尽想象。技术革新、场景颠覆,元宇宙意味着新的机会,显然,也会带来新的挑战。我们距离...
封面图

创新正当时!「Innovation 2021」网易应用创新开发者大赛决赛十强正式集结!

2021-11-18
阅读 2 分钟
1.4k
随着通信基础设施建设不断完善,以及智能终端设备大范围普及,加上疫情期间,人们的娱乐、办公、消费习惯从线下向线上迁移,以即时通讯、实时音视频等技术为基础的场景应用呈燎原之势爆发。
封面图

网易云信发布虚拟形象实时互动融合 SDK ,元宇宙大幕即将开启

2021-11-17
阅读 4 分钟
2.1k
短短几个月时间,Minecraft、Roblox 进入了更多人的视野,GREE、英伟达、微软等陆续发布相关产品解决方案,韩国、日本还从国家层面宣布大力布局元宇宙赛道。《头号玩家》描绘的情景似乎明天就能成为现实。
封面图

音频 AI 算法在 RTC 中的实践

2021-11-11
阅读 7 分钟
2.9k
导读: 2021年10月21日,「QCon 全球软件开发大会」在上海举办,网易智企技术 VP 陈功作为出品人发起了「AI 时代下的融合通信技术」专场,邀请到网易云信、网易音视频实验室、网易云音乐的技术专家与大家一起分享融合通信技术趋势和演进方向、视频通信关键技术探索及实践、音频 AI 算法在 RTC 中的实践、网易云音乐网络...
封面图