头图

Google Lyra Android版开源 支持3kbps语音聊天

LiveVideoStack
Google Lyra Android版本今日开源,是否还会引发争议?

最新消息:Google于今日发布了Lyra音频编解码器Android开源版本。

据悉,开源发布的Lyra代码是用C++编写的,以提高速度、效率和互操作性,使用了带有Abseil的Bazel构建框架和GoogleTest框架进行全面的单元测试。

前不久,Google推出的Lyra音频编解码器——是一种用于语音压缩的新型超低比特率编解码器。其在于能给在每秒3kb的网络宽带为用户提供自然清晰的语音聊天,还可在仅90ms延迟的情况下在从高端云服务器到中端智能手机的任何设备上运行。(有关Lyra的详细介绍请浏览:在3kbps的带宽下还能清晰地语音聊天?

对此,我们查阅了Google的官方Lyra推送文章,浏览了文中所载的相同视频分别在原版、Opus@6kbps和Lyra@3kbps带宽下的音频质量对比(如下所示)。通过浏览对比,可以明确感知到Lyra在3kbps带宽情况下,虽然比特率降低为Opus的一半,但其音频的输出质量却优于Opus。我们着实被Lyra的音频输出质量所惊艳。以下分别是原版参考 - Opus@6kbps - Lyra@3kbps 视频中的语音对比:https://ai.googleblog.com/202...

因此我们联系到了负责Lyra音频编解码器研发工作的产品经理Jamieson Brettle以及主管工程师Jan Skoglund进行了一次邮件采访。虽然仅是一次简短的采访,但是从字里行间中可以看出谷歌团队对Lyra音频编解码器的音频生成质量充满了信心。

以下内容由LiveVideoStack与Jamieson和Jan的采访整理而成。

Q 、Lyra是如何做到在比特率低到3kbps的情况下,依然能输出高质量的语音?

首先,Lyra的目的并不是传输语音信号本身,而是提取少量的关键特征,使得模型可以利用这些特征来合成语音。这些特征可以被高度压缩,但不会失去产生高质量语音的能力。

Lyra是用于产生语音信号的,当输入信号中存在语音时,该模型可以很好地进行语音再生。

Q 、Lyra为什么以3kbps为节点?

其实,我们的目标是在传输语音时尽可能地少用数据,并且即使在最恶劣的网络条件下也能进行实时通信。我们也都知道虽然Opus能以6kbps这么低的速率满足在2G网络上进行通信,但是其音频质量却下降了。

而我们对Lyra进行了调整,使其能够在一半的数据(3kbps)下工作,同时在这个非常低的比特率下可以提供比Opus更高的音频质量,并且能够运行在我们的目标设备上。

Q 、Lyra目前的应用范围与具体的应用场景有哪些?

目前,我们专注于确保即使在最糟糕的网络状况下Lyra也能让用户进行高质量的端对端语音通话。

Q 、Lyra的下一步计划是什么?

Lyra的下一步计划是为Android开发一个开源的编解码器,并且我们将开始关注更多的操作系统和硬件目标。我们相信,我们所做的研究作为下一代音频编解码器的基石,可以应用于比实时语音更多的用例。

由此可以看出,Lyra的目标是帮助那些所处网络状态恶劣,2G网络或有线拨号连接的用户提供高质量的语音通话,以满足用户对语音通话的最基本需求。除此之外,据悉Google团队还提出Lyra与AV1相结合,将比VP9的编码效率提高了约40%,并且用户可以通过56kbps的拨号调制解调器连接到互联网实现视频聊天。

但是有媒体也对此提出了质疑:AV1与Lyra的组合对于使用2G网络的手机用户来说是行不通的,因为这类手机无法支持AV1所需的处理。

对此,Google Lyra项目的相关负责人也有回应:Lyra并不要求用户使用的一定是5G智能手机,只是需要有一定计算能力的智能手机。在很多发展中国家市场,我们注意到,这几年即使是中低端手机的计算力也在快速提升。

另外,负责人还提到:在很多欧美市场即使是服务商无限制的数据计划,用户通常每个月只有1GB或2GB的高速数据,之后的网络速度一般会降到64kbps-128kbps, Lyra和AV1对这些用户也会有非常有价值。

对此,仅个人认为:有争议也好,有质疑也罢。对于一个新产品来说都需要经历时间与实践的打磨和积累,用户的使用反馈,才能不断提升。所以不要急,现在Lyra开源只是刚刚开始,我们还会持续关注。

关于Lyra开源详情:

https://opensource.googleblog...

Lyra开源代码:https://github.com/google/lyra

阅读 39
112 声望
16 粉丝
0 条评论
你知道吗?

112 声望
16 粉丝
宣传栏