关于安卓设备声音远程传输的解决方案

行者AI
本文首发于:行者AI

近期本人在做安卓设备的云平台,设备云平台这个东西相信对大家而言并不陌生,常见的功能比如用来远程监控操作一部手机,上传文件啊,查看日志之类的。但是当你想用云手机看视频、玩游戏、听音乐的时候,就发现,现在市面上的云手机,没有一家是有声音传输功能的。

在发现这个情况后,萌生了想要做出这个功能的想法,那具体该什么做呢?在做之前,我先进行了一个小调研,了解目前有没有现成的解决方案,看看能否给自己带来一些参考。

经过了几天的研究,我先把大致的结果告诉各位。

声音传输有限制,但仍能实现。

1. 目前现有方案对比

设备麦克风第三方投屏软件Sndcpy
声音来源手机麦克风手机麦克风应用流媒体自身数据
效果会受外界干扰会干扰,但也有提供算法降噪取决于音频数据本身
应用限制其他应用调用麦克风串流其他应用调用麦克风串流未授予权限的应用
安卓版本任意任意安卓10以上

2. 方案选定

其实不难看出来,第三方投屏软件用的也就是设备的麦克风,只是因为数据先经由软件客户端,在拿给音频播放前,自己多用算法处理进行了一次降噪(燃鹅算法降噪都是辣鸡)。可是大家有想过他的实用效果吗?想象一下,一般作为设备云平台的使用场景是什么样的:

图1. 群控图片(素材来自网络)

如此密集的设备,这样的场景,靠外放捕获声音,一个还好说,多来几个,那效果谁受得了?而且如果手机本身有应用需要使用麦克风,那效果也不言而喻。所以,使用设备麦克风这样的方案,作为平台来讲,肯定是不行的!

既然用麦克风不行,那就代表没有别的路可走了吗?直觉告诉我当然不是。如果有一种方式,能直接对应用的媒体数据流进行捕获,而不是通过外放出来的声音进行录制,那这样的方式无疑会让效果大大提升!发现了这点的我,顺藤摸瓜,于是乎摸到了sndcpy这个开源项目。

3. 方案实施

3.1 项目简介

sndcpy github地址

项目的介绍上有详细说明,这里我只做一个简短的概述就好:

(1)只支持安卓10以上设备

(2)跨系统平台可运行

(3)可使用VLC对已连接设备进行听取

针对第一点,本质上是针对有对应接口的sdk版本,在安卓应用的配置中,允许声音流媒体被监听的开关打开,这样的应用就能获取到声音。

(例如qq音乐,然而经过试验,谷歌浏览器反而属于不行的那种)

3.2 使用步骤

(1)下载项目中已经build好的zip文件(如无adb,下载with-adb版本的,并配置环境,这里就不讲怎么配环境了);

(2)连接手机设备,到解压目录下的./sndcpy,多设备情况后面带设备号;

(3)在手机上确认允许;

(4)下载安装vlc;

(5)运行vlc,首次可能会遇到报错,但没关系,再来一次就好了。

4. 进行集成

使用是能使用了,但是作为云平台的项目而言,客户是要通过网页播放听到设备的,通过vlc才能听到的这种方式,明显不符合使用需求。而作为流媒体实时网络通信,我们自然该想到将其做成websocket的形式,而这也就需要实现现有的socket服务。

然而,只要仔细看过这个项目的文件,你就会发现,我们想要的东西,其实拿来就能用。压缩包中一共有三个文件,其中的.bat文件,我们将其打开看下:


#!/bin/bash
set -e
ADB=${ADB:-adb}
VLC=${VLC:-vlc}
SNDCPY_APK=${SNDCPY_APK:-sndcpy.apk}
SNDCPY_PORT=${SNDCPY_PORT:-28200}

serial=
if [[ $# -ge 1 ]]
then
    serial="-s $1"
    echo "Waiting for device $1..."
else
    echo 'Waiting for device...'
fi

"$ADB" $serial wait-for-device
"$ADB" $serial install -t -r -g "$SNDCPY_APK" ||
{
    echo 'Uninstalling existing version first...'
    "$ADB" $serial uninstall com.rom1v.sndcpy
    "$ADB" $serial install -t -g "$SNDCPY_APK"
}

"$ADB" $serial forward tcp:$SNDCPY_PORT localabstract:sndcpy
"$ADB" $serial shell am start com.rom1v.sndcpy/.MainActivity
echo "Press Enter once audio capture is authorized on the device to start playing..."
read dummy
"$VLC" -Idummy --demux rawaud --network-caching=0 --play-and-exit tcp://localhost:"$SNDCPY_PORT"

发现正是使用的adb命令开启的tcp服务进行传输。为了方便大家直接进行操作,这里我直接罗列命令和步骤,按照这个步骤操作,安卓端设备传输的问题就能解决:

(1)将sndcpy.apk放到/data/local/tmp目录下,推荐使用adb命令 adb push sndcpy.apk /data/local/tmp

(2)adb forward tcp:port(port自己定义一个,这个不影响) localabstract:sndcpy

(3)adb shell am start com.rom1v.sndcpy/.MainActivity

(4)本地启动一个socket,绑定最先port定义的端口,如果返回的数据不是空,恭喜你,成功了!
基本的启动就是这样,而对于web项目而言,将socket做一次websocket的转发就能完成在网页端的播放了(当然,还需要前端本身支持这样格式的音频流传输处理)。

就此,大功告成!

阅读 758

行者AI(成都潜在人工智能科技有限公司)专注于人工智能在游戏领域的研究和应用,凭借自研算法,推出游...

7 声望
2 粉丝
0 条评论
你知道吗?

行者AI(成都潜在人工智能科技有限公司)专注于人工智能在游戏领域的研究和应用,凭借自研算法,推出游...

7 声望
2 粉丝
文章目录
宣传栏