CMU研究人员利用WiFi信号实现人体姿态检测

卡内基梅隆大学（CMU）人类感知实验室的研究人员发表了一篇题为《DensePose from WiFi》的论文，介绍了一种仅通过WiFi发射器信号即可检测房间内多人姿态的AI模型。在真实数据的实验中，该算法在50% IOU阈值下的平均精度达到了87.2。

技术背景与创新

由于WiFi信号是一维的，以往的大多数方法只能定位一个人的质心，且通常只能检测一个人。CMU的技术结合了三个不同接收器捕获的三个WiFi信号的幅度和相位数据，生成一个3x3的特征图，随后通过神经网络生成人体表面的UV图，从而定位多人并确定其姿态。

研究挑战与未来方向

研究人员指出，该技术的性能仍受限于WiFi感知领域的公开训练数据，尤其是在不同布局下的表现。未来，他们计划收集多布局数据，并扩展研究以实现从WiFi信号预测3D人体形状。他们认为，与RGB相机和激光雷达相比，WiFi设备作为一种隐私友好、光照不变且廉价的人体传感器，具有先进的密集感知能力。

技术实现细节

1. 数据收集：首先收集五个信道状态信息（CSI）样本，这些样本是“发射信号波与接收信号波之间的比率”。每个样本包含30个频率，信号从三个发射器发送到三个接收器，生成两个形状为150 x 3 x 3的原始数据张量，分别表示相位和幅度。
2. 模态转换网络：通过“模态转换网络”将数据转换为1280 x 720的图像张量。
3. 姿态检测：使用最先进的姿态检测网络DensePose处理该图像，就像处理相机捕捉的图像一样。

模型评估

该模型在WiFi信号与包含一到五人的场景视频配对的数据集上进行了评估。尽管视频没有标注提供真实值，但研究人员将预训练的DensePose模型应用于视频以创建伪真实值。总体而言，模型能够“有效检测人体边界框的大致位置”和躯干姿态，但在检测肢体方面存在困难。

社区讨论

在Hacker News的讨论中，有用户指出，2020年IEEE宣布了802.11bf WLAN感知项目，计划于2024年发布。另一位用户表示，如果WiFi感知能可靠地检测人体呼吸，将解决家庭自动化中自动照明的重大问题，尤其是在浴室中。

代码与模型

尽管CMU研究人员尚未发布他们的代码或模型，但Papers with Code网站链接了GitHub仓库，提供了三个类似项目的代码。