引起共鸣;共振;回荡;共鸣;反响

主要观点:Resonate 是一种低延迟、低内存占用和低计算成本的算法,用于评估音频(及其他)信号的感知相关频谱信息。它基于谐振器模型,通过指数加权移动平均(EWMA)在时域中累积信号在其谐振频率周围的贡献,每个谐振器由其谐振频率和复数 R 描述,通过特定公式更新状态,单个参数α控制系统动态,可计算输入信号的瞬时感知相关频谱估计,其内存和每样本计算复杂度与谐振器数量线性相关,与输入样本数量或处理信号时长无关,且谐振器独立可并行计算。Resonate 能直接高效地计算任意频率尺度的频谱图,比基于 FFT 的方法具有更相关的频率分辨率和更高的时间分辨率,有相关的出版物和资源。
关键信息

  • 基于 EWMA 累积信号贡献。
  • 每个谐振器由复数 R 和参数α描述。
  • 可计算不同频率尺度的频谱图。
  • 有开源代码和相关应用程序。
    重要细节
  • 公式(P \leftarrow P e^{-i \omega \Delta t})和(R \leftarrow (1-\alpha) R + \alpha x P)用于更新谐振器状态。
  • (\alpha_f = 1-e^{-\Delta t\frac{f}{log(1+f)}})是音频应用中合理的启发式参数。
  • 开源 python 模块 noFFT 及相关 Jupyter 笔记本,开源 Oscillators Swift 包及应用程序,Resonate Youtube 播放列表等资源。
  • 有 Best Paper Award 相关论文及后续会议论文和演示。
阅读 14
0 条评论