七、VR的混合场景

https://developer.oculus.com/documentation/audiosdk/latest/concepts/audio-intro-mixing/

和声音设计一样,为VR混合一个场景既是艺术又是科学,以下的推荐可能包含警告。

1. 创造性的控制

我们的最终目标不一定是真实,需要一直记住这一点。和计算机环境中的灯光一样,什么需要连续或者正确并不是在艺术上有很高的要求。音频团队应该注意,不要逼着自己在VR环境中去追求完全的正确。特别是在考虑动态范围、衰变曲线以及直接返回时间的时候。

2. 声源的精确3D位置信息

声源必须被精确的放在3D的场景中。以前,一个大概的位置信息就足够,因为可以通过移动和衰变来定位。一个物体的默认位置可能是它的尾部或者是脚和地面接触的地方,当一个声音从这些位置发出时,会在空间中显得很不和谐。

3. 有方向的声源

Oculus Audio SDK不包含声源的方向,但是高层级的SDK会使用基于角度的衰变进行建模,来控制方向。这些方向的衰变会在空间化之前就发生。

4. 场景声音

Oculus Audio SDK不包含场景声音,例如瀑布、河流、人群等。

5. 多普勒效应

当声音接近或远去时,会产生明显的多普勒效应。VR可以通过声源和听者之间的相对速度来消除,但是这个过程很容易引入噪声。

6. 声音传输时间

在现实世界中,声音的传输需要时间,因此在看到和听到东西之间会有明显的延迟。

Oculus Audio SDK支持time-of-arrival。

7. 非空间化的声音

并不是所有的声音都需要被空间化,有许多声音是静态的或者与头部相关的,例如:

  • 用户交互的元素,例如点击、哔哔声、传输或者其他。

  • 背景音乐

  • 旁白

  • 身体声音,例如呼吸和心跳

这些声音应该在编写程序时被隔离,避免它们在混音时不小心被加入到3D空间化声音的流水线中。

8. 效果

空间化的效果与设备的性能有关,例如在高配的PC上可以空间化30多种声音,但是在移动设备上只能空间化一到两个。

有些声音空间化后效果很差,例如低频的轰隆声,给出的空间感很弱。这些声音可以通过一些移动和衰变来作为标准的立体声播放。

9. 气氛(Ambiance)

传统的非VR游戏很难做到声音的沉浸感。因为PC用户的话筒质量很低,家庭影院的隔离效果很差。

有了耳机、位置追踪和完全的视觉沉浸之后,对用于声音体验的音效设计变得更为重要。

这就意味着:

  • 有效空间化的声源

  • 合适的音效范围,不太密集,也不太稀疏

  • 避免用户疲劳

  • 合适的音量,可以让用户听得时间比较长

  • 空间和环境的效果

10. 延迟

VR音效的延迟与设备有关,最少可以达到2ms,最多可能达到几百毫秒。当用户脑袋的移动速度与声源速度的差别较大时,系统延迟会比较明显。如果观看者移动较慢,且场景相对静止时,音频的延迟很难被察觉。

11. 特效

在VR体验中,特效是很重要的一个环节,像是滤波、赋值、变形和折边等。例如一个低通的滤波器可以模拟水下游泳的声音,因为高频会比在空气中失去能量的更快。或者可以用扭曲来模拟迷失方向。


poemqiong
53 声望13 粉丝

引用和评论

0 条评论