七、VR的混合场景
https://developer.oculus.com/documentation/audiosdk/latest/concepts/audio-intro-mixing/
和声音设计一样,为VR混合一个场景既是艺术又是科学,以下的推荐可能包含警告。
1. 创造性的控制
我们的最终目标不一定是真实,需要一直记住这一点。和计算机环境中的灯光一样,什么需要连续或者正确并不是在艺术上有很高的要求。音频团队应该注意,不要逼着自己在VR环境中去追求完全的正确。特别是在考虑动态范围、衰变曲线以及直接返回时间的时候。
2. 声源的精确3D位置信息
声源必须被精确的放在3D的场景中。以前,一个大概的位置信息就足够,因为可以通过移动和衰变来定位。一个物体的默认位置可能是它的尾部或者是脚和地面接触的地方,当一个声音从这些位置发出时,会在空间中显得很不和谐。
3. 有方向的声源
Oculus Audio SDK不包含声源的方向,但是高层级的SDK会使用基于角度的衰变进行建模,来控制方向。这些方向的衰变会在空间化之前就发生。
4. 场景声音
Oculus Audio SDK不包含场景声音,例如瀑布、河流、人群等。
5. 多普勒效应
当声音接近或远去时,会产生明显的多普勒效应。VR可以通过声源和听者之间的相对速度来消除,但是这个过程很容易引入噪声。
6. 声音传输时间
在现实世界中,声音的传输需要时间,因此在看到和听到东西之间会有明显的延迟。
Oculus Audio SDK支持time-of-arrival。
7. 非空间化的声音
并不是所有的声音都需要被空间化,有许多声音是静态的或者与头部相关的,例如:
用户交互的元素,例如点击、哔哔声、传输或者其他。
背景音乐
旁白
身体声音,例如呼吸和心跳
这些声音应该在编写程序时被隔离,避免它们在混音时不小心被加入到3D空间化声音的流水线中。
8. 效果
空间化的效果与设备的性能有关,例如在高配的PC上可以空间化30多种声音,但是在移动设备上只能空间化一到两个。
有些声音空间化后效果很差,例如低频的轰隆声,给出的空间感很弱。这些声音可以通过一些移动和衰变来作为标准的立体声播放。
9. 气氛(Ambiance)
传统的非VR游戏很难做到声音的沉浸感。因为PC用户的话筒质量很低,家庭影院的隔离效果很差。
有了耳机、位置追踪和完全的视觉沉浸之后,对用于声音体验的音效设计变得更为重要。
这就意味着:
有效空间化的声源
合适的音效范围,不太密集,也不太稀疏
避免用户疲劳
合适的音量,可以让用户听得时间比较长
空间和环境的效果
10. 延迟
VR音效的延迟与设备有关,最少可以达到2ms,最多可能达到几百毫秒。当用户脑袋的移动速度与声源速度的差别较大时,系统延迟会比较明显。如果观看者移动较慢,且场景相对静止时,音频的延迟很难被察觉。
11. 特效
在VR体验中,特效是很重要的一个环节,像是滤波、赋值、变形和折边等。例如一个低通的滤波器可以模拟水下游泳的声音,因为高频会比在空气中失去能量的更快。或者可以用扭曲来模拟迷失方向。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。