请选择 进入手机版 | 继续访问电脑版
用户
 找回密码
 立即注册

QQ登录

只需一步,快速开始

虎虎VR社区 社区首页 VR资讯 VR科普 查看内容

VR科普| 全景音效的原理

乌鸦 2017-2-17 09:55

目录:声源;传播(传统声音是已经渲好的,VRAR是即时渲染的);空间化定位(传统的声音是固定好的,而VRAR是即时运算);HRTF;声场。————————————————————————————————————— ...

目录:

  1. 声源;
  2. 传播(传统声音是已经渲好的,VRAR是即时渲染的);
  3. 空间化定位(传统的声音是固定好的,而VRAR是即时运算);
  4. HRTF;
  5. 声场。

—————————————————————————————————————
1、声源——声音的合成&形成

有些声音是物体表面振动产生的,比如琴弦、空气柱……因为传统声音一样,就不多说了。

和传统音频一样,VR中的音频可以作为视觉反馈的辅助,达到最好的反馈效果。比如你看毛片的时候如果没有声音……你懂的,这时再清晰再唯美的画面都感觉缺少了什么。这就是听觉视觉的配对。
—————————————————————————————————————
2、传播

和声源的距离:首先你距离声源是有距离的,《声音的距离感是是如何产生的?》
声场《HoloLens 的『Spatial sound』和传统的音频或VR中的音频有什么区别?》中提到了声场,是一个更复杂的声音传播环境的集合。
折射和反射:声音的传播,不同频率的声音不同refract(折射)和反射(reflected)。
延迟:因为声音不像光那么快,所以延迟比较大,比如常见的现象:打雷、飞机飞过头顶什么的。
精度要求:声源可能会做变速运动,用户也可能会到处走动,这些都是实时运算的。但是和视觉相比,声音对于『精度』的要求没那么高(人的听觉没有视觉敏感)。
—————————————————————————————————————
3、空间化定位(spatialization)《人耳是怎么区分前后和上下的?》


我在《人只有两只耳朵,为什么需要5.1、7.1声道,甚至VR中的spatial audio?》中说过:
传统音频是提前渲染好的,不会根据你的头动而变化。


对于spatial audio的感觉,最直接的是『当你向左右转头的时候,你感觉到声音仍然在那个地方。』
因为在我们平时的生活中,头部经常不由自动地、自然而然地微微摇摆,如果你转头时,声音跟着你,那感觉就像黏在你耳朵上一样难受。


而在VR中每个声源都处于空间中,当你转动头部的时候他们还在那里(HMD追踪你的头部,然后声音即时渲染)。


当你转动头部的时候,声音就在那里(空间定位)。
所以,声音可以是来自任何地方的,比如来自墙上、天花板上、地上的回声。


虽然你戴上5.1或者7.1的耳机就能体验VR,但是你感觉在VR中你是被扬声器包围的。
为什么呢?


用声音定位你的所在。让用户听起来像它就在空间中的那个位置一样。
比如有人在你背后叫你名字,你会马上转过头来,望向发出声源的地方。
当你口袋里的硬币掉在地上,你会马上转头定位到掉硬币的方位,然后用视觉找到它。
这就是声音的方向性(directional)
利用这个可以产生空间声音暗示(spatial audio cue),从而引导用户的视线&注意力(让用户看我们想让他们看的地方)。
它让声音成了可交互的元素。
我在Oculus上玩过一个游戏,叫《Pastoral》,里面很黑很黑。

当黑到一定程度的时候,视觉就失去作用了。这时玩家就需要空间来定位。比如将声源放在3D空间中的某个位置,你会感觉它就在空间中的那个位置,无论你摇晃转动头部都感觉它在那里。


因为你的眼睛没有视觉信号,所以这里的触发也由声音来完成,比如你走过草地的沙沙声,你踩到树枝的咔擦声,都会引来狼,或者惊飞了树上的鸟。
比如的右边传来奇怪的声音,你马上转过头去,向右边走去,这就诱导你:『右边的东西可以交互』

在VR的storytelling中,声音的第一个作用就是吸引用户转头:
VR电影中如何引导观众的视线&注意力(让观众看导演想让他们看的地方)?
想象你在黑暗中感受整个空间:我们周围发生的事和保证我们的安全。

什么地方响你就转眼转头集中注意力去听那里


你会听到有排气扇(vent)的声音,然后你抬起头,『哇,原来声音来自那个排气扇』。你听到电视机的声音,转过头去,『哇,声音是电视机发出来的』


如果运用在VR社交中,那么你听到的声音就确实来自于人嘴巴的位置了。
多么自然的『交互』~


当你经过这个矿洞的时候,你的背后传来仔ZZZ的声音,于是你回头看到了灯笼。这个过程相当于你的视觉反馈了你的听觉暗示。
然后还有车子之间相互碰撞的声音,你感觉你所在的整个车子都在『震』。


在传统的立体声中,我们把audio放在root里。你只能听到声音来自那头龙,但是都是在一个平面上。

但是在VR中,每个声音都来自正确位置的声源,你会感到声源是是实实在在存在的。
你会听到大地的轰隆震动声来自它的两只脚,左边的轰隆声来自左脚,右边的轰隆声来自右脚,头顶的龙咆哮来自它的龙口。
(一般来说,物体的声音默认放在它的臀部还有脚接触地面的地方,所以播放的时候有『跨步』的声音和『脚踩大地的声音』)


当你在这样一个VR空间里的时候你会感觉到一阵恐高的眩晕感(vertigo),如果这时还听见下方剧烈的风咆哮的话。
(你可以看见下图的三个loop)

两个loop,一个在你前面,一个在你后面



因为是空间化的,所以如果你想在VR中放背景音乐的话,就不能是全局的了。
而要找个东西来播放,比如音响、唱片……这些实实在在的东西。


同理,画外音就只能用收音机了~


在这个潜水艇demo中,你可以听到周围的机器声音,每个机器都发出奇怪的声音。外围是巨大的水声,头顶则是水管运输水的声音。

在你的头的四周放上四个emitter

头顶上方可以听到巨大的水流声,感觉自己就在水下。
你感觉到头顶的东西好像有些重量,忍不住弯腰驼背。
这里用了一个低通滤波器(low pass filter)来模仿水下的声音,它的高频很快会在空气中失去活力。
我平常用得比较多的滤波器有:

  • 滤波(filtering)
  • 均衡(equalization)
  • 失真(distortion)
  • 镶边(flanging)

如果你把音源放在玩家的下面,他们就感觉自己在声源的上面,你感觉自己站得很高。当你站在很高很高的楼顶时,你听到下面作响的风声。

再复杂的声音都是由简单的Mono组成的,就是所谓的单通道(single channel)。让复杂的声音由mono构成,而不是Area Sources。(比如大瀑布的流水、奔腾的河流、熙攘的人群,这些声音都是Area Sources。)
—————————————————————————————————————
4、HRTF
说到HRTF,优点是模仿声音在你的头、肩膀等部位折射、反射后的效果,但是对于广大常年戴耳机听力迟钝甚至受损的大家来说,效果可能要打个折扣-_-#
缺点则是,对于用户来说还是成本太高了,需要私人订制(每个用户都不同),需要消音室,需要用户坐在那里一动不动地安静地测一个多小时(下图为正在测自己的私人HRTF的用户)


—————————————————————————————————————

5、声场


为什么需要声场呢?比如你在录音室、体育馆、报告厅,听觉上的感受完全不同。


为了模拟声场,在VR中有环境模型(Environmental Modeling)。
因为只有空间声,而没有环境声,整个声音会很干。
当声音穿过空间时会在空间表面形成系列的回声。
比如你听到的早期回声(第一次、第二次)能够让你辨别声源的方向和位置……
一个个回声不断扩散和衰减,知道最后的回音的尾音……
当你听到这一切时,你的听觉上就获得了整个场景的空间感。


最早的是鞋盒房间模型。
将用户放入一个六面体里,只有六面墙发出的回声混合的结果。
(不考虑遮挡和物体材质,而且假定每个表面的对频率的吸收相等。)

你可以给六面墙定义不同的材质

比如客厅的房间听起来就像客厅。

户外的声场,听起来就像在宽阔的室外。

你还可以把墙壁换成岩石的材质。

整个场景的声音环境,是由很多细节决定的,比如整个场景里的固定声源:
远处海风的呼啸
远方海鸥的喳喳
空中的风
以及近处山上咯吱咯吱摇摆的松树枝叶

场景里的移动声源,一只鸟飞近你的头,然后掠向远方。
你听觉上感到那种变化,好像真的出现在你身边似的。

而,VR中的声音,最终目标是形成一个声场。
在这个场中由无数个speaker构成。


这里有个很好的视频帮助你理解,我说的声场
不同的空间形成的不同声场



酱油
酱油
雷人
雷人
赞!
赞!
喷!
喷!
分享至 : QQ空间
收藏