雷小永-ch3 听觉反馈VIP免费

虚拟现实技术及应用VirtualRealityTechnology&Application雷小永博士leixiaoyong@hotmail.com北京航空航天大学自动化学院虚拟现实技术与系统国家重点实验室北京航空航天大学自动化科学与电气工程学院第三章听觉反馈Humanhearingmodel;人类听觉模型HRTF-based3-Dsound;头部相关传递函数Convolvotron;---DSP实现3-Dsoundcards.3D声卡OpenAL应用,EAXASIO–电子音乐/电吉他----实时/低延迟AudioStreamingInputOutput第三章听觉反馈加入声音提示用户的交互性、沉浸感和感知图像的质量都会明显提高；如：虚拟球在房间弹来弹去视频DEMO，bluesky,carriertakeoff,TBS_Naval.wmv---综合虚拟环境3DSoundGeneratorIncreasethequalityofinteractivity,immersion,perceivedimage;//提高交互质量、沉浸感、理解图像Stereosoundvs.virtualsound(virtualaudio)Humansperceivedthespatiallocationofsurroundingsoundsources；位置感知Definition:Definition:Sounddisplaysarecomputerinterfacesthatprovidesyntheticsoundfeedback（合成声音反馈）totheuserinteractingwiththevirtualworld.——声音显示；Thesoundcanbemonoaural(bothearshearthesamesound，单声道)orbinaural(eachearhearsadifferentsound，双声道).33--DAudioDisplaysDAudioDisplays虚拟环境的听觉接口应能给两耳提供一对声波。(1)它应有高逼真性，(2)能以预订方式改变波形，作为听者各种属性和输出的函数(包括头部位姿变化)，(3)排除所有不是VR系统产生的声源(如真实环境背景声音)。对增强现实系统可以放松上述条件(3)，它的意图是组合合成声音与真实声音。33--DAudioDisplaysDAudioDisplaysACM—IASIG交互声音组InteractiveAudioSpecialInterestGroupIEEETrans.SpeechandAudioProcessinghttp://connect.creativelabs.com/openal/default.aspx--OpenALhttp://interface.cipic.ucdavis.edu/index.htmCIPIC-CenterforImageProcessingandIntegratedComputingUniversityofCalifornia，Davis,CA95616-8553-MATLAB数据下载http://www.cs.cornell.edu/projects/sound/2012TOGPAPER听觉研究资源听觉研究资源….Stereovs.3-Dsound(加入位置信息-头部跟踪)HumanHearingModelHumanHearingModel，人类听觉系统，人类听觉系统•心理声学（Psycho-acoustics）的一些成果；研究人们如何理解声音的一门科学；Polarcoordinatesystem–azimuth,elevation,distance(range);纵向极坐标系统azimuthcues;方位角提示elevationcues;仰角提示Effectofpinna(outerear);耳廓（外耳）HRTFs－Head-RelatedTransferFunctionHumanHearingModelTheouterears(pinnae耳廓)reflectsandguidessoundtotheinnerear；外耳反射－导引声音至内耳Thedifferenceinsoundarrivaltimesatthetwoearsisthe“interauraltimedifference”(ITD)；两耳时差Theintensityofthesensedsound(IID)aredifferentbetweentheearsdueto“headshadowing”；强度差，头部屏蔽现象（即其中一个耳朵由于头部的遮挡而听不到直接的声音，而只能从其反射波来感知）Thedifferenceinsoundphaseandfrequencyspectrabetweenthetwoearsiscalled“Head-RelatedTransferFunction”(HRTF)；两耳声音相差、频差头部相关传递函数HumanHearingModel---人耳模型1．声音2．声音感觉3．频率范围4．声强5．声音方向6．声音舞台7．头部有关的传递函数现有的VR系统中，已经考虑的因素包括：声音方向，声音舞台，以及头部有关的传递函数。其他因素还没有充分考虑到。HumanHearingModel---人耳模型1．声音音速在空气中，0℃时331m/s，20℃时344m/s。在海水中，1℃时音速1453m/s。在铸铁棒中，音速3500m/s。耳听到的频率范围约20Hz到20kHz。随年岁增加，频率范围缩小，特别是高频段。考虑音速344m/s。20Hz的波长17.2m,1kHz的波长34.4cm,10kHz的波长3.44cm。人耳的尺寸约7cm，这是5kHz的波长。这说明耳会影响这种频率声音的收集。人的身体也会与声波交互，这也会影响声音的质量。这类似音乐厅中的音响效果。2．声音感觉耳分为外耳、中耳、内耳。外耳把声音引导进内耳...