6.1多媒体基本概念媒体通常包括两方面的含义:一是指信息的物理载体,即存储和传递信息的实体,如手册光盘、磁带;二是指承载信息的载体,即信息的表现形式或传播形式,如文字、图像、动画和视频。6.11基本概念1,媒体的分类(1)感觉媒体:直接作用于人的感觉器官例:声音图像(2)表示媒体:传输感觉媒体的中介媒体(数据交换的编码)例:声音编码图像编码(JPEGMPEG)文本编码(ASCIIGB2312)(3)表现媒体:进行信息输入输出的媒体例:键盘鼠标话筒摄像机显示器打印机喇叭(4)存储媒体:存储表示媒体的物理介质例:硬盘软盘磁盘光盘ROMRAM(5)传输媒体:传输表示媒体的物理介质例:电缆光缆电磁破2.多媒体的特征(1)多样性:信息媒体多样化(2)集成性:信息媒体集成一个有机整体,软件和设备集成一个理想环境(3)交互性:人对信息主动选择,使用,加工和控制(4)非线性:借助超文本链接的方法摆脱循序渐进地获取知识(5)实时性:在人的感官系统允许的情况下进行多媒体处理和交互(6)信息使用的方便性:按需获取信息(7)信息结构的动态性:按需修改信息6.1.2虚拟现实基本概念1.虚拟现实技术的主要特征(1)多感知(2)沉浸(3)交互2.虚拟实现技术的分类(1)桌面虚拟实现(2)完全沉浸的虚拟现实(3)增强现实性的虚拟现实(4)分布式虚拟现实6.2声音6.2.1基本概念1.声音信号声音是通过空气传播的一种连续的波,称为声波。(1)声音的感觉a.音量b.音调c.音色人耳能听到的音频信号的频率范围是20-20kHz(2)声音信号的数字化取样-量化法a.采样:采样是把时间连续的模拟信号转换成时间离散,幅度连续的信号。采样频率不低于声音信号最高频率的两倍。语音信号采样频率为8KHz,音乐信号采样频率大于40KHz。采样频率越高,可恢复的声音信号分量越丰富,其声音的保真度越好。b.量化:量化处理是把在幅度上连续取值(模拟量)的每一个样本转换成离散值(数字量)表示。A/D转换(模数转换)。量化后的样本是用二进制数来表示的,二进制数的多少反映了度量声音波形幅度的精度,称为量化精度,也称为量化分辨率。例如,16位,量化精度为1/65536。量化精度越高,声音质量越好,需存储空间越多,量化精度越低,声音质量越差,需存储空间越少。c.编码:采样和量化之后的声音信号已经是数字形式的了,但是还需进行数据压缩,减少数据量。数字化处理之后的数字声音的主要参数:采样频率,量化位数,声道,数据率,压缩比2.波形声音数据传输率(b/s)=采样频率(Hz)×量化位数(b)×声道数声音信号数据量=数据传输率×持续时间3.数字语音压缩方法(1)波形编码(2)参数编码(3)混合编码4.声音合成(1)语音合成(2)音乐合成5.MIDI6.2.2声音文件格式(1)Wave文件(.WAV):波形文件。质量高,文件数据量大。(2)Module文件(.MOD):存放乐谱和乐曲使用的各种音色样本。回放效果明确,音色种类无限。(3)MPEG文件(.MP#):MPEG-1、MPEG-2、MPEG-4、MPEG-7、MPEG-21MPEG-1Layer1采用每声道192kbit/s,每帧384个样本,32个等宽子带,固定分割数据块。子带编码用DCT(离散余弦变换)和(快速傅立叶变换)计算子带信号量化bit数。采用基于频域掩蔽效应的心理声学模型,使量化噪声低于掩蔽值。量化采用带死区的线性量化器,主要用于数字盒式磁带(DDC).MPEG-1Layer2采用每声道128kbit/s,每帧1152个样本,32个子带,属不同分帧方式。采用共同频域和时域掩蔽效应的心理声学模型,并对高、中,低频段的比特分配进行限制,并对比特分配、比例因子,取样进行附加编码。Layer2广泛用于数字电视,CD-ROM,CD-I和VCD等。MPEG-1Layer3采用每声道64kbit/s,用混合滤波器组提高频率分辨率,按信号分辨率分成6X32或18X32个子带,克服平均32个子带的Layer1,Layer2在中低频段分辨率偏低的缺点。采用心理声学模型2,增设不均匀量化器,量化值进行熵编码。主要用于ISDN(综合业务数字网)音频编码。MPEG-2制定于1994年,设计目标是高级工业标准的图象质量以及更高的传输率。MPEG-2所能提供的传输率在3-10Mbits/sec间,其在NTSC制式下的分辨率可达720X486,MPEG-2也可提供并能够提供广播级的视像和C...