第3章 声音（3）.ppt

《第3章 声音（3）.ppt》由会员分享，可在线阅读，更多相关《第3章 声音（3）.ppt（82页珍藏版）》请在麦多课文档分享上搜索。

1、第3章 声音（3）,2018/10/12,南京大学多媒体研究所,2,内容,一、全频带数字声音的压缩编码 二、MIDI,一、全频带数字声音的压缩编码,1 听觉系统的感知特性,2018/10/12,南京大学多媒体研究所,5,响度,通常用声强级来描述声强的强弱。 规定声强： I0=10-12 W/m2 作为测定声强的标准。 （频率为1 000 Hz的声波能引起听觉的最弱声强）,声强级L定义为：,(Bel ) 单位为贝尔,(dB ) 单位为分贝,2018/10/12,南京大学多媒体研究所,6,听觉系统对对响度的感知,人的听觉系统存在一个听觉阈值电平，低于这个电平的声音信号就听不到 听觉域值的大小随声音

2、频率的改变而变化，大多数人的听觉系统对2 kHz5 kHz之间的声音最敏感。 声音是否能听到取决于声音的频率及强度(是否大于该频率对应的听觉阈值) 每个人的听觉域值也不同。,2018/10/12,南京大学多媒体研究所,7,“听阈-频率” 曲线,听阈是随频率变化的 人耳对不同频率的敏感程度差别很大 人耳对2-5 kHz范围的声音信号最为敏感,痛阈-频率曲线,听阈-频率曲线,人耳听觉范围,等响度级曲线,2018/10/12,南京大学多媒体研究所,8,音调,对音调的感知 人们对音调（音高）的主观感觉, 单位是“美”(Mel) 主观感觉的音调与频率之间并不是线性关系:Mel=1000*log2(1+f

3、) 人耳对频率的感知范围: 20 Hz 20000 Hz,2018/10/12,南京大学多媒体研究所,9,听觉掩蔽特性,一种频率的声音阻碍听觉系统感受另一种频率的声音的现象称为掩蔽效应。前者称为掩蔽声音(masking tone, masker)，后者称为被掩蔽声音(masked tone, maskee)。 掩蔽效应可分成2种: 频域掩蔽 时域掩蔽,2018/10/12,南京大学多媒体研究所,10,频域掩蔽,强纯音会掩蔽频率与其靠近的同时发声的弱纯音，这种特性称为频域掩蔽，也称同时掩蔽(simultaneous masking)。例如，同时有两种频率的纯音存在，一种是1000 Hz的声音(6

4、0dB)，另一种是1100 Hz的声音(42dB)，在这种情况下，1100 Hz的声音就听不到。 弱纯音离强纯音越近就越容易被掩蔽。,2018/10/12,南京大学多媒体研究所,11,不同纯音的掩蔽效应曲线,低频纯音可以有效地掩蔽高频纯音，但高频纯音对低频纯音的掩蔽作用则不明显 掩蔽效应的作用范围和大小，与声强及频率有关，频率越高、声音越强，掩蔽效应越大。,声强为60分贝的250 Hz、1 kHz、4 kHz和8 kHz纯音，对其他纯音的掩蔽效应。,2018/10/12,南京大学多媒体研究所,12,时域掩蔽,在时间上相邻的声音相互之间也有掩蔽现象，称为时域掩蔽。时域掩蔽的主要原因是人的大脑处理

5、信息需要花费一定的时间。,2018/10/12,南京大学多媒体研究所,13,临界频带,同一个频带里的声音相同 非线性的25个临界频带 临界频带的掩蔽效应,2 MPEG-1 Audio(11172-3),2018/10/12,南京大学多媒体研究所,15,什么是MPEG-1与MPEG-1 音频,MPEG-1是活动图象及其伴音的压缩编码标准，其中 MPEG-1 Part3 (audio)是音频压缩编码。 诞生于1992年 目的是把221Mbits的NTSC图像压缩到1.2Mbits，压缩率为2001。 传输速率为1.5Mbitss，每秒播放30帧，具有CD音质 视频约1.2 Mbits/sec, 音

6、频约0.3 Mbits/sec (CD 唱片的码率： 44,100 samples/sec * 16 bits/sample * 2 channels 1.4 Mbits/sec) 典型应用 VCD,2018/10/12,南京大学多媒体研究所,16,MPEG-1音频编码的性能(1),编码器输入: 取样频率：32kHz、44.1kHz或48kHz 量化精度：16位 数字声音信号带宽： 20-20kHz编码器输出: 码率：32-384 kbps 格式：MPEG-1格式,2018/10/12,南京大学多媒体研究所,17,MPEG-1音频编码的性能(2) (2),提供三个独立的压缩层次: 压缩倍数 码

7、率 延迟时间 语音质量 1 语音质量 2 1 4:1 384 19ms 2 6-8:1 192-256 35ms 2.1-2.6 4+ 3 10-12:1 112-128 59ms 3.6-3.8 4+,2018/10/12,南京大学多媒体研究所,18,MPEG-1音频编码的性能(3),支持4种不同的模式: 单通道(Single channel)， 双通道(Dual channel,二个独立的声音信号编码在一个比特流中)， 立体声(Stereo, 左右声道的信号分别编码在一个流中) 联合立体声（Joint stereo，利用左、右声道信号的相关性，降低输出比特流的码率）。,2018/10/12

8、,南京大学多媒体研究所,19,MPEG-1音频编码的性能(4),编码后的数据流支持循环冗余校验CRC(cyclic redundancy check)。 支持在数据流中添加其它附加信息。,2018/10/12,南京大学多媒体研究所,20,MPEG-1音频编码的原理,MPEG 1音频是一个子带编码系统，声音数据压缩算法的根据是心理声学模型： 将audio信号分割成32个不同的子频带, 充分利用听觉系统的掩蔽特性（主要是利用频域掩蔽特性）, 保留可感知的信号进行编码，而扔掉被掩蔽的信号不进行编码, 计算出以频率为自变量的噪声掩蔽阈值(masking threshold)，按照信掩比(SMR)来决定

9、分配给各个子带的量化位数，调节各个不同子带的量化编码。,2018/10/12,南京大学多媒体研究所,21,MPEG-1音频“层1” 编码器,声音数据以“帧”为单位进行编码处理，每一帧包含384个样本,使用的时间-频率变换部件是一个多相滤波器组，所分割得到的32个子带频带都相等， 32个子带各输出12个样本作为一组,按心理声学模型为每组样本进行一次比特分配（0-15bit），用来指出每组样本都使用几位表示,将每组样本的数值乘一个比例因子(6位)，使量化器的量化范围能得到充分利用,心理声学模型仅使用频域掩蔽特性,2018/10/12,南京大学多媒体研究所,22,多相滤波器组,输入的 时域信号 (3

10、84样本),输出的 频域信号 (384样本),频域信号 (32个子带，每个子带12个样本),2018/10/12,南京大学多媒体研究所,23,量化器的比特分配算法,根据输出码率决定每一帧样本的比特总数A；然后在不超过总数A的前提下，使这一帧的总掩蔽与噪声之比( NMR)最小； 每个子带的掩蔽与噪声之比NMR为： NMR=SMR-SNR（ 其中，SNR是量化器的信噪比，由量化器位数决定；SMR是每个子带的信掩比，由心理声学模型计算 ） 3. 对32个子带分别分配量化位数，计算NMR，使NMR最小； 4. 计算所有量化器输出样本的比特总数，并与A 进行比较； 5. 如果不超过，则增加量化器位数，

11、6. 重复步骤3, 4和5，直至比特总数最接近A为止。,2018/10/12,南京大学多媒体研究所,24,量化器的信噪比SNR,量化器位数 信噪比(db) 量化器位数 信噪比(db)1 0 9 55.932 7.0 10 61.963 16.0 11 67.984 25.28 12 74.015 31.59 13 80.036 37.75 14 86.057 43.84 15 92.018 49.89,2018/10/12,南京大学多媒体研究所,25,32个子带，每个子带各一,MPEG-1音频(层1)的帧结构,用于记录该帧的同步及属性信息,用于检错与纠错的循环冗余码,用于描述分配给该子带的量化

12、比特数目,用于描述该子带的量化比例因子,2018/10/12,南京大学多媒体研究所,26,MPEG-1音频的帧结构,帧的作用：帧是音频数据的组织单位，用于同步、纠错，也有利于存取、编辑。 格式： Header + 音频数据 +（纠错码）,2018/10/12,南京大学多媒体研究所,27,MPEG-1音频“层2” 编码器,每1帧包含1152个样本,使用的时间-频率变换部件是一个多相滤波器组，所分割得到的32个子带频带都相等， 32个子带各输出3组样本，每组12个样本。,按心理声学模型为每组样本进行比特分配，且作了一些限制（低频段的子带用4比特，中频段的子带用3比特，高频段的子带用2比特），因而编

13、码更紧凑,将每组样本的数值乘一个比例因子(6位)，比例因子可以共享,心理声学模型除使用频域掩蔽特性外，还利用了时间掩蔽特性,2018/10/12,南京大学多媒体研究所,28,MPEG-1音频(层2)的帧结构,比例因子选择信息，决定是否需要以及如何共享比例因子,2018/10/12,南京大学多媒体研究所,29,MPEG-1音频“层3” 编码器,使用混合滤波器组（多相滤波器组+MDCT），把声音频带分成非等宽的接近人耳临界频带划分的32个子带， 心理声学模型除了使用频域掩蔽特性和时间掩蔽特性之外，还考虑了立体声数据的冗余， 每个子带中样本的量化和编码，通过2个嵌套的迭代循环进行优化，采用非均匀量化

14、， 样本在量化处理后，再使用霍夫曼(Huffman)编码进一步压缩数据。,2018/10/12,南京大学多媒体研究所,30,32个子带的划分,借助分析滤波器组把输入信号变换为32个频域子带信号 层1、层2编码器的子带划分是线性的， 层3编码器的子带划分是非线性的，因为人耳的听觉特性是非线性的，是以“临界频带”来划分的。,2018/10/12,南京大学多媒体研究所,31,“层3”音频编码器结构,MDCT(modified discrete cosine transform) 把子带的输出在频域里进一步细分, 以达到更高的频域分辨率,内迭代循环用于码率控制，外迭代循环用于噪音控制,除了使用频域掩蔽

15、特性和时间掩蔽特性之外，还考虑了立体声数据的冗余,2018/10/12,南京大学多媒体研究所,32,MPEG1音频解码器的原理框图,进行差错检测、比特流分解,恢复出各种信息段,恢复被量化的子带样本值以重建声音信号,逆变换模块将这些样本从频率域变换回时间域中均匀的声音样本,2018/10/12,南京大学多媒体研究所,33,小 结,层 1: 每帧一个样本组、子带频宽相等、每帧3212384个样本、仅用到频率掩蔽效应。 层 2:每帧三个样本组、子带频宽相等、每帧321231152个样本、不仅用到频率掩蔽效应，还用到时域掩蔽效应。 层 3: 子带频宽与临界频宽相似, 用到频率掩蔽效应和时域掩蔽效应,

16、考虑到立体声冗余, 采用Huffman编码。,2018/10/12,南京大学多媒体研究所,34,MP3 Audio（音乐）,采用MPEG-1层次3编码器的、质量接近或达到CD水平的数字声音（音乐）。 码率: 112kb-128kb/秒 (每分钟约1MB) 。 MP3能以10倍左右的比率降低全频带数字声音PCM编码的存储量，一张普通CD光盘上可以存储大约100首MP3歌曲。 MP3支持声音和数据的复合, 播放声音的同时, 可以在播放器上显示相关的文本信息. MP3的软件播放器: WinAMP,2018/10/12,南京大学多媒体研究所,35,MP3音频的改进： Mp3PRO,Thomson多媒体

17、公司、Fraunhofer协会Coding Technologies公司在2001年6月联合推出了MP3格式的升级版本Mp3PRO。 用Mp3PRO压缩后的MP3文件只有原来的一半,音质比原先的还好.,2018/10/12,南京大学多媒体研究所,36,3 MPEG-2音频,(1) MPEG-2 Audio(ISO/IEC 13818-3)，或者称为MPEG-2多通道(Multichannel)声音，又称为MPEG-2 BC (Backward Compatible)。 (2) MPEG-2 AAC (ISO/IEC 13818-7, Advanced Audio Coding)，也称为MPEG

18、-2 NBC(Non-Backward-Compatible)标准。,3.1 MPEG-2 Audio(13818-3),2018/10/12,南京大学多媒体研究所,38,MPEG-2 Audio对MPEG-1的扩充,增加了16 kHz, 22.05 kHz和24 kHz采样频率声音的处理， 扩展了编码器的输出速率范围，由32384 kbps扩展到8640 kbps， 增加了声道数，支持5.1声道和7.1声道的环绕立体声。,2018/10/12,南京大学多媒体研究所,39,MPEG-2的环绕立体声,MPEG-2 Audio的“5.1环绕立体声”也称为“3/2-立体声加LFE”， 放音现场前方有

19、3个喇叭 (左、中、右3个声道)，后面有2个喇叭(2个环绕声道)，“.1”指LFE(low frequency effects)，即低频音效加强声道。,2018/10/12,南京大学多媒体研究所,40,MPEG Audio的应用,优点: 声音品质优良 码率范围较宽 多种不同配置 四大应用领域: 广播, 存储, 多媒体 通讯,3.2 MPEG-2 AAC (Advanced Audio Coding) （ISO/IEC 13818-7 ）,2018/10/12,南京大学多媒体研究所,42,MPEG-2 AAC的性能,取样频率: 从8 kHz到96 kHz， 编码器输入: 单声道、立体声和多声道声

20、音。 最多可支持: 48个主声道、16个低频音效通道LFE (low frequency effects)、16个配音声道(也称为多语言声道) 和16个数据流。 在压缩比为11:1(即每个声道数据率为44.1 16/11 = 64kbps)，5声道的总码率为320 kbps的情况下，重建声音与原始声音之间几乎无区别。 音质相同时，码率仅MP2的50%, MP3的70%,2018/10/12,南京大学多媒体研究所,43,MPEG-2 AAC 的特点,比MP3更加灵活, 如： 取样频率和码率的范围更大, 声道数目更多, 具有多语言能力, 支持16个嵌入数据流等， 编码器/解码器的结构是模块化的 A

21、AC使用了更加先进的算法及工具, 如： 分辨率更精细的滤波器组, 时域噪音定形（ temporal noise shaping，TNS）, 反向自适应线性预测(backward adaptive linear prediction), 联合立体声编码技术（joint stereo coding techniques） 改进的 Huffman coding,2018/10/12,南京大学多媒体研究所,44,MPEG-2 AAC编码器,输入信号,13818-7声音数据流,过去帧的量化频谱,迭代环,2018/10/12,南京大学多媒体研究所,45,由多相正交滤波器、增益检测器和增益修正器组成。它把输

22、入信号分离到4个相等带宽的频带中，通过忽略高频带信号而获得低取样率的输出信号，从而达到取样频率可调的目的。,输入信号,13818-7声音数据流,迭代环,过去帧的量化频谱,2018/10/12,南京大学多媒体研究所,46,把输入信号从时域变换到频域，采用了改进的离散余弦变换MDCT，它是一种线性正交交迭变换，使用了一种称为时域去混迭技术.,输入信号,13818-7声音数据流,迭代环,过去帧的量化频谱,2018/10/12,南京大学多媒体研究所,47,用来控制量化噪声，以解决掩蔽阈值和量化噪声的错误匹配问题。,输入信号,13818-7声音数据流,迭代环,过去帧的量化频谱,2018/10/12,南京

23、大学多媒体研究所,48,联合立体声编码, 目的是为了去掉声道之间的冗余信息。包含两种空间编码技术：M/S编码(Mid/Side encoding)和声强/耦合(Intensity /Coupling)。,输入信号,13818-7声音数据流,迭代环,过去帧的量化频谱,2018/10/12,南京大学多媒体研究所,49,主要用来减少平稳(stationary)声音信号的冗余度。,输入信号,13818-7声音数据流,迭代环,过去帧的量化频谱,对被量化的谱系数、比例因子和方向信息进行霍夫曼编码。,2018/10/12,南京大学多媒体研究所,50,MPEG-2 AAC 解码器,2018/10/12,南京大

24、学多媒体研究所,51,MPEG-2 AAC编码器的分类(档),(1) Main Profile，除了“增益控制”之外，使用了图中的所有模块，能提供最好的声音质量，对存储容量和处理能力方面的要求比较高。 (2) LC Profile（Low Complexity Profile ），不使用预测模块和预处理模块，时域噪声定形 (TNS)滤波器的级数也有限，声音质量比Main Profile质量低，但对存储容量和处理能力的要求可明显降低。 (3) SSR Profile（Scalable Sampling Rate Profile ），使用增益控制对信号作预处理，不使用预测模块，TNS滤波器的级数和

25、带宽也都有限制，因此它比基本配置和低复杂性配置更简单，能用来支持可调整的取样频率。,4 MPEG-4的通用声音编码 (General Audio Coding, GAC),2018/10/12,南京大学多媒体研究所,53,MPEG-4 的声音编码,（1）自然音频信号的编码(2kb/s到64kb/s码率) 语音信号的编码 全频带声音的编码（通用声音编码GAC） （2）合成音频信号的编码 结构化音频(包括乐器数字接口MIDI) 文语转换（TTS） 还包括一些用来增强音频合成效果和产生3D环绕声音的工具,2018/10/12,南京大学多媒体研究所,54,不同码率范围使用的MPEG-4声音编码,201

26、8/10/12,南京大学多媒体研究所,55,MPEG-4的通用声音编码器 (General Audio Coding，GAC),MPEG-4 GAC是一个全能（all-round）的编码系统,它提供了一组强大的工具，增加了许多新功能， 码率：从16 kbit/s到高于64 kbit/s（每个声道） 支持MPEG-2 AAC，与MPEG-2 AAC保持向后兼容, 基本原理与MPEG-2 AAC相同，但在许多方面有了改进与扩充（例如长期预测，双矢量量化编码，感知噪音替代，位片方式的算术编码等），显著提高了编码效率。,2018/10/12,南京大学多媒体研究所,56,MPEG-4 的功能,播放速度控

27、制与音调控制功能，允许改变播放速度而不影响音调。 音调改变功能，改变音调而不影响速度，用于混音和卡拉OK。 Scalability： 码率分级编码功能（Bit rate scalability）， 带宽分级编码功能（Bandwidth scalability）， 编码器复杂度的分级功能（Encoder complexity scalability）， 解码复杂度的选择功能（decoder complexity scalability）， 鲁棒性,5 全频带声音的其他编码 Dolby AC-3,Dolby AC-3的性能,支持独立的6-8个声道：左、右、中、左环绕、右环绕和一个低于超低音声道(S

28、ub)，有出色的声音定位能力, 具有很宽的动态范围（频率响应超过20kHz）, 高的信噪比，超低音效果气势雄伟。 多种输出码率：32kbps-640kbps。,2018/10/12,南京大学多媒体研究所,59,Dolby 数字影院系统 DTS,DTS是 (Digital Theater Systems) 是一种高保真声音编码技术，技术原理与AC-3基本相同。 DTS的码率设计为1411 kbps，通常运行在754或1509 kbps的速率上，声音质量高于AC-3，达到专业水准。 美国高清晰度数字电视标准ATSC和欧洲数字电视标准DVB都已将杜比数字技术作为其音频制式。,二、音乐合成与MIDI,

29、1. 音乐的电子合成,2018/10/12,南京大学多媒体研究所,62,什么是音乐？,音乐使用乐谱描述，由乐器演奏而成的一段旋律。 音乐的基本单元是音符(notes), 音符有如下属性： 音调（distinct pitches）所有不同音调的音符128个 音色（different musical instruments） 音强（various volumes） 持续时间（Note OnNote Off）,2018/10/12,南京大学多媒体研究所,63,什么是MIDI,海阔天空 MIDI是乐器数字化接口(Musical Instrument Digital Interface)的缩写。所以说M

30、IDI并不是一个实在的东西，而是一个国际通用的标准接口。通过它，各种MIDI设备都可以准确传送MIDI信息。,2018/10/12,南京大学多媒体研究所,64,音乐的电子合成,音源：能模拟乐器生成各种不同音色音符的电子合成器。 音序器：把一首曲子所需的音色，节奏，音符等等按照一定的序列组织好让音源发声，它实际上是记录了音乐的一般要素，拍子，音高，节奏，音符时值等。MIDI文件的本质内容实际上就是音序内容。 输入设备：为了符合人们原有的音乐习惯，人们制造了各种基于传统乐器形式上的MIDI乐器，如MIDI键盘，MIDI吹管，MIDI吉它，MIDI小提琴等等，你可以按照演奏传统乐器的方式去演奏它们，

31、然后你的演奏便通过MIDI接口被音序器接收并存储为音序内容。,2018/10/12,南京大学多媒体研究所,65,电子乐器的组成,演奏控制器, 进行实时演奏，驱动音源发声，其类型有： 键盘控制器， 气息（呼吸）控制器， 弦乐演奏器等。,2018/10/12,南京大学多媒体研究所,66,音源的分类,按照工作原理,音源可分2类： 调频合成器(FM), 1983 PCM波形合成器, 1991,2018/10/12,南京大学多媒体研究所,67,数字调频（FM）音乐合成器,Y(t)=A*Sin(Wc*t+I*Sin(Wm*t),2018/10/12,南京大学多媒体研究所,68,波表合成器,波表的制作：每种

32、乐器的每个音符的数字化波形，选择若干周期，把它们组织成一张表(波表)，存放在ROM中。,波表的使用：合成音乐时根据乐器类型及音符等访问ROM，取出对应的波 形数据,修饰成所要求的音强和时长，进行播放。,合成的音乐,2. MIDI(乐器数字接口) 规范,2018/10/12,南京大学多媒体研究所,70,MIDI(乐器数字接口) 规范,MIDI是音乐的数字表示方法，包含音符、定时、乐器指派等，也是数字电子乐器互相连接、互相通信的标准。(1983) 内容包括： 设备的互连与通信协议； MIDI message(MIDI消息)的规范； MIDI 文件(SMF)的格式； MIDI 时间代码(MTC)，使

33、音/视频设备与MIDI设备同步; MIDI Machine control(MMC),使录音设备与MIDI设备同步 MIDI Show control(MSC)；使舞台灯光设备与MIDI 设备同步。,2018/10/12,南京大学多媒体研究所,71,MIDI设备的接口,MIDI设备端口（5芯DIN插座，菊花链方式连接）： MIDI in (MIDI合成器通过MIDI in接收 MIDI 消息 ) MIDI out (演奏控制器通过MIDI out 输出MIDI消息 ) MIDI thru (MIDI合成器通过MIDI thru 转发MIDI消息 ),2018/10/12,南京大学多媒体研究所,

34、72,MIDI 设备的互连,(MIDI演奏器),(MIDI out),(MIDI音源，MIDI合成器),MIDI演奏器（ 又称MIDI 发送器，MIDI键盘）,MIDI接收器（MIDI音源）接收MIDI message， 合成出乐曲的声音.,MIDI message,(MIDI in),2018/10/12,南京大学多媒体研究所,73,MIDI设备的通信规程,通信规程： 通用异步收发器( UART ) 1个起始位+8个数据位+1个停止位 串行通信，速率： 3125字节/秒分析：每个音符需使用6字节表示，共16个通道，平均每个通道 每秒可 收发约 16个音符以上。,2018/10/12,南京大学

35、多媒体研究所,74,MIDI合成器的特性 1,MIDI合成器相当于一个电子乐队，它划分成16个 Channel（通道），每个通道是1个逻辑合成器, 各个逻辑合成器可演奏不同的乐器和不同的乐谱。每个通道的volume, pan, reverb level及其它特性均可独立设置。,2018/10/12,南京大学多媒体研究所,75,MIDI合成器的特性 2,每个通道能演奏最多128种不同的乐器(称为音色)。不同乐器有不同编号（称为Program或Patch号）。每个通道一次只能演奏一种乐器，但可随时改变；但声部数可以有若干个。即，每个MIDI 通道在某一时间里可进行一种音色的独奏、齐奏或合奏。,20

36、18/10/12,南京大学多媒体研究所,76,MIDI Message,作用： 描述乐曲的乐谱及演奏要求, 控制MIDI合成器进行演奏 。 数据格式：1个状态字节(最高位为“1”)+ n个数据字节(最高位为“0”) 分类： Channel message (只对指定通道起作用), 例如： MIDI Program Change message 改变某通道的乐器 MIDI Note messages 控制某通道演奏一个音符 mode message 决定乐器对声音消息如何响应 System message（对全部通道都起作用）,2018/10/12,南京大学多媒体研究所,77,MIDI标准的发展

37、和补充,General MIDI (GM) ，对128种电子乐器（音色）的分类和排列作了规定，每个音色有一个序号，8个相似音效的音色编为一组，供16组。 XG标准(YAMAHA)，在音色数量（扩充为480种）、音色编辑、音响效果控制以及外部音频输入等4个方面对GM进行了扩充。,3. 音序器软件(Sequencer),2018/10/12,南京大学多媒体研究所,79,音序器软件的工作过程,以MIDI message形式将演奏信息(音符、节奏、速度、触键力度、弯音以及音色变化等）记录下来； 对记录下来的信息进行修改编辑； 经编辑修改的演奏信息在任意时刻都可以由音源播放。,2018/10/12,南京

38、大学多媒体研究所,80,音序器软件的功能,MIDI乐曲的记录与制作； MIDI乐曲的编辑，包括各种修改功能； MIDI乐曲的播放，包括任意轨道的播放； MIDI乐曲的存储； 乐谱的生成与打印。,2018/10/12,南京大学多媒体研究所,81,音序器软件的优点,同一演奏者可在不同的时间内用不同的乐器（音色）逐次演奏乐曲的不同声部，实现“分轨录音（Track Recording）”，而这些属于不同声部的演奏信息可被音序器记录在不同的MIDI通道中，通过音源，音序器可将所有MIDI通道中的演奏信息同时自动播放演奏，这样，一个人就可完成相当于一个乐队的多声部演奏和录音任务。,2018/10/12,南京大学多媒体研究所,82,MIDI小结,优点 数据量少（比CD-DA少3个数量级）。 易于制作和编辑修改。 可以与波形声音同时播放。 问题 是MIDI控制器与合成器之间的通信协议, 描述的是音符,而没有描述合成的算法。 音质与硬件相关。,