语音质量的主管评估概况

gzzhangsan

TUP.800规范规定了语音性能主观评估的一系列方法，该标准是目前业界对语音编码主观评估普遍采用的标准；

P.800规定的语音主观评估方法包括：

1)     交谈测试（Conversation-opinion tests）：测试人员通过通信设备以相互交谈的形式对通信系统进行评估，可以评估语音质量以及时延性能。

2)     听力测试（Listening tests – Absolute Category Rating (ACR)）：测试者通过录音样本对语音质量进行评测；

3)     量化响应测试（Quantal-Response Detectability Tests）：评测噪声水平、回升等影响语音质量的指标。

4)     性能恶化测试（Degradation Category Rating (DCR) method）：通过与原始语音录音对比来评测语音恶化的程度。

5)     比较测试（Comparison Category Rating (CCR) method）：通过与一种标准语音录音的对比来评测当前语音样本的质量。

此外，P.800规定了语音质量测试时的测试环境要求、背景噪声要求等等一系列可能影响测试结果的相关条件，以便相同的测试结果在不同的地点、不同的时间能够重现。

ACR测试又包含三种测试内容，分别是：

1)     语音质量测试（Listening-quality scale）：MOS

2)     语音可懂度测试（Listening-effort scale）：MOSle

3)     响度测试（Loudness-preference scale）：MOSlp

上述三种ACR测试中的MOS（Mean Opinion Score）测试，即是大家熟知的语音质量主观评分，也是应用最广泛的语音质量主观评估方法，该测试采用5级评分评估语音质量：

语音质量描述	得分
非常好（Excellent ）	5
好（Good）	4
一般（Fair）	3
差（Poor）	2
很差（Bad）	1

测试人员要求：

1)     必须半年内没有进行过语音质量主观评估测试；

2)     必须一年内没有进行过MOS测试；

3)     必须是与开发相关语音技术无关的人员；

4)     没有听过测试的语音文件。

规范没有强制要求多少人员参与测试，但是建议了30人左右组成的测试小组比较适宜，并且测试时长最好能够在20分钟以内。

测试过程：

1)     测试训导：由于测试人员在测试开始之前对测试要求可能一无所知，因此测试训导主要是引导测试人员如何测试和评分，并且测试组织者可以回答测试人员的一些提问，问题仅限于测试训导的解答，不允许涉及其它内容，测试人员的打分完全依靠个人主观感受：

下面是P.800的测试训导示例：

a)     ACR MOS测试训导：

                              

b)     交谈测试训导：

通过上述测试训导大家可以了解，测试人员的评分完全依靠主观感受，并且测试人员在测试之前并不知道语音质量的评分标准；事实上，P.800规范明确要求，绝对禁止对测试人员进行引导以指示语音质量的评分标准。

2)     测试评分：每个测试人员在听完一个测试样本后即对该样本进行评分，根据自己的主观感受选择1~5分中的任一选项，评分过程一般采用按键形式，即测试实验室提供一个测试平台，上面有五个按键，分别代表1~5分；分数记录一般由测试设备自动完成。

3)     数据分析：根据按照语音样本类型对测试分数进行分类（男声、女声、语言种类）等等，然后计算平均值等数学指标并按照语音样本类型对分析结果分类

很显然，根据上面提供的测试方法先容，对于两次主观测试，P.800不能够精确反映两次的语音质量差异，例如采用ACR MOS测试，第一次测试针对宽带语音原始采样，第二次测试针对窄带语音原始采样，语音对测试人员而言可能都比较清晰，测试结果的MOS评分可能会比较接近。

另外，ACR测试采用5级评分，语音质量好到一定程度后，将会产生分数饱和现象，也就是说，当一个语音技术得分能够达到4.4~4.5分时，即使另外一种语音技术比它提供的语音更为清晰，也难以在分数中明显反映。

因此，ACR MOS测试更能够精确反映同时进行测试的两种通信技术，而不能够精确反映两次测试的通信技术的语音质量差异（参见GSMA  IR3610）。