2021年6月江西师范大学但扬杰硕士学位论文《基于注意力和迁移学习的汉语方言识别研究》（指导教师徐凡）摘要

摘要

随着普通话的日益普及，汉语方言有逐步被同化趋势。但是，作为中华民族的非物质文化遗产的方言，其重要性地位不可被磨灭。方言在文化中起着活化石作用，具有珍贵的史学及语言学研究价值。其作为一种特殊的语言变体，一直是社会语言学的研究热点。它不仅是一种语言现象，更是一种社会文化现象。因此，方言的保护和研究具有重要的现实意义。

方言（种类）识别是方言智能化处理的关键一步。随着深度学习在自然语言处理各种任务上取得了不错的性能，深度学习技术也被广泛应用于方言识别。但是，现有代表性方法更多地关注各类语音级或文本级特征的自动抽取方面，注重底层声学特征，没有考虑语音本身发音的含义，而且将迁移学习模型用于低资源的方言识别比较鲜见，同时注意力机制的有效集成也存在不足。

针对现有方法存在的不足之处，本文开展了如下工作：

(1)提出了基于多头自注意力机制的端到端方言种类识别模型。该模型由两部分组成，一部分是利用残差 CNN 和多头自注意力机制有效提取不同方言特有的音素序列信息构成语音发音特征，另一部分基于提取出的语音发音特征分别利用自注意力机制和双向 LSTM 进行方言种类识别。在科大讯飞方言基准语料库上的实验结果表明方言种类识别性能得到大幅度提升。

(2)提出了基于迁移学习和数据增强的方言种类识别模型。该模型通过在源端采用相对较大规模方言语料库训练一个方言语音识别模型，获取全局知识，并将生成的中间语义表示形式用于目标端低资源方言语种识别。同时，利用数据增强策略对低资源的方言数据进行扩充，并有效集成自注意力机制。在国际基准方言语料库上的实验结果验证了模型的有效性。

(3)设计了一个方言智能语音对话平台，该平台有效整合了本文研究的方言语音识别模型、方言语种识别模型；同时将现有多轮对话模型和语音合成技术进行了集成。

（本站收藏电子版）