ju111.net导航(2)

训练 SpecAugment 的 Listener 子模型：输入的梅尔倒谱首先经两层卷积神经网络（CNN），经最大池化且步幅为 2，得到的结果输入到 BLSTM（双向长短期交替记忆模型）中，产生尺寸为 d x w 的基于注意力机制的特征。

训练 SpecAugment 的 Speller 子模型：将上一步骤中基于注意力机制产生的特征向量输入到一个二层 RNN（Recurrent Neural Network）模型中，训练集中的文本已用 WPM（Word Piece Model）进行了 token 处理，利用集束搜索（Beam Search），集束宽为 8，得到 token 表示的预测文本（token 处理即分词处理，之后进行词嵌入，自然语言处理利用词嵌入来将词向量化表示）。至此，实现语音转文本过程。

提升表现

比较训练集扩增前后训练出的 LAS 模型在测试集上的词错误率（Word Error Rate，WER ），不改变任何超参数，测试结果错词率显著降低，可见无需调参，扩增训练集效果明显。

图 | 扩增训练集与否的两个模型在数据集 LibriSpeech 上有噪音测试集和无噪音测试集的表现。（来源：Daniel S. Park，et al/ Google Brain）

对于过拟合问题，虽然训练集上利用扩增的模型表现与无扩增相差并不是很多，但在开发集上，WER 有明显的降低，说明模型泛化能力提升，可以预测未训练过的数据，过拟合得到解决。

图 | 扩增训练集与否的两个模型在训练集、有噪音开发集和无噪音开发集集上的表现（来源：Daniel S. Park，et al/ Google Brain）

这个模型啥水平？

1）优于现有最佳 ASR 模型

扩增训练集后调整模型参数以及适当训练迭代，使得模型表现达到最佳，在数据集 LibriSpeech 960h 和 Switchboard 300h 有无噪音的测试集上，扩增模型表现与现有最佳模型的错词率结果对比发现，扩增方法明显取胜。无论是传统 ASR 模型（如 HMM）还是端到端的神经网络模型（如 CTC/ASG），采用 SpecAugment 方法训练后的 LAS 模型表现都明显更好。

图 | LibriSpeech 960h 和 Switchboard 300h 数据集上不同模型的表现（来源：Daniel S. Park，et al/ Google Brain）

2）优于利用语言模型的 ASR 模型

引入利用大量纯文本语料库训练的语言模型（Language Models，LMs）能够使 ASR 模型效果大大提升，因为可以用语料库中的大量信息使模型功能更强，这也是 ASR 任务的一个通用做法。语言模型一般是独立训练的，使用 ASR 模型时需要占据一定内存进行存储，这使其难以在小型设备上应用。而 SpecAugment 模型的优势是，即使不利用语言模型也优于现有引入语言模型的 ASR 模型。这意味着语言模型的大内存问题，有了解决之路。

图 | LibriSpeech 960h 和 Switchboard 300h 数据集上不同 ASR 模型引入语言模型有否的表现（来源：Daniel S. Park，et al/ Google Brain）

总结，利用改变频谱图的方式扩增音频数据样本，训练出的 ASR 模型表现极佳，优于现有最好模型，甚至超过引入语言模型，很好用。

-End-

参考：

语料库：

http://www.openslr.org/12/

https://catalog.ldc.upenn.edu/LDC97S62

文献：

https://arxiv.org/pdf/1508.01211.pdf

https://arxiv.org/abs/1904.08779