遞回式類神經網路語言模型應用額外資訊於語音辨識之研究

Recurrent Neural Network-based Language Modeling with Extra Information Cues for Speech Recognition

近年來類神經網路興起，其運用在語言模型領域有不錯的成效，如前饋式類神經網路語言模型。不同於傳統N連語言模型，前饋式類神經網路語言模型是將詞序列映射至連續空間來估測下一個詞出現的機率，以解決資料稀疏的問題。此外，更有學者使用遞迴式類神經網路來建構語言模型，期望藉由遞迴的方式將歷史資訊儲存起來，進而獲得長距離的資訊。本論文根據遞迴式類神經網路的基礎，使用關聯資訊來捕捉長距離資訊：另外，也探討了根據語句的特性來動態地調整語言模型。實驗結果顯示，使用額外資訊於遞迴式類神經網路語言模型對於大詞彙連續語音辨識的效能有相當程度的提昇。