遞迴式類神經網路在語言模式處理上的研究

The Study of Recurrent Neural Networks for Language Modeling

在語音辨認及音韻分析處理，遞迴式顯神經網路（recurrent neural network）已被廣泛利用並得到不錯的結果，它的特性是將前一時段的輸出層或隱藏層的輸出以延遲的方式與下一時段之輸入訊號一併輸入網路進行學習，因此可以有效利用時間軸上的資訊。本文則嘗試利用此種類神經網路架構進行語言模式的處理，實驗的語料是採用漢語平衡語料庫，而由於考慮參數量及複雜度，因此所有訓練及測試都是直接在詞類串列上進行。實驗的進行是以目前詞之詞類作為輸入，而以下一詞之詞類為目標值，對網路的各項連接加權值作最佳化的調整。對於此種方法所得結果的評估，一方面是和詞類雙連文法（part-of-speech bigram）及詞類三連文法（part-of-speech trigram）比較，觀察其相似程度；另一方面則是觀察真實詞類串列和神經網路預測值之差異藉以判斷其能否協助決定子句段落的位置。實驗結果顯示利用類神經網路可以極類似於雙連文法及三連文法，除此以外此方法也有助於文句分析以決定子句段落位置。