利用聲學與文脈分析於多語語音辨識單元之產生

Generation of Phonetic Units for Multilingual Speech Recognition Based on Acoustic and Contextual Analysis

由於全球化趨勢之盛行，多語語音常出現於會議紀錄及一般對話等方面。對於會議紀錄及對話系統而言，多語語音自動辨識日顯重要。在多語語音自動辨識中，辨識單元集之定義及選取，將影響辨識之效率及效能。本論文針對中英文利用IPA定義之多語語音辨識單元集，考慮前後文相關之三連音模型，並進一步透過對聲學相似度與前後文脈分析，決定一組精簡有效的多語辨識單元。在相似度矩陣分析中，首先我們利用事後機率統計，建立聲學相似度矩陣，然後，基於發音共聲現象的考量，分析語音發音上之相似度。本論文更引入語言超空間相似度之觀念，計算三連音辨識單元前後文脈之關係，建立語言超空間相似度矩陣。最後利用資料融合技術，合併聲學相似度矩陣和語言超空間相似度矩陣，以計算三連音辨識單元間之距離，而後利用向量量化群集方法合併相似性高之三連音辨識單元，建立一個有效的多語語音辨識單元集。本論文以EAT中英雙語語料庫作實驗評量，比較所提方法與之前研究方法上的差異與改進。由實驗結果得知，本論文所提出利用聲學相似度與前後文脈分析於多語語音辨識單元集之產生，可提高其辨識效能。