一種主要使用語料庫標記進行歧義校正的、最大匹配漢語自動分詞算法設計

漢語自動分詞是中文信息處理中特有的一個困難問題。大陸在這方面所做的工作通常採用最大匹配法加規則歧異校正模式，正切率98%左右；海外以詞頻為基點的統計計算模型的正切率為95%。本文介紹的分詞算法設計主要採用最大匹配法，但除了語法規則之外，主要使用了語料庫語言學的標記（tag）並輔以詞頻信息進行概率歧異校正，以期在最大匹配法的基礎上取得進一步的成績。