1、本文以音字轉(zhuǎn)換問題為背景，以最大熵模型為基本框架，對(duì)漢語語言模型進(jìn)行研究。音字轉(zhuǎn)換是指由計(jì)算機(jī)自動(dòng)地將連續(xù)的拼音串轉(zhuǎn)換成相應(yīng)的漢字串，正確的音字轉(zhuǎn)換是解決鍵盤輸入、語音識(shí)別、語音合成等等自然語言應(yīng)用問題的關(guān)鍵。音字轉(zhuǎn)換問題源于拼音與漢字并非一一對(duì)應(yīng)。本文通過建立最大熵語言模型，解決音字轉(zhuǎn)換中的歧異問題，實(shí)現(xiàn)漢語的音字轉(zhuǎn)換。 本文首先對(duì)語言模型進(jìn)行了研究。語言模型主要分為基于規(guī)則的語言模型和基于統(tǒng)計(jì)的語言模型。一個(gè)基于統(tǒng)計(jì)的語言模

2、型是把自然語言被看作是一個(gè)隨機(jī)過程，其中每一個(gè)語言單位，包括詞、句子或篇章等，均被看作是帶有某種概率分布的隨機(jī)變量，計(jì)算機(jī)通過統(tǒng)計(jì)語言模型的概率參數(shù)，可以估計(jì)出自然語言中每個(gè)句子出現(xiàn)的可能性?；谝?guī)則的語言模型對(duì)一個(gè)輸入的文字串，借助于文法規(guī)則，推導(dǎo)出該文字串的語法結(jié)構(gòu)，從而判斷出該文字串是否符合文法。 在分析了語言模型的基礎(chǔ)上，本文采用最大熵方法建立自然語言模型。最大熵方法是統(tǒng)計(jì)方法和規(guī)則方法的結(jié)合：它采用統(tǒng)計(jì)的方法建立模型，

3、使求得的模型滿足語言特征的統(tǒng)計(jì)分布；同時(shí)，最大熵語言模型能夠把各種異構(gòu)的語言特征巧妙地結(jié)合在一個(gè)統(tǒng)一的框架之下，最大熵方法豐富的特征選擇方式，使規(guī)則模型所依賴的語法自然而然的融入了語言模型之中。最大熵方法的建模原則是對(duì)已知的事實(shí)建模，對(duì)未知的情況不作任何假設(shè)。建立最大熵語言模型時(shí)，把反映語言知識(shí)的語言特征作為模型的約束條件，使建立的語言模型與已知的語言知識(shí)一致，對(duì)未知的語言知識(shí)，使其盡可能均勻的分布。 本文還嘗試將音字轉(zhuǎn)換模塊加