1、序列標(biāo)注問題是自然語言處理領(lǐng)域的基本問題之一，可以分為兩類：?jiǎn)涡蛄袠?biāo)注問題，即預(yù)測(cè)一個(gè)輸出標(biāo)簽序列的序列標(biāo)注問題；多序列標(biāo)注問題，即預(yù)測(cè)多個(gè)輸出標(biāo)簽序列的序列標(biāo)注問題。對(duì)于多序列標(biāo)注問題，一般采用級(jí)聯(lián)學(xué)習(xí)方法來處理，這種方法將多序列標(biāo)注問題當(dāng)作多個(gè)單序列標(biāo)注問題來逐一進(jìn)行處理，往往存在錯(cuò)誤傳遞、信息無法共享等缺點(diǎn)。而聯(lián)合學(xué)習(xí)方法卻能有效克服以上不足，它對(duì)多序列標(biāo)注問題包含的多個(gè)單序列標(biāo)注問題同時(shí)進(jìn)行處理，能夠促進(jìn)問題間的信息交互。本文探

2、析了不同類型的序列標(biāo)注問題，對(duì)單序列標(biāo)注方法和聯(lián)合學(xué)習(xí)方法進(jìn)行了研究，其中聯(lián)合學(xué)習(xí)方法是本文的研究重點(diǎn)。具體的研究?jī)?nèi)容包括：
　　第一、傳統(tǒng)序列標(biāo)注方法一般采用預(yù)測(cè)單元的鄰近信息作為模型的特征，較少考慮序列中的全局信息，使得預(yù)測(cè)結(jié)果不夠準(zhǔn)確。針對(duì)這一問題，本文提出融合全局信息的級(jí)聯(lián)重排序方法。對(duì)于單序列標(biāo)注問題，級(jí)聯(lián)重排序方法引入包含序列全局信息和句法信息的模型，首先，采用線性重排序方法將這些模型進(jìn)行結(jié)合；然后，從這些模型的預(yù)測(cè)結(jié)

3、果中提取特征來訓(xùn)練結(jié)構(gòu)化感知器重排序方法的模型；最后，將線性重排序方法和結(jié)構(gòu)化感知器重排序方法進(jìn)行級(jí)聯(lián)來選擇最優(yōu)標(biāo)簽序列。對(duì)于多序列標(biāo)注問題，級(jí)聯(lián)重排序方法能夠使用單序列標(biāo)注問題的全局信息和多個(gè)問題的信息，本文稱之為級(jí)聯(lián)重排序聯(lián)合學(xué)習(xí)方法。實(shí)驗(yàn)結(jié)果表明：級(jí)聯(lián)重排序方法提高了漢語音字轉(zhuǎn)換問題和漢語語音識(shí)別問題的識(shí)別準(zhǔn)確率，優(yōu)于單個(gè)重排序方法；級(jí)聯(lián)重排序聯(lián)合學(xué)習(xí)方法在英語詞性標(biāo)注和組塊分析問題上取得了優(yōu)于級(jí)聯(lián)學(xué)習(xí)方法和標(biāo)簽值結(jié)合方法的預(yù)測(cè)性

4、能。
　　第二、與單一學(xué)習(xí)方法相比，統(tǒng)一解析方法能通過在解析過程中將多個(gè)單一模型進(jìn)行結(jié)合來提高預(yù)測(cè)性能。針對(duì)多序列標(biāo)注問題，本文提出有監(jiān)督和半監(jiān)督的統(tǒng)一解析聯(lián)合學(xué)習(xí)方法。有監(jiān)督統(tǒng)一解析聯(lián)合學(xué)習(xí)方法在解析過程中通過概率加權(quán)的方式來結(jié)合多個(gè)聯(lián)合學(xué)習(xí)模型。在半監(jiān)督統(tǒng)一解析聯(lián)合學(xué)習(xí)方法中，首先采用兩個(gè)聯(lián)合學(xué)習(xí)模型對(duì)未標(biāo)注語料進(jìn)行標(biāo)注，然后將兩個(gè)模型預(yù)測(cè)的標(biāo)簽序列相同的語料作為新訓(xùn)練語料，最后使用原訓(xùn)練語料和新訓(xùn)練語料來訓(xùn)練半監(jiān)督模型。將統(tǒng)

5、一解析聯(lián)合學(xué)習(xí)方法應(yīng)用于中文分詞和詞性標(biāo)注問題，實(shí)驗(yàn)結(jié)果表明：有監(jiān)督統(tǒng)一解析聯(lián)合學(xué)習(xí)方法優(yōu)于單一有監(jiān)督學(xué)習(xí)方法，半監(jiān)督統(tǒng)一解析聯(lián)合學(xué)習(xí)方法優(yōu)于目前其他的半監(jiān)督學(xué)習(xí)方法。
　　第三、當(dāng)多序列標(biāo)注問題中各個(gè)單序列標(biāo)注問題的訓(xùn)練集不一致時(shí)，不能采用級(jí)聯(lián)重排序聯(lián)合學(xué)習(xí)方法和統(tǒng)一解析聯(lián)合學(xué)習(xí)方法來解決。針對(duì)這一問題，本文提出一種迭代聯(lián)合學(xué)習(xí)方法，使多序列標(biāo)注問題中的各個(gè)單序列標(biāo)注問題通過特征傳遞的方式來交互信息。在迭代過程中，對(duì)于每個(gè)單序列

6、標(biāo)注問題，首先采用結(jié)構(gòu)化感知器方法將基本模型和包含其他問題信息的模型進(jìn)行集成，然后再采用該集成學(xué)習(xí)模型進(jìn)行預(yù)測(cè)。英文詞性標(biāo)注和組塊分析問題、中文分詞和詞性標(biāo)注與名實(shí)體識(shí)別問題的實(shí)驗(yàn)結(jié)果表明了迭代聯(lián)合學(xué)習(xí)方法的有效性。
　　第四、傳統(tǒng)中文序列標(biāo)注方法采用字詞等離散信息作為特征來訓(xùn)練模型，存在模型規(guī)模龐大和需要人工特征選擇的不足。針對(duì)這個(gè)問題，本文首先提出一種基于詞邊界字向量的深度神經(jīng)網(wǎng)絡(luò)模型，并用于解決中文單序列標(biāo)注問題。在模型的字

7、向量表示層，將每個(gè)漢字輸入表示為詞邊界字向量的組合；在模型的標(biāo)簽推導(dǎo)層，采用二階標(biāo)簽轉(zhuǎn)移矩陣來加強(qiáng)鄰近標(biāo)簽之間的約束。然后，采用深度神經(jīng)網(wǎng)絡(luò)聯(lián)合學(xué)習(xí)方法來處理中文多序列標(biāo)注問題，該方法通過共享多個(gè)單序列標(biāo)注模型的字向量表示層來促進(jìn)問題間的信息交互。中文分詞和詞性標(biāo)注與中文名實(shí)體識(shí)別的實(shí)驗(yàn)結(jié)果顯示：基于詞邊界字向量的深度神經(jīng)網(wǎng)絡(luò)模型要優(yōu)于基于基本字向量的模型，而采用深度神經(jīng)網(wǎng)絡(luò)聯(lián)合學(xué)習(xí)方法能進(jìn)一步提高模型的預(yù)測(cè)性能。最后，通過實(shí)驗(yàn)對(duì)論文提