基于海量文本的語義構(gòu)建方法研究.pdf_第1頁
已閱讀1頁,還剩133頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和信息量的急劇增加,如何快速、有效的獲取信息越來越受到人們的關(guān)注。傳統(tǒng)的自然語言處理方法已經(jīng)逐漸不能人們的要求,如何使用智能化的手段對信息進(jìn)行加工和處理已經(jīng)成為一個十分重要的問題。
  對文本信息進(jìn)行自動化處理的基礎(chǔ)和關(guān)鍵是理解文本的語義,即使用形式化的語義結(jié)構(gòu)表示文本的含義,并且這種語義結(jié)構(gòu)應(yīng)該是可以被計算機(jī)所理解和處理的。目前將文本轉(zhuǎn)化為語義結(jié)構(gòu)的方法主要有基于專家知識的方法和基于數(shù)據(jù)統(tǒng)計的方法兩種,但由于

2、自然語言文本和形式化的語義結(jié)構(gòu)之間存在巨大的差距,因此難以實現(xiàn)良好的轉(zhuǎn)換效果。
  為了避免直接從自然語言映射到語義結(jié)構(gòu)十分困難的問題,研究人員提出了以“謂詞-論元結(jié)構(gòu)”為核心的淺層語義分析理論,又稱語義角色標(biāo)注。該理論著眼于詞匯層面,主要目的是建立語句中各詞匯或短語等句法成分之間的語義關(guān)系。淺層語義分析可以被看作是一種通用的語義抽取技術(shù),并且可以作為深層語義分析的基礎(chǔ),因此得到了快速的發(fā)展,并被廣泛應(yīng)用于自然語言處理的各個相關(guān)領(lǐng)

3、域中。
  本文在以上成果的基礎(chǔ)上,對基于淺層語義分析的海量文本語義構(gòu)建方法進(jìn)行了研究,主要包括以下幾方面工作:
  1.提出了一個基于海量文本的語義構(gòu)建框架。該框架以“謂詞-論元結(jié)構(gòu)”為核心,通過語義角色歸納實現(xiàn)了對海量文本的語義角色標(biāo)注,然后根據(jù)“謂詞-論元結(jié)構(gòu)”與語義結(jié)構(gòu)之間的映射關(guān)系,實現(xiàn)了文本的深層語義構(gòu)建。
  2.提出了一種基于多特征的語義角色歸納算法。該方法將語義角色歸納視為一個聚類問題,對于給定的謂詞

4、,首先從大規(guī)模文本中找到給定謂詞的所有論元,然后根據(jù)論元的語法結(jié)構(gòu)復(fù)雜程度將論元集合劃分為簡單論元和復(fù)雜論元兩種類型,并針對不同類型論元,使用不同的特征進(jìn)行對論元集合進(jìn)行劃分。然后使用一種經(jīng)過改進(jìn)的層次聚類算法對劃分結(jié)果進(jìn)行進(jìn)一步合并,最終聚類所得的每一個簇代表謂詞的一個語義角色。該方法不需要人工標(biāo)注的數(shù)據(jù),能夠自動從大規(guī)模文本中得到各謂詞的“謂詞-論元結(jié)構(gòu)”。
  3.提出了一種基于語義相似度的謂詞-論元結(jié)構(gòu)與本體的映射算法。本

5、文使用本體作為文本語義的描述方式。面向語義構(gòu)建的本體大多以事件為核心進(jìn)行組織。本文提出的方法通過計算“謂詞-論元結(jié)構(gòu)”與本體中謂詞相關(guān)事件的語義相似度,建立了“謂詞-論元結(jié)構(gòu)”到本體中事件的映射關(guān)系,這一映射關(guān)系將語言層面的內(nèi)容與語義層面的內(nèi)容聯(lián)系在一起。對于文本來說,在經(jīng)過句法分析和語義角色標(biāo)注后,可以通過該映射關(guān)系轉(zhuǎn)化為語義結(jié)構(gòu),形成一個完成的語義構(gòu)建過程。
  4.提出了一種語義構(gòu)建結(jié)果的自評價機(jī)制。針對不同的語義構(gòu)建算法對

6、不同文本適用能力不同的現(xiàn)象,本文提出了一種自評價機(jī)制。該機(jī)制從三個層面對整個語義構(gòu)建過程中不同階段的結(jié)果進(jìn)行評價,給出了結(jié)果的可信度的度量辦法。利用該可信度,可以從結(jié)果集中篩選出相對正確的部分。
  本文提出海量文本語義構(gòu)建方法一方面利用海量文本的規(guī)模優(yōu)勢,實現(xiàn)了文本語義角色的無監(jiān)督標(biāo)注,克服了有監(jiān)督的方法需要大量訓(xùn)練數(shù)據(jù)的問題,使得語義標(biāo)注可以在不同領(lǐng)域和語言之間方便的擴(kuò)展。另一方面,通過“謂詞-論元結(jié)構(gòu)”到本體映射關(guān)系的自動建

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論