1、在自然語言處理領域,高質(zhì)量的標注語料在信息處理中有重要的應用價值,語料庫質(zhì)量的好壞直接影響到中文信息處理的各項后續(xù)工作的展開。對標注語料的高質(zhì)量精加工要求也迫切至極。現(xiàn)有的語料標注問題比較多,傳統(tǒng)的手工校對方式已經(jīng)不能適應建設高質(zhì)量、大規(guī)模語料庫的要求。致力于該問題,本文做了如下工作:
　　 1.對于自動分詞和詞性標注中的歧義消解問題,包括組合型、交集型、兼類詞歧義,利用CRF、RFR SUM、NaiveBayes、基于知網(wǎng)的語

2、義相似度模型等,在傳統(tǒng)的詞形、詞性特征的基礎上,探索增加更多的語言學特征,并采用多分類器集成的方法進行歧義的消解處理。
　　 2.對于新詞識別,我們利用基于構(gòu)詞規(guī)則和基于語料統(tǒng)計相結(jié)合的方法,在大規(guī)模語料中自動抽取新詞。
　　 3.對于命名實體的處理,采用程序抽取為主,人工干預為輔的方法,對語料中候選的人名、地名等進行改正處理,并結(jié)合中文用語的特點,進行了基于語篇的命名實體識別處理。此外,采用基于知識庫和相關(guān)領域常用詞,

3、如天氣領域等典型詞作為基本種子來進行擴散處理等諸多方法,進行了成語、天氣預報用語、時間短語、數(shù)量短語等的校對標注處理。
　　 4.在上述加工方法的基礎上,建立了一個人機交互式語料精加工平臺,大大減輕了人工標注的負擔以實現(xiàn)自動化的高效語料加工。
　　 為了驗證該平臺的實用性,對2001～2004年的《人民日報》語料和1991～2004年的《新華社》語料進行了精加工處理。處理結(jié)果顯示,本文的方法可以有效地提高語料加工的質(zhì)量,