1、隨著web2.0的到來，數(shù)據(jù)正在以不可想象的速度快速增長，大數(shù)據(jù)時(shí)代已經(jīng)來臨。海量數(shù)據(jù)中蘊(yùn)含著巨大的價(jià)值，高效的海量數(shù)據(jù)管理，強(qiáng)大的海量數(shù)據(jù)檢索分析處理能力，是大數(shù)據(jù)時(shí)代有力的武器。如何快速索引、檢索數(shù)據(jù)，在大數(shù)據(jù)時(shí)代具有重大價(jià)值和意義。
　　本文首先綜述了全文索引相關(guān)技術(shù)，分析了全文索引在線更新策略及其在分布式處理領(lǐng)域的技術(shù)現(xiàn)狀。本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)通用的、可擴(kuò)展的分布式索引框架，在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)高可用、易擴(kuò)展、高性能

2、的分布式全文索引系統(tǒng)。本文的分布式全文索引系統(tǒng)以流水線的方式創(chuàng)建倒排索引，支持索引的在線創(chuàng)建、刪除、更新和分布式查詢，提供高吞吐的索引服務(wù)和高可用的查詢服務(wù)。
　　不同的應(yīng)用對(duì)數(shù)據(jù)的新鮮度有不同的要求，本文分析了分布式全文索引系統(tǒng)中的數(shù)據(jù)新鮮度問題，提出了一種準(zhǔn)實(shí)時(shí)索引機(jī)制，并對(duì)該機(jī)制的關(guān)鍵技術(shù)進(jìn)行了詳細(xì)的介紹和說明。本文的分布式全文索引系統(tǒng)同時(shí)支持準(zhǔn)實(shí)時(shí)、增量和批量索引任務(wù)，在“索引庫”層面對(duì)不同應(yīng)用的數(shù)據(jù)新鮮度和性能進(jìn)行控制。