1、大數據時代，搜索引擎已經成為人們獲取信息和進行信息化管理的重要工具，Lucene作為當前最為流行的開源搜索工具之一，已經應用到很多領域。但是隨著數據量的增長Lucene會遇到很多問題，大數據量索引產生的大索引文件會在索引創(chuàng)建、索引優(yōu)化合并以及搜索等操作時暴露出很多問題，而且大索引也影響著搜索的實時性。這些隨著數據量增大而帶來的一系列問題一直以來都困擾著開發(fā)人員，對于Lucene也只是一個搜索引擎工具包，在實際應用中特別是大數據量情況下的

2、應用中需要我們做的還有很多很多。本文就是圍繞這些問題而展開，并提出了一套有效解決以上問題的方案。通過不斷的學習和實踐，我們總結了影響大數據量索引和搜索性能主要的原因是大索引文件以及索引碎片的共同存在，造成增量索引、索引合并以及搜索加載成本太高和對大量數據進行索引和合并時遇到的磁盤IO瓶頸和內存的過度消耗。
　　針對以上問題，我們主要從三個方面入手以解決大數據量下索引和搜索的問題：第一，針對單索引情況采用緩存技術，內存索引目錄以及復

3、用IndexWriter和IndexSearch對象等方法減少磁盤IO并提高搜索加載速度；第二，我們提出了一種多文件存儲的主索引局部優(yōu)化合并的策略來解決因大索引文件和索引碎片共存而帶來的索引增量和合并成本過高問題；第三，將索引增量與索引更新分開處理，分索引文件存儲進行內部優(yōu)化，以減少主索引合并優(yōu)化頻率，并為實時性搜索提供支持。
　　考慮到實際應用中的實時性要求和傳統(tǒng)實時性搜索解決方案在大數據量情況下存在的問題，我們提出了一種新的實