1、在當前的互聯(lián)網(wǎng)時代，存在著數(shù)據(jù)增長迅速，然而信息龐雜，用戶想要從海量數(shù)據(jù)中搜索有用的信息費時費力的問題。用戶需要的是更詳細、細分的信息，針對這種情況，本文提出了一種基于主題的數(shù)據(jù)API檢索平臺。
　　本文設(shè)計的分布式、可擴展的基于主題的數(shù)據(jù)API檢索平臺，首先將海量的互聯(lián)網(wǎng)信息采集到子系統(tǒng)中，然后對數(shù)據(jù)進行分類，對每一類的數(shù)據(jù)通過檢索的方式提供給用戶，用戶通過選取自己感興趣的信息來消費平臺中的數(shù)據(jù)。為了提供這樣一個數(shù)據(jù)API檢索平

2、臺，首先是能夠?qū)⒋罅康木W(wǎng)頁抓取下來，并且需要此功能支持水平擴展和穩(wěn)定性。此外為了減少人工成本，又能有效的提取網(wǎng)頁中的信息，本文提出了半自動化的基于模板的網(wǎng)頁信息提取方法。
　　面對海量的互聯(lián)網(wǎng)文檔數(shù)據(jù)，需要提供一種合理的方式對數(shù)據(jù)進行分類，以便用戶有針對性的選擇對自己有用的數(shù)據(jù)。為此，本文設(shè)計了基于主題的數(shù)據(jù)分類和檢索系統(tǒng)。通過基于LDA主題模型來推斷文檔中的主題分布，然后根據(jù)主題分布建立相應(yīng)的API主題和相應(yīng)的API-Key?？?/p>