1、截止目前企業(yè)面向的零售戶量已經(jīng)突破900萬，隨著信息化和數(shù)據(jù)化的加深，采集零售戶數(shù)據(jù)和信息也是勢在必行的。面對900萬的用戶量，隨之引起問題的是服務(wù)器的訪問量急劇上升，數(shù)據(jù)量呈爆炸式增長。以企業(yè)目前的服務(wù)器等硬件設(shè)備已經(jīng)無法滿足高并發(fā)、大數(shù)據(jù)的需求。如果只是增加多臺服務(wù)器組成服務(wù)器集群，提高硬件、軟件的性能，來解決大量用戶并發(fā)請求和大數(shù)據(jù)處理的問題，這顯然并不是很好的辦法。
　　本文通過分析和對比傳統(tǒng)的數(shù)據(jù)采集模式和企業(yè)業(yè)務(wù)類型，

2、設(shè)計了一種基于移動端的數(shù)據(jù)采集模式。并詳細(xì)的分析了該數(shù)據(jù)采集模型，為了滿足企業(yè)的要求和用戶的需求，針對新型采集模式面對的高并發(fā)、大數(shù)據(jù)處理的問題，進(jìn)一步分析和研究了負(fù)載均衡調(diào)度策略，并根據(jù)基于高并發(fā)的特征和調(diào)度算法的特點，在多時間片輪詢調(diào)度機制的基礎(chǔ)上提出了基于任務(wù)請求預(yù)測的動態(tài)調(diào)整負(fù)載均衡算法。并通過分析多維Markov鏈和排隊論對算法進(jìn)行進(jìn)一步的調(diào)整和改進(jìn)，經(jīng)過實驗驗證，該算法較好地提高了整體系統(tǒng)的性能和負(fù)載。具體研究內(nèi)容如下:

3、r>　　1)本文通過對比傳統(tǒng)數(shù)據(jù)采集方法，根據(jù)目前企業(yè)的業(yè)務(wù)類型和數(shù)據(jù)請求特征，設(shè)計了一種基于分布式策略的新型數(shù)據(jù)采集模型，該模型將APP和微信企業(yè)號作為數(shù)據(jù)采集的入口，并且組建服務(wù)器集群對高并發(fā)業(yè)務(wù)進(jìn)行調(diào)度處理。使用基于Hadoop平臺的策略創(chuàng)建了數(shù)據(jù)中心，并對數(shù)據(jù)進(jìn)行了分析和處理。其中對全國零售戶請求的業(yè)務(wù)類型和提交的數(shù)據(jù)性質(zhì)，對該模型進(jìn)行了初步優(yōu)化處理。并通過分析模型系統(tǒng)中的層次結(jié)構(gòu)和技術(shù)要點，提出了在高并發(fā)環(huán)境下，如何高效地調(diào)度

4、任務(wù)請求和調(diào)整服務(wù)器節(jié)點的負(fù)載的問題，并在后文進(jìn)行了分析和解決。
　　2)深入研究了基于CPU和MEM的調(diào)度算法，根據(jù)實際任務(wù)請求的特征，改進(jìn)并提出了基于預(yù)測機制的負(fù)載均衡調(diào)度算法。各個服務(wù)器節(jié)點會收集其它節(jié)點的負(fù)載情況，并預(yù)測網(wǎng)絡(luò)請求的業(yè)務(wù)類型和到達(dá)率，動態(tài)的調(diào)整請求的分發(fā)，減少請求的等待時間，并縮短服務(wù)器的閑置時間，達(dá)到資源的有效利用，最終使系統(tǒng)的整體負(fù)載達(dá)到均衡狀態(tài)。通過實驗驗證，該算法在縮短響應(yīng)時間方面具有良好的性能，并且

5、比基于CPU和MEM的調(diào)度算法性能更好。
　　3)針對基于預(yù)測機制的負(fù)載均衡算法本身存在的不足，利用排隊論的知識，對網(wǎng)絡(luò)服務(wù)器方面的負(fù)載進(jìn)行了優(yōu)化，合理的安排任務(wù)請求的等待、處理和掛起。通過分析多維Markov的機制，對后續(xù)網(wǎng)絡(luò)請求的特征和聯(lián)系進(jìn)行預(yù)測。通過分析多時間片輪詢策略，提出了基于預(yù)測的Markov排隊模型。經(jīng)過實驗的驗證和分析，該模型較好的協(xié)調(diào)各服務(wù)器節(jié)點的負(fù)載狀況，合理的分發(fā)后續(xù)到達(dá)的網(wǎng)絡(luò)請求，減小響應(yīng)時間。