1、近幾十年來，機(jī)器學(xué)習(xí)快速發(fā)展，它已被廣泛應(yīng)用在許多領(lǐng)域，如數(shù)據(jù)挖掘、人工智能和醫(yī)療保健等。作為機(jī)器學(xué)習(xí)中最重要的學(xué)科之一，回歸問題的研究已受到科學(xué)界和工業(yè)界的高度關(guān)注。
　　非線性回歸不像線性回歸那么簡單、易于處理，它代表了一項(xiàng)非常具有挑戰(zhàn)性的研究課題，因?yàn)樗枰谝蜃兞颗c多個特征屬性之間構(gòu)建復(fù)雜的非線性變化關(guān)系。非線性回歸問題現(xiàn)被視為機(jī)器學(xué)習(xí)領(lǐng)域最重要的研究課題之一，其中模型的性能改進(jìn)是一個重要的研究點(diǎn)。在已有的文獻(xiàn)中，主要是通

2、過對模型結(jié)構(gòu)、參數(shù)估計(jì)方法、及參數(shù)預(yù)處理方法的選擇這幾個方面來實(shí)現(xiàn)模型的性能最優(yōu)。
　　邏輯積網(wǎng)絡(luò)(Logistic Product Basis Network，LPBN)是最近提出的一個優(yōu)秀的非線性回歸工具，它比標(biāo)準(zhǔn)的單隱層邏輯感知器具有更深層的網(wǎng)絡(luò)結(jié)構(gòu)。單層邏輯感知器是邏輯函數(shù)的線性組合，用梯度下降法進(jìn)行優(yōu)化，而梯度下降(GradientDescent，GD)類型的算法在用標(biāo)準(zhǔn)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練時計(jì)算量大、收斂速度慢。

3、由于邏輯積網(wǎng)絡(luò)模型的參數(shù)比單層感知器多很多，這使得對訓(xùn)練邏輯積網(wǎng)絡(luò)而言，情況會變得更加糟糕。
　　本論文對非線性模型的構(gòu)建問題進(jìn)行了研究，主要包括兩個方面:模型結(jié)構(gòu)和參數(shù)估計(jì)方法。并在正交最小二乘法(Orthogonal Least Square，OLS)上對傳統(tǒng)的邏輯積網(wǎng)絡(luò)做了改進(jìn)。OLS被用來把LPBN模型分解為多個子模型，并利用貪心算法逐項(xiàng)優(yōu)化模型，因此在每次的迭代中，只需要優(yōu)化一個參數(shù)很少的模型。重復(fù)加權(quán)推進(jìn)搜索(Repe

4、ated Weighted Boosting Search，RWBS)算法被用于調(diào)整每一個子模型的參數(shù)，它簡單有效、易于編程和算法調(diào)整，而且它還是一個全局搜索算法。
　　實(shí)驗(yàn)所用數(shù)據(jù)來自于人工模擬和從UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫中下載的真實(shí)數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，與支持向量回歸機(jī)(Support Vector Regression，SVR)、相關(guān)向量機(jī)(Relevance Vector Machine，RVM)、標(biāo)準(zhǔn)的LPBN相比較，本文的