一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法技術(shù)

本發(fā)明專利技術(shù)公開了一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，主要包括以下步驟：OIN前向傳播部分；SVM回歸部分；OIN后向傳播部分；經(jīng)過多次訓(xùn)練后最終得到一個優(yōu)化的OIN/SVM混合模型，在測試階段，將測試樣本輸入到優(yōu)化后的OIN/SVM混合模型中，就得到預(yù)測結(jié)果，從而實現(xiàn)對樣本的分類的預(yù)測或回歸的預(yù)測。本發(fā)明專利技術(shù)采用最新設(shè)計的OIN人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，該方法可以大大提高傳統(tǒng)后播算法的收斂性。

【技術(shù)實現(xiàn)步驟摘要】

本專利技術(shù)涉及數(shù)據(jù)分析方法，尤其涉及一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。
技術(shù)介紹
人工神經(jīng)網(wǎng)絡(luò)(ANN, Artificial Neural Network)是一種優(yōu)化的機(jī)器學(xué)習(xí)方法，并被廣泛應(yīng)用到各種數(shù)據(jù)分析領(lǐng)域中，來替代或補(bǔ)充基于多項式的回歸分析和分類。現(xiàn)有的神經(jīng)網(wǎng)絡(luò)應(yīng)用只能限定在含有少量設(shè)計參數(shù)的簡單設(shè)計中，其用于建模的所需數(shù)據(jù)集規(guī)模應(yīng)隨設(shè)計參數(shù)的數(shù)量呈幾何或指數(shù)級增加，因此，一個神經(jīng)元分析需要具有大量充分的密度分布和實驗數(shù)據(jù)，而另一方面，計算成本也相應(yīng)增加，而在設(shè)計空間中的大量數(shù)據(jù)的低效利用也可能導(dǎo)致計算成本的過度浪費。利用人工神經(jīng)網(wǎng)絡(luò)ANN來分析一個物理對象，優(yōu)化在特定物理環(huán)境對象的反應(yīng)，是非常常見的方法。人工神經(jīng)網(wǎng)絡(luò)ANN適合于多維數(shù)據(jù)的插補(bǔ)并提供合理的數(shù)學(xué)模型，即對現(xiàn)實的物理對象用復(fù)雜和精確的一系列數(shù)值解進(jìn)行表達(dá)和優(yōu)化。人工神經(jīng)網(wǎng)絡(luò)ANN尤其適合于需要滿足多個設(shè)計條件的情況。在人工神經(jīng)網(wǎng)絡(luò)ANN中，一個前向感知機(jī)人工神經(jīng)網(wǎng)絡(luò)(MLP ANN, MultilayerPerceptron Artificial Neural Network)是一種非線性估計技術(shù)。使用MLP ANN的困難來自于需要對連接權(quán)值進(jìn)行非線性優(yōu)化。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)增大時，訓(xùn)練過程的成本可能非常高。因此，MLP ANN只適合小網(wǎng)絡(luò)，且MLP ANN的優(yōu)化主要是Newton法，這種算法的缺點是得到的優(yōu)化都是局部的，無法實現(xiàn)全局優(yōu)化。另外，某種程度上，MLP ANN采用Sigmoidal函數(shù)作為激活函數(shù)，這種函數(shù)在很多數(shù)據(jù)建模中不一定是最合適的基函數(shù)。為了減少底層函數(shù)和激活函數(shù)間的差異性，一些神經(jīng)網(wǎng)絡(luò)，例如RBF神經(jīng)網(wǎng)絡(luò)，提供了一個從輸入空間到特征空間的非線性轉(zhuǎn)化。這個高維的特征空間可以通過包含特征空間坐標(biāo)的kernel函數(shù)得到。從單變量輸入空間到輸出空間的全部映射就是特征空間的一個超平面。例如，對于一個需要具有線性項和二次項的輸出空間，輸入空間變量可以通過內(nèi)積的kernel函數(shù)模型來得到。這種方法需要具有特征空間中輸入和輸出間的函數(shù)關(guān)系的先驗知識。為了解決人工神經(jīng)網(wǎng)絡(luò)ANN的局部最優(yōu)問題，一種常見的方法是采用支持向量機(jī)SVM的方法。SVM法原本應(yīng)用于統(tǒng)計學(xué)習(xí)理論，現(xiàn)在已經(jīng)被開發(fā)和應(yīng)用到各種分類和回歸問題中。SVM可以很好得解決稀疏訓(xùn)練數(shù)據(jù)集的問題，并且利用高維特征空間來解決非線性分類。另一個SVM的好處是目標(biāo)函數(shù)是凸包的，所以SVM得到的局部最優(yōu)解通常也是全局最優(yōu)解。這一點是多數(shù)神經(jīng)網(wǎng)絡(luò)所不具備的。然而，傳統(tǒng)SVM方法對特征空間，即kernel函數(shù)(如多項式、Gaussian等)的選擇也必須具有先驗知識并預(yù)定義出來，而且當(dāng)訓(xùn)練數(shù)據(jù)集過大時，需要計算成本來劃分子集以實現(xiàn)模型的可用性。現(xiàn)有一種將ANN分析和SVM分析相結(jié)合的混合機(jī)制，可以滿足上述所有的需要。通過這種機(jī)制，學(xué)習(xí)過程不僅不需要提供對非線性函數(shù)的先驗知識來實現(xiàn)非線性分析，而且利用了 SVM實現(xiàn)全局最優(yōu)的特點。但是根據(jù)該機(jī)制描述的輸出是由SVM分類算法直接得到的一個布爾型的類別值，而布爾值在很難應(yīng)用到神經(jīng)網(wǎng)絡(luò)的后向傳播過程中；因此，該機(jī)制并沒有具體指出ANN-SVM是如何進(jìn)行訓(xùn)練并如何實現(xiàn)權(quán)值修正。本專利技術(shù)適用于解決數(shù)據(jù)分析方面的相關(guān)問題，例如，圖像分割中的顏色恒常性問題，即在不同光照影響下的圖像分割問題，現(xiàn)有的圖像分割沒有利用學(xué)習(xí)算法，僅僅利用顏色空間的轉(zhuǎn)換，在復(fù)雜的光照影響下，達(dá)不到理想的要求。
技術(shù)實現(xiàn)思路
本專利技術(shù)的目的就是為了解決上述問題，提出了一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。該方法利用一種優(yōu)化的快速收斂MLP ANN算法一優(yōu)化輸入向量規(guī)格化神經(jīng)網(wǎng)絡(luò)(OIN, optimal input normalization)和SVM回歸算法相結(jié)合,實現(xiàn)多分類和回歸分析，是對現(xiàn)有SVM/ANN的機(jī)制具體實現(xiàn)和優(yōu)化。為了實現(xiàn)上述目的，本專利技術(shù)采用如下技術(shù)方案一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，主要包括以下步驟Step (I):初始化部分，對輸入樣本值進(jìn)行歸一化，產(chǎn)生初始隱含層權(quán)值，并計算出隱含層神經(jīng)元的輸入值，根據(jù)隱含層神經(jīng)元采用的激活函數(shù)得到相應(yīng)的隱含層神經(jīng)元輸出值；Step (2):根據(jù)類別數(shù)M和原始樣本的類別，利用輸出重定向OR建立各個原始樣本相應(yīng)的MLP分類訓(xùn)練的M維理想分類向量；Step (3):根據(jù)類別數(shù)M建立M個SVM回歸分析模型，每個SVM回歸分析模型的輸入向量是Step (I)得到的隱含層神經(jīng)元輸出值，而每個SVM回歸分析模型的理想輸出值是Step (2)建立的M維理想分類向量的其中一個元素；Step (4) SVM回歸訓(xùn)練分別對M個SVM回歸分析模型進(jìn)行訓(xùn)練，得到M個SVM回歸分析訓(xùn)練模型；Step (5):根據(jù)訓(xùn)練后的SVM回歸分析訓(xùn)練模型進(jìn)行SVM回歸預(yù)測；Step (6) :0ΙΝ后向傳播部分。將Step (5)的SVM回歸預(yù)測結(jié)果進(jìn)行組合得到一個新的分類向量，并通過比較M維理想分類向量，采用OIN后向傳播算法對權(quán)值進(jìn)行調(diào)整；Step (7):迭代下一次訓(xùn)練，根據(jù)調(diào)整后的新的隱含層權(quán)值再回到St印(I)中，計算出新的隱含層神經(jīng)元輸入，繼續(xù)Step (2)- (7)，直至訓(xùn)練周期結(jié)束或達(dá)到理想值時結(jié)束；經(jīng)過反復(fù)迭代最終得到一個優(yōu)化的0IN/SVM混合模型。在測試階段，將測試樣本輸入到優(yōu)化后的0IN/SVM混合模型中，就得到預(yù)測結(jié)果，從而實現(xiàn)對樣本的分類的預(yù)測或回歸的預(yù)測。所述St印(I)細(xì)分為如下具體步驟Step (1.1):通過使用正態(tài)分布隨機(jī)函數(shù)初始化隱含層權(quán)值向量Wih，即從第i個到第h個權(quán)值；歸一化所有輸入向量為零均值；Step (1. 2):對每一個輸入樣本計算出其在各個隱含層神經(jīng)元的輸入值并對這些神經(jīng)元輸入值進(jìn)行歸一化處理；Step (1.3):根據(jù)神經(jīng)元的激活函數(shù)計算出各個隱含層神經(jīng)元的輸出值。所述St印(1.2)神經(jīng)元的輸入值的計算為權(quán)利要求1.一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征是，主要包括以下步驟 Step (I):初始化部分，對輸入樣本值進(jìn)行歸一化，產(chǎn)生初始隱含層權(quán)值，并計算出隱含層神經(jīng)元的輸入值，根據(jù)隱含層神經(jīng)元采用的激活函數(shù)得到相應(yīng)的隱含層神經(jīng)元輸出值；Step (2):根據(jù)類別數(shù)M和原始樣本的類別，利用輸出重定向OR建立各個原始樣本相應(yīng)的MLP分類訓(xùn)練的M維理想分類向量； Step (3):根據(jù)類別數(shù)M建立M個SVM回歸分析模型，每個SVM回歸分析模型的輸入向量是Step (I)得到的隱含層神經(jīng)元輸出值，而每個SVM回歸分析模型的理想輸出值是Step(2)建立的M維理想分類向量的其中一個元素； Step (4 ) : SVM回歸訓(xùn)練分別對M個SVM回歸分析模型進(jìn)行訓(xùn)練，得到M個SVM回歸分析訓(xùn)練模型； Step (5):根據(jù)訓(xùn)練后的SVM回歸分析訓(xùn)練模型進(jìn)行SVM回歸預(yù)測； Step (6) :0ΙΝ后向傳播部分；將Step (5)的SVM回歸預(yù)測結(jié)果進(jìn)行組合得到一個新的分類向量，并通過比較M維理想分類向量，采用OIN后向傳播算法對權(quán)值進(jìn)行調(diào)整； Step (7):迭代下一次訓(xùn)練，根據(jù)調(diào)整后的新的隱含層權(quán)值再回到Step (I)中，計算出新的隱含層神經(jīng)本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點】
一種混合SVM回歸算法的OIN神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征是，主要包括以下步驟：Step（1）：初始化部分，對輸入樣本值進(jìn)行歸一化，產(chǎn)生初始隱含層權(quán)值，并計算出隱含層神經(jīng)元的輸入值，根據(jù)隱含層神經(jīng)元采用的激活函數(shù)得到相應(yīng)的隱含層神經(jīng)元輸出值；Step（2）：根據(jù)類別數(shù)M和原始樣本的類別，利用輸出重定向OR建立各個原始樣本相應(yīng)的MLP分類訓(xùn)練的M維理想分類向量；Step（3）：根據(jù)類別數(shù)M建立M個SVM回歸分析模型，每個SVM回歸分析模型的輸入向量是Step（1）得到的隱含層神經(jīng)元輸出值，而每個SVM回歸分析模型的理想輸出值是Step（2）建立的M維理想分類向量的其中一個元素；Step（4）：SVM回歸訓(xùn)練：分別對M個SVM回歸分析模型進(jìn)行訓(xùn)練，得到M個SVM回歸分析訓(xùn)練模型；Step（5）：根據(jù)訓(xùn)練后的SVM回歸分析訓(xùn)練模型進(jìn)行SVM回歸預(yù)測；Step（6）：OIN后向傳播部分；將Step（5）的SVM回歸預(yù)測結(jié)果進(jìn)行組合得到一個新的分類向量，并通過比較M維理想分類向量，采用OIN后向傳播算法對權(quán)值進(jìn)行調(diào)整；Step（7）：迭代下一次訓(xùn)練，根據(jù)調(diào)整后的新的隱含層權(quán)值再回到Step（1）中，計算出新的隱含層神經(jīng)元輸入，繼續(xù)Step（2）?（7），直至訓(xùn)練周期結(jié)束或達(dá)到理想值時結(jié)束；經(jīng)過反復(fù)迭代最終得到一個優(yōu)化的OIN/SVM混合模型；在測試階段，將測試樣本輸入到優(yōu)化后的OIN/SVM混合模型中，就得到預(yù)測結(jié)果，從而實現(xiàn)對樣本的分類的預(yù)測或回歸的預(yù)測。...

【技術(shù)特征摘要】

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：蔡珣，蔡菲，呂知辛，朱波，馬軍，
申請(專利權(quán))人：山東大學(xué)，
類型：發(fā)明
國別省市：