【技術實現步驟摘要】
本專利技術涉及化學計量學多元校正模型數據處理
,特別涉及一種。
技術介紹
隨著現代分析儀器的發展,檢測信號已由傳統的單一數值變化為完整的譜圖,甚至是圖像。對于光譜數據,維數相對于采集的樣本個數來說通常是很高的,此時校正回歸問題嚴重病態,傳統的一元單變量校正方法難以對這些數據進行分析,取而代之的是多元校正方法[1]。化學計量學多元校正技術直接利用測量信號,通過降維、特征提取、特征變換以及多元回歸技術建立光譜信號與樣品濃度之間的定量模型,以實現定量分析。然而,經典的多元校正方法,如多元線性回歸、主成分回歸、偏最小二乘回歸[2_3]通常特別易受異常樣本點的影響。一般地,與數據集中大部分樣本相比,異常樣本就是無關的、或者某種程度上是錯誤的和不正常的樣本。異常樣本一般是由儀器故障、采集條件因素、人為操作誤差或數據自身缺陷等原因引起的。異常樣本的存在會影響模型的質量,導致建立的模型無法反映數據的真實關系,無法得到準確的預測結果。因此,需要剔除異常樣本點的影響建立穩健的模型[4]。對于主成分回歸,一般采用穩健的協方差估計替代傳統的數據協方差矩陣,從而實現穩健的主成分回歸。對于偏最小二乘(PLS)回歸,不同的穩健PLS模型被提出,如將PLS方法中所涉及到的最小二乘回歸方法,部分或全部替換成某種穩健回歸方法,如迭代重加權最小二乘(IRLS)、最小中位數平方法(LMS)和截尾最小二乘法(LTS)等;迭代重加權偏最小二乘(IRPLS)方法[5];偏穩健M回歸方法[6] ;RSIMPLS方法[7]。還有一類方法通過交叉驗證來檢測異常樣本,如基于留一交叉驗證得到每個樣本對應 ...
【技術保護點】
一種基于隨機采樣一致集的譜圖異常樣本點檢測方法,其特征在于,包括如下具體步驟:步驟(1):對給定光譜數據X進行穩健主成分分析,檢測并消除異常光譜樣本點,得到校正樣本集Xc,記校正樣本集Xc中樣本數目為mc;步驟(2):在所述步驟(1)中的校正樣本集Xc上進行隨機采樣,得到當前的訓練集Xs;步驟(3):基于所述步驟(2)中的訓練集Xs建立多元校正模型,并計算模型預測殘量誤差Es;步驟(4):利用步驟(3)中的多元校正模型和模型預測殘量誤差Es,評價模型的性能并得出評價得分,并將步驟(1)中的校正樣本集Xc確定為內點集uc;步驟(5):重復步驟(2)至步驟(4)N次,其中N定義為自然數,從而得到N個評價得分,選擇其中評價得分最高的多元校正模型所對應的校正樣本集為最終的內點集um。
【技術特征摘要】
1.一種基于隨機采樣一致集的譜圖異常樣本點檢測方法,其特征在于,包括如下具體步驟 步驟(I):對給定光譜數據X進行穩健主成分分析,檢測并消除異常光譜樣本點,得到校正樣本集X。,記校正樣本集X。中樣本數目為m。; 步驟(2):在所述步驟(I)中的校正樣本集X。上進行隨機采樣,得到當前的訓練集Xs ; 步驟(3):基于所述步驟(2)中的訓練集Xs建立多元校正模型,并計算模型預測殘量誤差Es ; 步驟(4):利用步驟(3)中的多元校正模型和模型預測殘量誤差Es,評價模型的性能并得出評價得分,并將步驟(I)中的校正樣本集X。確定為內點集U。; 步驟(5):重復步驟(2)至步驟(4)N次,其中N定義為自然數,從而得到N個評價得分,選擇其中評價得分最高的多元校正模型所對應的校正樣本集為最終的內點集um。2.根據權利要求1所述的基于隨機采樣一致集的譜圖異常樣本點檢測方法,其特征在于,所述步驟(I)包括如下具體步驟 步驟(11):建立模型X=TPt,其中Ttt1, t2,…,ta]T定義為得分矩陣,Ρ[ρι,ρ2,…,pa]TS義為載荷矩陣,a定義為主成分個數; 步驟(12):利用公式t—i^media...
【專利技術屬性】
技術研發人員:王海燕,劉軍,姜久英,
申請(專利權)人:江蘇易譜恒科技有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。