小二乘及偏最小二乘的參數(shù)估計方法-v
《小二乘及偏最小二乘的參數(shù)估計方法-v》由會員分享,可在線閱讀,更多相關(guān)《小二乘及偏最小二乘的參數(shù)估計方法-v(83頁珍藏版)》請在裝配圖網(wǎng)上搜索。
1、2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),1,化工過程動態(tài)數(shù)學模型 碩士研究生課程-2010 陳祥光,,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),2,第6章 最小二乘及偏最小二乘的參數(shù)估計方法 6.1 最小二乘整批算法 6.2 最小二乘遞推算法 6.3 實驗數(shù)據(jù)處理 6.4 問題提出及最小二乘原理 6.5 偏最小二乘的基本含義 6.6 偏最小二乘的重要性 6.7 應(yīng)用舉例 6.8 單因變量的偏最小二乘回歸模型,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),3,第6章 最小二乘及偏最小二乘的參數(shù)估計方法,最小二乘法自高斯在1795年提出以來,已有
2、二百多年的歷史,但至今仍廣泛用于參數(shù)估計。其主要原因是這種方法簡單方便,而且是其他幾種方法的基礎(chǔ)。,上式中:Y量測向量; 參數(shù)向量;H量測矩陣 e考慮量測誤差的隨機向量。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),4,例如:當模型形式為 Y=a1x1+a2x2++anxn,一共進行了N 次量測時:,實際過程 (或裝置),,,,,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),5,上式中R-1 是加權(quán)矩陣,在此討論R=I(單位矩陣)時的最小二乘估計。為了使J成為最小值,取,現(xiàn)在要使下列目標函數(shù)J為最小時,求出參數(shù)的估計值,(6-2),一般情況下,量測次
3、數(shù)N遠大于待估計的參數(shù)的數(shù)目n。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),6,(2)動態(tài)模型算法,考慮單輸入單輸出(SISO)線性系統(tǒng),用后移差分算符q-1 表示的脈沖傳遞函數(shù)是:,(6-4),考慮到量測噪聲的存在,(6-4)式可寫成:,(6-5),上式中:k是采樣次數(shù),y是輸出,u是輸入,e是考慮噪聲或不確定性的隨機變量。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),7,該系統(tǒng)的框圖如6-1所示:,,,,,,,,,,,,,,圖6-1 辨識系統(tǒng)示意圖,假定e(k)是獨立的,零均值隨機變量序列,而且在 不同的k 值下有相同的分布。如果采樣次數(shù)從(1-n)至k,
4、 一共進行了(n+k)次時量測,則對y(k)可得出下列方程:,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),8,(6-6),可以看出,上式與(6-1)式很相似,在得到k次采樣 數(shù)據(jù)后的最小二乘估計值可象(6-3)式一樣求?。?,,,,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),9,(6-7),2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),10,上述的算法是在取得整批數(shù)據(jù)后,一次求取參數(shù)的估計值。 在采樣次數(shù)k值大的時候,矩陣HTH的計算比較費時,在模型 階次n高時,(HTH)求逆的計算工作量很大。,6.2 最小二乘遞推算法,值得注意的是:如果取得新的
5、測量數(shù)據(jù),需對估計值進行 修正時,必須從頭算起,完全不能利用原來的計算結(jié)果。,在很多應(yīng)用中,在有些自適應(yīng)系統(tǒng)中,需要依據(jù)動態(tài)模型 參數(shù)的估計值來確定控制作用,必須不斷依據(jù)新的數(shù)據(jù)來修 正參數(shù)估計值。這就要求采用遞推算法。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),11,(6-8),(1)基本的遞推算法 遞推算法的一般形式是:,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),12,(2)式(6-8)的物理意義:在收到新的量測值后,要依據(jù)實際 y值與預(yù)報值之差,對參數(shù)的估計值進行適當?shù)男拚?在此,關(guān)鍵的問題是如何確定Kk+1,這在不同的算法中有 不同的解答。如果
6、Kk+1的修正過于強烈,估計值將波動較大 ,甚至不能收斂;但如果過于微弱,則需要經(jīng)過很多次采樣 后,才能接近可靠的估計值。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),13,在式(6-10)中, 是個純量, 項成為簡單的求倒數(shù)計算,只不過要有了 , 的計算就不困難。,(6-10),但是,作為完整的算法,對P(k+1)也要有個遞推算式,才能 滿足下一采樣后進一步修正估計值的計算中的需要。由矩陣 求逆引理可以導(dǎo)出:,(6-11),遞推算法: 已有數(shù)據(jù)求P(k)求Kk+1由 , ,,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),14,以上的遞推算法盡管
7、在計算步驟上與整批算法不同,但計算結(jié)果是相同的,對所采集的各組數(shù)據(jù),對最終結(jié)果起著同等程度的影響。 在許多情況下,例如對于時變的系統(tǒng),需要逐步減少老數(shù)據(jù)的作用,加強新數(shù)據(jù)的地位。,一種辦法是對數(shù)據(jù)組數(shù)作限制,一直規(guī)定為k,在收到第 (k+1)組數(shù)據(jù)后,把第1組數(shù)據(jù)棄掉,吐故納新。 另一種常用的辦法是引入遺忘因子 。把記憶中的數(shù)據(jù)乘 上小于1的數(shù),猶如逐漸淡忘一樣。 采用遺忘因子的算法步驟如下:,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),15,依據(jù)過去已有的數(shù)據(jù),求取P(k)和 ,如:,(6-12),也可按照某些初值假定,如 , 等,2020/9/25,
8、化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),16,計算新的P值,(6-15),這樣,構(gòu)成一個完整的算法,一步一步計算,可設(shè) 的值 在01之間,通常取0.951。如 =1,則對新舊數(shù)據(jù)一視同仁 值越小,對舊的數(shù)據(jù)遺忘越快。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),17,將現(xiàn)場測試得到的數(shù)據(jù)直接代入回歸方程,所得到的結(jié)果一般是不正確的。其原因是:目標函數(shù)同生產(chǎn)變量之間不一定都是線性關(guān)系,如下圖6-2所示的實驗數(shù)據(jù)分布:,6.3 實驗數(shù)據(jù)處理,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),18,從以上的實驗數(shù)據(jù)分布圖可知:只有圖(a)是線性關(guān)系。 因此,在進行實驗
9、數(shù)據(jù)收集之前,建議進行有目的的試驗, 以找出目標函數(shù)y同各個過程變量的定性關(guān)系。有目的試驗的 最簡單的方法是固定所有的有關(guān)變量,僅讓其中一個變量變化,觀察目標函數(shù)(或稱目標變量)同此變量的關(guān)系。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),19,實驗數(shù)據(jù)的處理通常需要從幾組測定的數(shù)據(jù)(例如N個點xi,yi)去求數(shù)據(jù)擬合的問題。這種方法在有些場合稱為線性回歸問題,在系統(tǒng)辨識中稱為參數(shù)據(jù)計。,6.4 問題提出及最小二乘原理,由于在實驗中給出的數(shù)據(jù)總是有觀測誤差的,如果要求估 計曲線通過所有的點,那么會使曲線保留全部觀測誤差的影響,這與古典的數(shù)據(jù)擬合方法是不相符的,由于數(shù)據(jù)擬合方法不
10、要求曲線通過所有的點(xi, yi),而是根據(jù)這些數(shù)之間的相互關(guān)系,用其它方法給出它們之間合適的數(shù)學公式,繪出一條近似曲線,以反映給定數(shù)據(jù)的一般趨勢。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),20,假設(shè)生產(chǎn)過程中,某一因變量與自變量之間的關(guān)系,通過實際測定。如下表6-1所示:,表 6-1 實際測定數(shù)據(jù)表,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),21,把x, y的觀測值標在坐標紙上,每組數(shù)據(jù)(x, y)在圖中以一個星點表示,這種圖稱為散點圖,從散點圖可直觀地看出兩個變量之間的大致關(guān)系。,,,,x,y,圖6-3 散點圖,2020/9/25,化工過程動態(tài)數(shù)學模
11、型(化工與環(huán)境學院),22,從以上的圖可以看出x與y之間大致呈線性關(guān)系,因此,可用一條直線來表示兩者之間的關(guān)系,即設(shè) y = a + b x (6-16),若取式(6-17)中的第2和第24兩方程聯(lián)立起來:,解得:a = -0.4, b = 0.85,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),23,但是,當選取不同的點值時,得到的a 、b值就不同,這說明解不是唯一的!假定用某種方法把a 和 b確定下來,這時有了x就可以算出y值,可記為:,(6-18),,當然,這樣得到的 與 不一定相同,把兩個數(shù)據(jù)之差記為,(6-19),可以有許多方法來確
12、定最好的a和b參數(shù),但常用的是最小二 乘原理,即使誤差平方和達到最小。即,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),24,為了求出a 和 b的最好值,把(6-19)式代入(6-20)式,可得,(6-20),(6-21),2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),25,整理(6-22)式可得:,(6-23),2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),26,從向量和矩陣的角度來討論最小二乘估計,即,則:,(6-25),(6-26),2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),27,由(6-27)式可知:,由于量測矩陣H的秩為2,
13、與被估計量的維數(shù)相等,其逆存在,因此,利用公式(6-26)可得最小二乘估計為:,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),28,因此:,例6-2. 對于時變系統(tǒng)的參數(shù)估計: y(k)+a(k)y(k-1)=b(k)u(k-1)+e(k) a(k), b(k)具有以下的數(shù)值: a(k)=0.8, b(k)=0.5, 當0k<300 a(k)=0.6, b(k)=0.3, 當k300,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),29,e(k)為零均值白噪聲,利用上述的遞推算法估計時變參數(shù):,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學
14、院),30,從上面的圖6-3a和6-3b可以看出:當?shù)闹等〉幂^小時,參數(shù) 估計變化較快,但對噪聲的跟蹤能力也大。當?shù)闹等≥^大時 ,參數(shù)估計變化較慢,但最后估計精度較高。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),31,已知整批的最小二乘估計公式為:,(6-28),2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),32,可以證明,從第n+1組數(shù)據(jù)就可以利用公式(6-29)、(6-30) 進行遞推。,注:在利用公式(6-29)、(6-30)進行遞推計算時,需要一組初 值 或 和 。通常可利用公式(6-28)計算出一組 初值,也可以根據(jù)歷史數(shù)據(jù)選擇一組初始值。如果
15、沒有任何 歷史數(shù)據(jù)可供參考的話,那么可設(shè) :,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),33,其中的 是充分大的正數(shù),通常選擇 , 可以證明,經(jīng)過相當次數(shù)的推遞之后,這種初始值的影響 就逐漸消失,而得到滿意的估計值。,遞推最小二乘法的計算框圖如下:,,,圖6-4 遞推最小二乘法程序框圖,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),34,例6-3. 基于遞推最小二乘法所需要的存儲單元數(shù),考慮二階 線性動態(tài)模型:,在輸入n組數(shù)據(jù)時,從第n+1組數(shù)據(jù)開始推遞計算:,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),35,從第3組數(shù)據(jù)開始遞
16、推: 從上面的計算過程可見,遞推最小二乘法,每一步需要存儲 單元的數(shù)目是:,,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),36,6.5 偏最小二乘的基本含義,偏最小二乘回歸是一種新型的多元統(tǒng)計分析方法, 它于1983 年由伍德(S.Wold)和阿巴諾(C.Albano)等人首次提出。 伍德教授執(zhí)教于瑞典的Umea大學有機化學系,在他的指導(dǎo) 下,發(fā)表了多篇有關(guān)偏最小二乘回歸理論和應(yīng)用的論文,并開 發(fā)了相關(guān)軟件,用以支持偏最小二乘回歸的計算和結(jié)果解釋。 也正因此,偏最小二乘回歸首先在化工領(lǐng)域得到廣泛應(yīng)用。 1996年10月在法國巴黎召開一次有關(guān)偏最小二乘回歸方法 理論與實踐的學
17、術(shù)研討會。美國密西根大學(Michigan Univer- sity)的弗耐爾(Fornell)教授稱偏最小二乘回歸為第二代回歸 分析方法。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),37,6.6 偏最小二乘的重要性,偏最小二乘回歸方法在統(tǒng)計應(yīng)用中的重要性有: 偏最小二乘回歸是一種多因變量對多自變量的回歸建模 方法;特別當各變量集合內(nèi)部存在較高程度的相關(guān)性時,用偏 偏最小二乘回歸進行回歸建模分析,對比逐個因變量進行多元 回歸更加有效,其結(jié)論更加可靠,整體性更強。 偏最小二乘回歸可以較好地解決許多以往用普通多元回 歸無法解決的問題;最典型的問題是自變量之間的多重相關(guān)性
18、。如果采用普通的最小二乘回歸方法,這種變量多重相關(guān)性就 會嚴重危害參數(shù)估計,擴大模型誤差,并破壞模型的穩(wěn)健性。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),38,而采用偏最小二乘回歸方法,是利用對系統(tǒng)中的數(shù)據(jù)信息 進行分解和篩選的方式,提取對因變量解釋性最強的綜合變量 ,辨識系統(tǒng)中的信息與噪聲,從而更好地克服多重相關(guān)性在系 統(tǒng)建模中的不良作用。 另一方面,在使用普通最小二乘回歸時經(jīng)常受到樣本點數(shù) 的限制(樣本點不宜太少)。一般統(tǒng)計書上介紹該數(shù)目應(yīng)是變 量個數(shù)的兩倍以上,但由于費用、時間等條件的限制,所能得 到的樣本點個數(shù)卻少于變量的個數(shù),此時采用普通的多元回歸 方法無能為力
19、,而采用偏最小二乘回歸方法可得到較好解決。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),39,偏最小二乘回歸方法可以實現(xiàn)多種數(shù)據(jù)分析方法的綜 合,所以被稱為第二代回歸方法。 偏最小二乘回歸可以集多元線性回歸分析、典型相關(guān)分 析和主成分分析的基本功能為一體,將建模預(yù)測類型的數(shù)據(jù) 分析方法與非模型式的數(shù)據(jù)認識性分析方法有機地結(jié)合起來, 即,偏最小二乘回歸多元線性回歸分析+典型相關(guān)分析 +主成分分析,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),40,應(yīng)用舉例1:主元分析法在原油儲罐測控系統(tǒng)中的應(yīng)用,(1)目的 為了確保安全生產(chǎn),實時監(jiān)控原油集輸過程
20、中的變量, 基于主元分析方法研究原油儲罐各參數(shù)的變化規(guī)律,建立了主 元回歸模型,分析影響原油儲罐正常運行的主要因素,對生產(chǎn) 過程工藝參數(shù)的不正常狀態(tài)實現(xiàn)有效的識別。,在現(xiàn)代化生產(chǎn)過程中,要求操作人員同時監(jiān)視大量的過程 變量是比較困難的。如能將很多相關(guān)的過程變量壓縮為少數(shù)的 獨立變量,而這些少數(shù)獨立變量又涵蓋了整個過程的大部分信 息,那么操作人員通過對這少數(shù)獨立變量的監(jiān)視,以實現(xiàn)對整 個生產(chǎn)過程的監(jiān)控。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),41,(2)概述 主元分析(Principal Component Analysis)就是將相關(guān)的變 量轉(zhuǎn)化為少數(shù)幾個相互獨立變量的
21、一個有效的方法。 基于主元分析(PCA)的方法是多元(變量)統(tǒng)計過程控制 (Multivariable Statistic Process Control )方法的一個重要工具。 MSPC的主要內(nèi)容是建立多元統(tǒng)計模型(如PCA模型),將生產(chǎn)過 程中存在的高度相關(guān)的過程變量通過多元統(tǒng)計投影映射到少量 隱變量定義的低維空間中,使過程監(jiān)控、故障檢測與診斷以及 相應(yīng)的研究得以簡化。,通過對原油儲罐內(nèi)原油的各參數(shù)(如液位、壓力、界面、 溫度等)進行監(jiān)控,可以有效的預(yù)防原油冒罐、原油罐被抽癟 等事故發(fā)生。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),42,2020/9/25,化工過程動態(tài)
22、數(shù)學模型(化工與環(huán)境學院),43,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),44,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),45,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),46,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),47,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),48,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),49,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),50,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),51,2020/9/25,化工過程動態(tài)數(shù)學模
23、型(化工與環(huán)境學院),52,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),53,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),54,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),55,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),56,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),57,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),58,應(yīng)用舉例2:偏最小二乘法在高爐冶煉中的應(yīng)用,高爐冶煉過程包含著眾多的子工序, 包括配料、上料、布料、鼓風、富氧、噴煤、出渣、出鐵等。 在生產(chǎn)過程中, 包含著眾多的影響參數(shù), 使
24、得高爐鐵水含硅量發(fā)生劇烈波動。這些影響參數(shù)本身之間存在著復(fù)雜的線性相關(guān)。 為了對高爐冶煉過程進行平穩(wěn)控制, 大量的非線性方法包括神經(jīng)網(wǎng)絡(luò)、模糊數(shù)學、混沌和分形時間序列方法得到了廣泛的應(yīng)用, 并取得了一定的成果。然而, 這些方法僅僅考慮單一的因素( 鐵水含硅量) 或少數(shù)幾個關(guān)鍵參數(shù), 造成了大量有用信息的丟失, 因而存在一定的局限性。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),59,目前處理高維復(fù)雜數(shù)據(jù)應(yīng)用最廣泛的方法是主成分回歸( PCR) 和偏最小二乘法( PLS)。主成分回歸的主要目的是要提取隱藏在矩陣X 中的相關(guān)信息, 然后用于預(yù)測變量Y 的值。這種做法可以保證只使
25、用那些獨立變量, 噪音將被消除, 從而達到改善預(yù)測模型質(zhì)量的目的. 當然, 它也有一定的缺陷, 由于高爐數(shù)據(jù)過于復(fù)雜, 導(dǎo)致主成分分析所提取的成分數(shù)過多從而造成預(yù)測模型精確度不夠。 偏最小二乘法則可以避免主成分回歸在預(yù)測中的缺陷, 同時對變量X 和Y都進行分解, 從變量X和Y中提取成分( 通常稱為因子) , 再將因子按照它們之間的相關(guān)性從大到小排列。將主成分回歸和偏最小二乘法結(jié)合起來, 一方面可以有效分析各個運行參數(shù)對鐵水含硅量的影響, 另一方面可以準確預(yù)測鐵水含硅量, 對指導(dǎo)高爐生產(chǎn)有著較大的意義。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),60,(1)偏最小二乘法,偏
26、最小二乘法的思路是: 首先, 從自變量X 中提取相互獨立的成分th ( h= 1, 2, , ) , 從因變量Y中提取相互獨立的成分uh ( h= 1, 2, , ) 。然后建立這些成分與自變量的回歸方程. 與主成分回歸不同的是, 偏最小二乘回歸所提取的成分既能較好地概括自變量系統(tǒng)中的信息, 又能很好地解釋因變量并排除系統(tǒng)中的噪聲干擾。因而有效地解決了自變量間多重相關(guān)性情況下的回歸建模問題。 當因變量Y的階數(shù)為1 時, 為單變量偏最小二乘回歸模型( PLS1) , 階數(shù)大于1 時為多變量偏最小二乘回歸模型。此例是討論的是單變量模型, 對于多變量模型, 處理的方法也類似。,2020/9/25
27、,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),61,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),62,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),63,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),64,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),65,圖6-10 error相對于所取成分數(shù)的變化,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),66,圖6-11 某高爐Si 預(yù)測結(jié)果圖,在高爐冶煉過程的控制中, 過去的模型大多根據(jù)經(jīng)驗提取少數(shù)幾個參數(shù)或者僅利用鐵水含硅量數(shù)據(jù)進行建模, 這樣造成了大量的信息丟失。在此采用了偏最
28、小二乘方法對高爐冶煉過程進行分析,不僅有效降低了數(shù)據(jù)的維數(shù), 而且分析得到了各個變量對冶煉過程的貢獻, 從而得到了較好的預(yù)測結(jié)果。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),67,6.8 單因變量的偏最小二乘回歸模型,1引言 當因變量個數(shù)只有一個時, 偏最小二乘回歸模型就是單因變 量的。目前, 國際上有一些流行的縮寫記號, 比如單因變量的偏 最小二乘回歸模型被記為PLSl模型, 而多因變量的偏最小二乘回 歸模型被記為PLS2模型。顯然,PLSl模型是PLS2模型的一種特 例。 當在自變量之間存在嚴重多重相關(guān)性時, 會使普通最小二乘 法失效,破壞參數(shù)估計, 擴大模型誤差, 并使
29、模型喪失穩(wěn)健性。然 而, 偏最小二乘回歸卻較好地解決了這一問題。它與傳統(tǒng)的多元 線性回歸模型相比,有以下幾個突出的特點:,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),68,(1)能夠在自變量存在嚴重多重相關(guān)性的條件下進行回歸建 模; (2)允許在樣本點個數(shù)少于變量個數(shù)的條件下進行回歸建模; (3)偏最小二乘回歸在最終模型中將包含原有的所有自變; (4)偏最小二乘回歸模型更易于辨識系統(tǒng)信息與噪聲(甚至 一些隨機性噪聲); (5)在偏最小二乘回歸模型中,每一個自變量xj回歸系數(shù)將 更容易解釋。,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),69,2020/9/25
30、,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),70,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),71,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),72,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),73,3. 簡化算式,,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),74,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),75,4. 應(yīng)用舉例,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),76,6-2,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),77,這8個變量的相關(guān)系數(shù)矩陣見表6-3。從相關(guān)系數(shù)矩
31、陣中可以 看出,在自變量之間存在嚴重的多重相關(guān)性,例如r(x1,x3)= 0.999, r(x4,x7)=0.92, r(x1,x6)=-0.80。實際上,這7個自變量之 間有如下關(guān)系: x1+x2++x7=1,6-3,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),78,用偏最小二乘回歸方法建立回歸模型,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),79,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),80,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),81,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),82,2020/9/25,化工過程動態(tài)數(shù)學模型(化工與環(huán)境學院),83,思考題: 24. 在遞推最小二乘法中,修正矩陣的物理意義是什么?為什么要引入遺忘因子? 25. 整批最小二乘法與遞推最小二乘法的區(qū)別是什么? 26. 偏最小二乘法的基本思想是什么?,
- 溫馨提示:
1: 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
2: 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
3.本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
5. 裝配圖網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 建筑施工重大危險源安全管理制度
- 安全培訓資料:典型建筑火災(zāi)的防治基本原則與救援技術(shù)
- 企業(yè)雙重預(yù)防體系應(yīng)知應(yīng)會知識問答
- 8 各種煤礦安全考試試題
- 9 危險化學品經(jīng)營單位安全生產(chǎn)管理人員模擬考試題庫試卷附答案
- 加壓過濾機司機技術(shù)操作規(guī)程
- 樹脂砂混砂工藝知識總結(jié)
- XXXXX現(xiàn)場安全應(yīng)急處置預(yù)案
- 某公司消防安全檢查制度總結(jié)
- 1 煤礦安全檢查工(中級)職業(yè)技能理論知識考核試題含答案
- 4.燃氣安全生產(chǎn)企業(yè)主要負責人模擬考試題庫試卷含答案
- 工段(班組)級安全檢查表
- D 氯化工藝作業(yè)模擬考試題庫試卷含答案-4
- 建筑起重司索信號工安全操作要點
- 實驗室計量常見的30個問問答題含解析