人工神經(jīng)網(wǎng)絡(luò)理論和應(yīng)用ppt課件
《人工神經(jīng)網(wǎng)絡(luò)理論和應(yīng)用ppt課件》由會員分享,可在線閱讀,更多相關(guān)《人工神經(jīng)網(wǎng)絡(luò)理論和應(yīng)用ppt課件(52頁珍藏版)》請?jiān)谘b配圖網(wǎng)上搜索。
人工神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用,第七章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識,1,神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識,7. 1 生物神經(jīng)元及人工神經(jīng)元的組成 7. 2 人工神經(jīng)網(wǎng)絡(luò)的模型 7 .2 .1 人工神經(jīng)元的模型 7 .2 .2 常用的激活轉(zhuǎn)移函數(shù) 7 .2 .3 MP模型神經(jīng)元,2,7.1 生物神經(jīng)元及人工神經(jīng)元的組成,神經(jīng)元也稱神經(jīng)細(xì)胞,它是生物神經(jīng)系統(tǒng)的最基本單元,它和人體中其他細(xì)胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。每個神經(jīng)元都包括三個主要部分:細(xì)胞體、樹突和軸突,見圖7.1(a)。,3,神經(jīng)元結(jié)構(gòu)與功能,細(xì)胞體由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜等組成,其直徑大約為0.5--100μm,大小不等。細(xì)胞體是神經(jīng)元的主體,用于處理由樹突接受的其它神經(jīng)元傳來的信號; 軸突是由細(xì)胞體向外延伸出的所有纖維中最長的一條分枝,用來向外傳遞神經(jīng)元產(chǎn)生的輸出電信號。每個神經(jīng)元都有一條軸突,其最大長度可達(dá)1m以上。在軸突的末端形成了許多很細(xì)的分枝,這些分支叫神經(jīng)末梢。每一條神經(jīng)末梢可以與其它神經(jīng)元形成功能性接觸,該接觸部位稱為突觸。所謂功能性接觸,是指非永久性的接觸,這正是神經(jīng)元之間傳遞信息的奧秘之處。,4,神經(jīng)元結(jié)構(gòu)與功能,樹突是指由細(xì)胞體向外延伸的除軸突以外的其它所有分支。樹突的長度一般較短,但數(shù)量很多,它是神經(jīng)元的輸入端,用于接受從其它神經(jīng)元的突觸傳來的信號。 神經(jīng)元中的細(xì)胞體相當(dāng)于一個初等處理器,它對來自其它各個神經(jīng)元的信號進(jìn)行總體求和,并產(chǎn)生一個神經(jīng)輸出信號。 細(xì)胞膜內(nèi)外的電位之差被稱為膜電位。在無信號輸入時的膜電位稱為靜止膜電位。當(dāng)一個神經(jīng)元的所有輸入總效應(yīng)達(dá)到某個閾值電位時,該細(xì)胞變?yōu)榛钚约?xì)胞。,5,生物神經(jīng)元的功能與特征,(1) 時空整合功能 神經(jīng)元對不同時間通過同一突觸傳入的神經(jīng)沖動,具有時間整合功能。對于同一時間通過不同突觸傳入的神經(jīng)沖動,具有空間整合功能。兩種功能相互結(jié)合,使生物神經(jīng)元對由突觸傳入的神經(jīng)沖動具有時空整合的功能。 (2) 興奮與抑制狀態(tài) 神經(jīng)元具有興奮和抑制兩種常規(guī)的工作狀態(tài)。當(dāng)傳入沖動的時空整合結(jié)果使細(xì)胞膜電位升高,超過動作電位的閾值時,細(xì)胞進(jìn)入興奮狀態(tài),產(chǎn)生神經(jīng)沖動。相反,當(dāng)傳入沖動的時空整合結(jié)果使細(xì)胞膜電位低于動作電位的閾值時,細(xì)胞進(jìn)入抑制狀態(tài),無神經(jīng)沖動輸出。,6,生物神經(jīng)元的功能與特征,(3) 脈沖與電位轉(zhuǎn)換 突觸界面具有脈沖/電位信號轉(zhuǎn)化功能。沿神經(jīng)纖維傳遞的信號為離散的電脈沖信號,而細(xì)胞膜電位的變化為連續(xù)的電位信號。這種在突觸接口處進(jìn)行的“數(shù)/?!鞭D(zhuǎn)換,是通過神經(jīng)介質(zhì)以量子化學(xué)方式實(shí)現(xiàn)的如下過程: 電脈沖----神經(jīng)化學(xué)物質(zhì)----膜電位 (4) 神經(jīng)纖維傳導(dǎo)速率 神經(jīng)沖動沿神經(jīng)纖維傳導(dǎo)的速度在1---150m/s之間。其速度差異與纖維的粗細(xì)、髓鞘的有無有關(guān)。一般來說,有髓鞘的纖維,其傳導(dǎo)速度在100m/s以上,無髓鞘的纖維,其傳導(dǎo)速度可低至每秒數(shù)米。 (5) 突觸延時和不應(yīng)期 突觸對相鄰兩次神經(jīng)沖動的響應(yīng)需要有一定的時間間隔,在這個時間間隔內(nèi)不響應(yīng)激勵,也不傳遞神經(jīng)沖動,這個時間間隔稱為不應(yīng)期。,7,人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)與特征,神經(jīng)生理學(xué)的研究結(jié)果表明,人腦的神經(jīng)系統(tǒng)是一個由大量生物神經(jīng)元并行互連所形成的一個網(wǎng)絡(luò)系統(tǒng)。每個人的大腦大約有1011---1012個神經(jīng)元,每個神經(jīng)元大約有103---104個突觸,即與其它103---104個神經(jīng)元相連。 (1) 記憶和存儲功能 人腦神經(jīng)系統(tǒng)的記憶和處理功能是有機(jī)的結(jié)合在一起的。神經(jīng)元既有存儲功能,又有處理功能,它在進(jìn)行回憶時不僅不需要先找到存儲地址再調(diào)出所存內(nèi)容,而且還可以由一部分內(nèi)容恢復(fù)全部內(nèi)容。尤其是當(dāng)一部分神經(jīng)元受到損壞(例如腦部受傷等)時,它只會丟失損壞最嚴(yán)重部分的那些信息,而不會丟失全部存儲信息。 (2) 高度并行性(為什么計(jì)算機(jī)無法模擬更多的神經(jīng)元,如果有100個神經(jīng)元,兩兩互連,則會出現(xiàn)100*99/2=5000個N元一次方程。如何計(jì)算如此復(fù)雜的方程組?)提供了非常巨大的存儲容量和并行度。例如,人可以非常迅速地識別出一幅十分復(fù)雜的圖像。,8,人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)與特征,(3) 分布式功能 人們通過對腦損壞病人所做的神經(jīng)心理學(xué)研究,沒有發(fā)現(xiàn)大腦中的哪一部分可以決定其余所有各部分的活動,也沒有發(fā)現(xiàn)在大腦中存在有用于驅(qū)動和管理整個智能處理過程的任何中央控制部分。人類大腦的各個部分是協(xié)同工作、相互影響的,并沒有哪一部分神經(jīng)元能對智能活動的整個過程負(fù)有特別重要的責(zé)任??梢?,在大腦中,不僅知識的存儲是分散的,而且其控制和決策也是分散的。因此,大腦是一種分布式系統(tǒng)。 (4) 容錯功能 容錯性是指根據(jù)不完全的、有錯誤的信息仍能做出正確、完整結(jié)論的能力。大腦的容錯性是非常強(qiáng)的。例如,我們往往能夠僅由某個人的一雙眼睛、一個背影、一個動作或一句話的音調(diào),就能辨認(rèn)出來這個人是誰。,9,人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)與特征,(5) 聯(lián)想功能 人腦不僅具有很強(qiáng)的容錯功能,還有聯(lián)想功能。善于將不同領(lǐng)域的知識結(jié)合起來靈活運(yùn)用,善于概括、類比和推理。例如,一個人能很快認(rèn)出多年不見、面貌變化較大的老朋友。 (6) 自組織和自學(xué)習(xí)功能 人腦能夠通過內(nèi)部自組織、自學(xué)習(xí)能力不斷適應(yīng)外界環(huán)境,從而可以有效地處理各種模擬的、模糊的或隨機(jī)的問題。,10,人工神經(jīng)元的主要結(jié)構(gòu)單元是信號的輸入、綜合處理和輸出 輸出信號強(qiáng)度大小反映了該神經(jīng)元對相鄰神經(jīng)元影響的強(qiáng)弱 人工神經(jīng)元之間通過互相聯(lián)接形成網(wǎng)絡(luò),稱為人工神經(jīng)網(wǎng)絡(luò) 神經(jīng)元之間相互聯(lián)接的方式稱為聯(lián)接模式 相互之間的聯(lián)接強(qiáng)度由聯(lián)接權(quán)值體現(xiàn)。 在人工神經(jīng)網(wǎng)絡(luò)中,改變信息處理及能力的過程,就是修改網(wǎng)絡(luò)權(quán)值的過程。,11,目前多數(shù)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造大體上都采用如下的一些原則:,由一定數(shù)量的基本神經(jīng)元分層聯(lián)接; 每個神經(jīng)元的輸入、輸出信號以及綜 合處理內(nèi)容都比較簡單; 網(wǎng)絡(luò)的學(xué)習(xí)和知識存儲體現(xiàn)在各神經(jīng)元之間的聯(lián)接強(qiáng)度上。,12,7. 2 人工神經(jīng)網(wǎng)絡(luò)的模型,7. 2. 1 人工神經(jīng)元的模型 神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元,它一般是一個多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響外,同時也受到神經(jīng)元內(nèi)部因素的影響,所以在人工神經(jīng)元的建模中,常常還加有一個額外輸入信號,稱為偏差,有時也稱為閾值或門限值。,13,神經(jīng)元的輸出矢量可以表示為: A = f ( W*P + b ) = f (∑ wj pj + b ) (7.2 ) 可以看出偏差被簡單地加在W*P上作為激活函數(shù)的另一個輸入分量。實(shí)際上偏差也是一個權(quán)值,只是它具有固定常數(shù)為1的輸入。在網(wǎng)絡(luò)的設(shè)計(jì)中,偏差起著重要的作用,它使得激活函數(shù)的圖形可以左右移動,從而增加了解決問題的可能性。,,14,7. 2. 2 激活轉(zhuǎn)移函數(shù),激活轉(zhuǎn)移函數(shù)(Activation transfer function)簡稱激活函數(shù),它是一個神經(jīng)元及神經(jīng)網(wǎng)絡(luò)的核心之一。神經(jīng)網(wǎng)絡(luò)解決問題的能力與功效除了與網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)外,在很大程度上取決于網(wǎng)絡(luò)激活函數(shù)。,15,激活函數(shù)的基本作用是:,控制輸入對輸出的激活作用; 對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換; 將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。 下面是幾種常用的激活函數(shù):,16,(l)閥值型(硬限制型),具有此激活函數(shù)的神經(jīng)元的輸入/輸出關(guān)系為:,17,(2)線性型,具有此激活函數(shù)的神經(jīng)元的輸入/輸出關(guān)系為:,,A = f (W *P + b ) = W * P + b ( 7.4 ),18,(3)S型(Sigmoid),對數(shù)S型激活函數(shù) 見圖7.5(a),其神經(jīng)元的輸入/輸出關(guān)系為:,19,(3)S型(Sigmoid),雙曲正切S型激活函數(shù) 見圖7.5(b),其神經(jīng)元的輸入/輸出關(guān)系為:,20,一般地,稱一個神經(jīng)網(wǎng)絡(luò)是線性或非線性是由網(wǎng)絡(luò)神經(jīng)元中所具有的激活函數(shù)的線性或非線性來決定的。,,21,人工神經(jīng)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)是對人類神經(jīng)系統(tǒng)的一種模擬。盡管人類神經(jīng)系統(tǒng)規(guī)模宏大、結(jié)構(gòu)復(fù)雜、功能神奇,但其最基本的處理單元卻只有神經(jīng)元。人工神經(jīng)系統(tǒng)的功能實(shí)際上是通過大量神經(jīng)元的廣泛互連,以規(guī)模宏偉的并行運(yùn)算來實(shí)現(xiàn)的。 基于對人類生物系統(tǒng)的這一認(rèn)識,人們也試圖通過對人工神經(jīng)元的廣泛互連來模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。人工神經(jīng)元之間通過互連形成的網(wǎng)絡(luò)稱為人工神經(jīng)網(wǎng)絡(luò)。在人工神經(jīng)網(wǎng)絡(luò)中,神經(jīng)元之間互連的方式稱為連接模式或連接模型。它不僅決定了神經(jīng)元網(wǎng)絡(luò)的互連結(jié)構(gòu),同時也決定了神經(jīng)網(wǎng)絡(luò)的信號處理方式。,22,人工神經(jīng)網(wǎng)絡(luò)的分類,目前,已有的人工神經(jīng)網(wǎng)絡(luò)模型至少有幾十種,其分類方法也有多種。例如,若按網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),可分為無反饋網(wǎng)絡(luò)與有反饋網(wǎng)絡(luò);若按網(wǎng)絡(luò)的學(xué)習(xí)方法,可分為有教師的學(xué)習(xí)網(wǎng)絡(luò)和無教師的學(xué)習(xí)網(wǎng)絡(luò);若按網(wǎng)絡(luò)的性能,可分為連續(xù)型網(wǎng)絡(luò)與離散型網(wǎng)絡(luò),或分為確定性網(wǎng)絡(luò)與隨機(jī)型網(wǎng)絡(luò);若按突觸連接的性質(zhì),可分為一階線性關(guān)聯(lián)網(wǎng)絡(luò)與高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。,23,人工神經(jīng)網(wǎng)絡(luò)的局限性,人工神經(jīng)網(wǎng)絡(luò)是一個新興學(xué)科,因此還存在許多問題。其主要表現(xiàn)有: (1) 受到腦科學(xué)研究的限制:由于生理實(shí)驗(yàn)的困難性,因此目前人類對思維和記憶機(jī)制的認(rèn)識還很膚淺,還有很多問題需要解決; (2) 還沒有完整成熟的理論體系; (3) 還帶有濃厚的策略和經(jīng)驗(yàn)色彩; (4) 與傳統(tǒng)技術(shù)的接口不成熟。 上述問題的存在,制約了人工神經(jīng)網(wǎng)絡(luò)研究的發(fā)展。,24,7. 2. 3 MP神經(jīng)元模型,MP神經(jīng)元模型是由美國心理學(xué)家McClloch和數(shù)學(xué)家Pitts共同提出的,因此,常稱為MP模型。 MP神經(jīng)元模型是典型的閾值型神經(jīng)元,見圖7.6,它相當(dāng)于一個多輸入單輸出的閾值器件。,25,,如圖(7.6)所示,假定p1,p2,…,pn表示神經(jīng)元的n個輸入;wi表示神經(jīng)元的突觸連接強(qiáng)度,其值稱為權(quán)值;n 表示神經(jīng)元的輸入總和,f (n) 即為激活函數(shù);a 表示神經(jīng)元的輸出,b 表示神經(jīng)元的閾值,那么MP模型神經(jīng)元的輸出可描述為(7.7)式所示:,26,MP模型神經(jīng)元是二值型神經(jīng)元,其輸出狀態(tài)取值為1或0,分別代表神經(jīng)元的興奮和抑制狀態(tài)。如果 n >0,即神經(jīng)元輸入加權(quán)總和超過某個閾值,那么該神經(jīng)元興奮,狀態(tài)為1;如果n ≤0,那么該神經(jīng)元受到抑制,狀態(tài)為0。通常,將這個規(guī)定稱為MP模型神經(jīng)元的點(diǎn)火規(guī)則。用一數(shù)學(xué)表達(dá)式表示為:,對于 MP模型神經(jīng)元,權(quán)值w在(- 1, +1)區(qū)間連續(xù)取值。取負(fù)值表示抑制兩神經(jīng)元間的連接強(qiáng)度,正值表示加強(qiáng)。,,(7.8),27,MP模型神經(jīng)元 具有什么特性? 能完成什么功能?,為了回答這個問題,我們以簡單的邏輯代數(shù)運(yùn)算為例來說明。,28,例1 假設(shè)一個MP模型神經(jīng)元有2個輸入:p1和p2,其目標(biāo)輸出記為t,試問它能否完成下列真值表功能?,解:根據(jù)要求,神經(jīng)元的權(quán)值和閾值必須滿足如下不 等式組: 若取b值為0.5,W1和W2取0.7??梢则?yàn)證用這組權(quán)值和閾值構(gòu)成的2輸入MP模型神經(jīng)元能夠完成該邏輯“或”運(yùn) 算。,29,如同許多代數(shù)方程一樣,由MP模型激活函數(shù)得出的不等式具有一定的幾何意義,所有輸入樣本構(gòu)成樣本輸入空間。對于任意特定W和P的值都規(guī)定了一個超平面(決策平面),其方程為: 它把超平面Rn(X∈Rn)分成了兩部分:WX-b0 部分和 WX-b≥0 部分。,,30,一般地,N輸入的MP模型神經(jīng)元有2n個輸入樣本,幾何上分別位于N維超立方體的各頂點(diǎn)處。,31,7.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與學(xué)習(xí),7. 3. 1 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 如果將大量功能簡單的形式神經(jīng)元通過一定的拓?fù)浣Y(jié)構(gòu)組織起來,構(gòu)成群體并行分布式處理的計(jì)算結(jié)構(gòu),那么這種結(jié)構(gòu)就是人工神經(jīng)網(wǎng)絡(luò),在不引起混淆的情況下,統(tǒng)稱為神經(jīng)網(wǎng)絡(luò)。,32,根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)上的不同,可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類: 分層網(wǎng)絡(luò) 相互連接型網(wǎng)絡(luò),33,1.分層結(jié)構(gòu),分層網(wǎng)絡(luò)將一個神經(jīng)網(wǎng)絡(luò)模型中的所有神經(jīng)元按功能分成若干層,一般有輸入層、隱層(又稱中間層)和輸出層各層順序連接,如圖7. 7所示。,34,簡單的前向網(wǎng)絡(luò); 具有反饋的前向網(wǎng)絡(luò); 層內(nèi)有相互連接的前向網(wǎng)絡(luò)。,分層網(wǎng)絡(luò)可以細(xì)分為三種互連形式:,35,圖7.8 (a)簡單的前向網(wǎng)絡(luò)形狀; 圖7.8 (b)輸出層到輸入層具有反饋的前向網(wǎng)絡(luò); 圖7.8 (c) 層內(nèi)有相互連接的前向網(wǎng)絡(luò)。,36,所謂相互連接型網(wǎng)絡(luò)是指網(wǎng)絡(luò)中任意兩個神經(jīng)元之間是可達(dá)的,即存在連接路徑,如圖7.8(d)所示。,2.相互連接型結(jié)構(gòu),37,權(quán)值修正學(xué)派認(rèn)為:神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是不斷調(diào)整網(wǎng)絡(luò)的連接權(quán),以獲得期望的輸出的過程。,7. 3. 2 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),38,相關(guān)學(xué)習(xí)法 誤差修正學(xué)習(xí)法,典型的權(quán)值修正方法有兩類,39,式中,wji( t + 1)表示修正一次后的某一權(quán)值;η稱為學(xué)習(xí)因子,決定每次權(quán)值的修正量,x i(t)、xj(t)分別表示 t 時刻第i、第j個神經(jīng)元的狀態(tài)。,相關(guān)學(xué)習(xí)法 如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時處于興奮狀態(tài),那么這兩個神經(jīng)元間的連接強(qiáng)度應(yīng)該加強(qiáng)。相關(guān)學(xué)習(xí)法是根據(jù)連接間的激活水平改變權(quán)值的,相關(guān)學(xué)習(xí)法也稱Hebb學(xué)習(xí)規(guī)則,可用一數(shù)學(xué)表達(dá)式表示為:,40,(1)選擇一組初始權(quán)值和偏差值; (2)計(jì)算某一輸入模式對應(yīng)的實(shí)際輸出與期望輸出的誤差 (3)更新權(quán)值(偏差值可視為輸入恒為-1的一個權(quán)值) 式中,η為學(xué)習(xí)因子; y je(t)、yj(t) 分別表示第j個神經(jīng) 元 的期望輸出與實(shí)際輸出;x i為第i個神經(jīng)元的輸入; (4)返回步驟(2),直到對所有訓(xùn)練模式,網(wǎng)絡(luò)輸出均 能滿足要求。,誤差修正學(xué)習(xí)法 根據(jù)期望輸出與實(shí)際輸出之間的誤差大小來修正權(quán)值。誤差修正學(xué)習(xí)法也稱δ學(xué)習(xí)規(guī)則,可由如下四步來描述;,41,例2.考慮一個2輸入MP模型神經(jīng)元的學(xué)習(xí)。假設(shè)初始參數(shù)為: w1 = 0.2, w2 = -0.5, b = 0.1 要求該神經(jīng)元能實(shí)現(xiàn)下列邏輯真值表:,邏輯真值表 x1:0 0 1 1 x2:0 1 0 1 ye:1 1 0 0,42,解:神經(jīng)元輸入和的表達(dá)式為: n = w 1 x 1 + w 2 x 2 - b 滿足所給邏輯真值表的激活函數(shù)不等式組為:,x1 x2 ye 不等式組 0 0 1 - b> 0 b< 0 0 1 1 w 2 - b> 0 b< w 2 1 0 0 w 1 - b≤ 0 b≥ w 1 1 1 0 w 1 + w 2 - b≤ 0 b≥ w 1 + w 2 在初始參數(shù)設(shè)置下,神經(jīng)元的實(shí)際輸出為: n1 = 0.2*0 – 0.5*0 – 0.1 = - 0.1< 0 y1 = 0 n2 = 0.2*0 – 0.5*1 – 0.1 = - 0.6< 0 y2= 0 n3 = 0.2*1 – 0.5*0 – 0.1 = 0.1> 0 y 3= 1 n4 = 0.2*1 – 0.5*1 – 0.1 = - 0.4< 0 y4= 0 可見,有3個輸入模式相應(yīng)的輸出都與期望輸出不符, 即有誤差。下面我們看如何使用δ學(xué)習(xí)規(guī)則進(jìn)行學(xué)習(xí)。,43,首先,確定學(xué)習(xí)因子η,即確定每次誤差修正量的多少。假如學(xué)習(xí)因子η采用下式確定:,式中,α為一個正的常數(shù),通常在0-1之間取值。為簡便起見,這里取值為0.1。,44,1. 當(dāng)輸入x1x2 = 00時: 要使實(shí)際輸出 y = 1,必須滿足激活函數(shù)大于0,即: n1 = - b>0 b<0 閾值b需取負(fù)值,根據(jù)(2.11)式得學(xué)習(xí)因子η的值為: 修正后的權(quán)、閾值為: 由于x1 = x2 = 0,所以權(quán)值不變。 第一次學(xué)習(xí)結(jié)束后,MP模型神經(jīng)元的參數(shù)為: w1 (1) = 0.2,w2 (1) = - 0.5,b(1) = 0。 b(1)≮ 0。,,,45,對權(quán)閾值進(jìn)行修正如下: 第二次學(xué)習(xí)結(jié)束后,MP模型神經(jīng)元的參數(shù)為: w1 (2) = 0.2,w2 (2) = - 0.2,b(2) = -0.3。 b (2) < w 2 (2),b(2)<0。,,當(dāng)輸入x1 = 0,x2 = 1 時,要使實(shí)際輸出 y = 1,必須滿足激活函數(shù)大于0,即: w 2 - b> 0 b< w 2 b還要滿足前面的條件 b<0,46,學(xué)習(xí)結(jié)果為: w1 (7) = - 0.225,w2 (7) = - 0.0875,b(7) = -0.1875。 滿足條件: b(7) <0 w 1 (7)≤b(7)< w 2 (7) b(7)≥ w 1 (7) + w 2 (7) 能夠?qū)崿F(xiàn)要求真值表功能。,依次類推,表2.1給出了一個學(xué)習(xí)的結(jié)果。,47,學(xué)習(xí)過程中決策直線在樣本平面的位置變化,如圖7.6。,48,2.3.2. 學(xué)習(xí)技術(shù)分類 根據(jù)學(xué)習(xí)時是否需要外部指導(dǎo)信息,通常將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)分為三種類型,即:,有導(dǎo)師學(xué)習(xí) 強(qiáng)化學(xué)習(xí) 無導(dǎo)師學(xué)習(xí),49,有導(dǎo)師學(xué)習(xí) 必須預(yù)先知道學(xué)習(xí)的期望結(jié)果——教師信 息,并依此按照某一學(xué)習(xí)規(guī)則來修正權(quán)值。 強(qiáng)化學(xué)習(xí) 利用某一表示“獎/懲”的全局信號,衡量與強(qiáng)化輸入相關(guān)的局部決策如何。 無導(dǎo)師學(xué)習(xí) 不需要教師信息或強(qiáng)化信號,只要給定輸入信息,網(wǎng)絡(luò)通過自組織調(diào)整,自學(xué)習(xí)并給出一定意義下 的輸出響應(yīng)。,50,權(quán)值修正 拓?fù)渥兓?權(quán)值與拓?fù)湫拚?從神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變化的角度來分,學(xué)習(xí)技術(shù)還可分為三種:,51,確定性學(xué)習(xí) 隨機(jī)性學(xué)習(xí),學(xué)習(xí)技術(shù)又還可分為:,52,- 1.請仔細(xì)閱讀文檔,確保文檔完整性,對于不預(yù)覽、不比對內(nèi)容而直接下載帶來的問題本站不予受理。
- 2.下載的文檔,不會出現(xiàn)我們的網(wǎng)址水印。
- 3、該文檔所得收入(下載+內(nèi)容+預(yù)覽)歸上傳者、原創(chuàng)作者;如果您是本文檔原作者,請點(diǎn)此認(rèn)領(lǐng)!既往收益都?xì)w您。
下載文檔到電腦,查找使用更方便
20 積分
下載 |
- 配套講稿:
如PPT文件的首頁顯示word圖標(biāo),表示該P(yáng)PT已包含配套word講稿。雙擊word圖標(biāo)可打開word文檔。
- 特殊限制:
部分文檔作品中含有的國旗、國徽等圖片,僅作為作品整體效果示例展示,禁止商用。設(shè)計(jì)者僅對作品中獨(dú)創(chuàng)性部分享有著作權(quán)。
- 關(guān) 鍵 詞:
- 人工 神經(jīng)網(wǎng)絡(luò) 理論 應(yīng)用 ppt 課件
鏈接地址:http://m.kudomayuko.com/p-1569426.html