人工智能 第七章 機器學習

《人工智能 第七章 機器學習》由會員分享，可在線閱讀，更多相關《人工智能 第七章 機器學習（14頁珍藏版）》請在裝配圖網上搜索。

1、第七章 機器學習 教學內容：機器學習是繼專家系統(tǒng)之后人工智能應用的又一重要研究領域。本章 主要介紹機器學習的有關知識及其主要的幾種學習方法，并介紹了知識發(fā)現(xiàn)的相 關內容。 教學重點：機器學習的基本結構、類比學習、神經學習、知識發(fā)現(xiàn) 教學難點：學習系統(tǒng)的結構，知識發(fā)現(xiàn)的處理過程， 教學方法：課堂教學為主。注意結合學生已學的內容。及時提問、收集學生學習 情況，多實用具體實例來加以說明，注意難易結合，將課程講述得較為淺顯易懂。 教學要求：重點掌握類比學習和知識發(fā)現(xiàn)，掌握機器學習的發(fā)展史和神經學習， 了解解釋學習、歸納學習，一般了解機械學習。 7.1 機器學習的定義和發(fā)展歷史 教學內容：

2、本小節(jié)主要介紹了機器學習的定義以及其發(fā)展的過程，為后面的進一 步學習打下基礎。 教學重點：機器學習的定義 教學難點：對定義的準確把握和理解 教學方法：通過舉例引入機器學習的定義，在講述發(fā)展歷史時，簡介各階段的具 體產物，讓學生有較為具體的感受和體會。 教學要求：重點掌握機器學習的定義，了解機器學習的發(fā)展史。 7.1.1 機器學習的定義 1. 機器學習的基本概念： 按照人工智能大師西蒙的觀點，學習就是系統(tǒng)在不斷重復的工作中對本身能 力的增強或者改進，使得系統(tǒng)在下一次執(zhí)行同樣任務或類似任務時，會比現(xiàn)在做 得更好或效率更高。 2. 機器學習的定義 機器學習是研究如何使用機器來模擬人

3、類學習活動的一門學科。稍為嚴格的 提法是：機器學習是一門研究機器獲取新知識和新技能，并識別現(xiàn)有知識的學問。 舉例：列舉 1959 年美國的塞繆爾設計的一下棋程序，由這一事件引出關于機器 學習的概念的相關討論。 提問：討論關于機器學習的各種概念的提出以及其區(qū)別。 7.1.2 機器學習的發(fā)展史 機器學習是人工智能應用研究較為重要的分支，它的發(fā)展過程大體上可分為 4 個時期： 1. 第一階段是在 50年代中葉到 60 年代中葉，屬于熱烈時期。在這個時期， 所研究的是“沒有知識”的學習，即“無知”學習；其研究目標是各類自組織系 統(tǒng)和自適應系統(tǒng)；指導本階段研究的理論基礎是早在 40 年代就開始

4、研究的神經 網絡模型。在這個時期，我國研制了數(shù)字識別學習機。 2. 第二階段在 60年代中葉至 70 年代中葉，被稱為機器學習的冷靜時期。本 階段的研究目標是模擬人類的概念學習過程，并采用邏輯結構或圖結構作為機器 內部描述。這個時期正是我國“史無前例”的十年，對機器學習的研究不可能取 得實質進展。 3. 第三階段從 70 年代中葉至 80 年代中葉，稱為復興時期。在這個時期，人 們從學習單個概念擴展到學習多個概念，探索不同的學習策略和各種學習方法。 本階段已開始把學習系統(tǒng)與各種應用結合起來，中國科學院自動化研究所進行質 譜分析和模式文法推斷研究，表明我國的機器學習研究得到恢復。1980 年

5、西蒙 來華傳播機器學習的火種后，我國的機器學習研究出現(xiàn)了新局面。 4. 機器學習的最新階段始于 1986年。一方面，由于神經網絡研究的重新興 起，另一方面，對實驗研究和應用研究得到前所未有的重視。我國的機器學習研 究開始進入穩(wěn)步發(fā)展和逐漸繁榮的新時期。 討論：根據對四個時期的劃分和分段了解，討論機器學習在現(xiàn)實生活中的具體運 用及其影響。 7.2 機器學習的主要策略與基本結構 內容與作用：本小節(jié)概括了機器學習的主要策略，同時給出了機器學習的基本結 構，讓學生對機器學習的機制有了基本的認識。 教學重點：機器學習的基本結構。 教學難點：機器學習基本結構的內在聯(lián)系。 教學方法：通過概括介

6、紹讓學生了解幾種基本的策略，按從易到難的順序，層層 鋪墊，為后面的學習埋下伏筆。詳細講述機器學習的基本結構，通過圖示讓更為 形象的說明。 教學要求：重點掌握機器學習的基本結構，了解機器學習的幾種主要策略，一般 了解影響學習系統(tǒng)設計的因素。 7.2.1 機器學習的主要策略 學習過程與推理過程是緊密相連的，按照學習中使用推理的多少，機器學習 所采用的策略大體上可分為 4 種棗機械學習、示教學習、類比學習和示例學習。 學習中所用的推理越多，系統(tǒng)的能力越強。 1. 機械學習就是記憶，是最簡單的學習策略。這種學習策略不需要任何推理 過程。 2. 比機械學習更復雜一點的學習是示教學習策略。系統(tǒng)在

7、接受外部知識時需 要一點推理，翻譯和轉化工作。 3. 類比學習系統(tǒng)只能得到完成類似任務的有關因此，他比上述兩種學習策略 需要更多的推理。 4. 采用示例學習策略的計算機系統(tǒng)，事先完全沒有完成任務的任何規(guī)律性的 信息，因此需要推理是最多的。 討論：通過對比四種主要策略，討論其各自的優(yōu)缺點以及其適用的環(huán)境。 7.2.2 機器學習系統(tǒng)的基本結構 1. 基本結構 圖 7.1 表示學習系統(tǒng)的基本結構： 圖 7.1 學習系統(tǒng)的基本結構 通過對這個簡單模型的討論，總結出設計學習 系統(tǒng)應當注意的某些總的原則： 環(huán)境向系統(tǒng)的學習部分提供某些信息，學習部 分利用這些信息修改知識庫，以增進系

8、統(tǒng)執(zhí)行部分完成任務的效能，執(zhí)行部 分根據知識庫完成任務，同時把獲得的信息反饋給學習部分。在具體的應用中， 環(huán)境，知識庫和執(zhí)行部分決定了具體的工作內容，學習部分所需要解決的問題完 全由上述 3 部分確定。 舉例：以人為例，說明機器學習和 人學習一樣，有著其自身的規(guī)律和基本過程。 而且，其學習過程也有著共性。 提問：能否就機器學習的基本結構，舉出相關的例子，并參照其基本結構對其進 行分析。 2. 影響學習系統(tǒng)設計的重要因素 (1) .影響學習系統(tǒng)設計的最重要的因素是環(huán)境向系統(tǒng)提供的信息。整個過程 要遵循“取之精華，棄之糟粕”的原則，同時謹記“實踐是檢驗真理的唯一標準”。 (2) .知識庫

9、是影響學習系統(tǒng)設計的第二個因素。知識的表示有多種形式，在 選擇表示方式時要兼顧以下 4 個方面： 表達能力強。所選擇的表示方式能很容易地表達有關的知識。 易于推理。為了使學習系統(tǒng)的計算代價比較低，希望知識表示方式能使推理 較為容易。 容易修改知識庫。學習系統(tǒng)的本質要求它不斷地修改自己的知識庫，當推廣 得出一般執(zhí)行規(guī)則后，要加到知識庫中。 知識表示易于擴展。 學習系統(tǒng)不能在全然沒有任何知識的情況下憑空獲取知識，每一個學習系統(tǒng) 都要求具有某些知識理解環(huán)境提供的信息，分析比較，做出假設，檢驗并修改這 些假設。因此，更確切地說，學習系統(tǒng)是對現(xiàn)有知識的擴展和改進。 舉例：可舉特征向量的例子來

10、說明表達能力和推理的問題。 7.3 機械學習 教學內容：本小節(jié)詳細介紹了機械學習，對機械學習模式和一種數(shù)據化簡模式以 及機械學習的主要缺點都有較為細致的講解。通過對這種最基本的機器學習的了 解，為以后學習更為復雜的策略打下良好的基礎。 教學重點：機械學習的模式和其數(shù)據化簡模式 教學難點：基本原理 教學方法：用較為通俗的語言將機械學習的模式講通徹，同時通過圖表對其數(shù)據 化簡過程進行講解。多結合日常生活中常有的學習過程，和機械學習參照，讓學 生更容易接受。 教學要求：重點掌握機械學習模式，了解機械學習的數(shù)據化簡模式以及機械學習 的優(yōu)缺點。 1、機械學習的模式 機械學習是最簡單的機器

11、學習方法。機械學習就是記憶，即把新的知識存儲 起來，供需要時檢索調用，而不需要計算和推理。機械學習又是最基本的學習過 程。任何學習系統(tǒng)都必須記住它們獲取的知識。在機械學習系統(tǒng)中，知識的獲取 是以較為穩(wěn)定和直接的方式進行的，不需要系統(tǒng)進行過多的加工。 舉例：可用嬰兒剛開始學東西時所才用的學習方式和成人的思維方式比較。 2、數(shù)據化簡 Lena t,Hayes Ro th,和Klahr等人于1979年關于機械學習提出一種有趣的 觀點。他們指出，可以把機械學習看成是數(shù)據化簡分級中的第一級。數(shù)據化簡與 計算機語言編譯類似；其目的是把原始信息變成可執(zhí)行的信息。在機械學習中我 們只記憶計算的輸入輸出,

12、忽略了計算過程,這樣就把計算問題化簡成存取問題。 見圖 7.2： 3、主要問題 對于機械學習，需要注意 3 個重要的問題：存儲組織，穩(wěn)定性和存儲與計算 之間的權衡。 （1）存儲組織信息：采用適當?shù)拇鎯Ψ绞剑箼z索速度 盡可能地快，是機械學習中的重要問題。 （2）環(huán)境的穩(wěn)定性與存儲信息的適用性問題：機械學習系統(tǒng)必須保證所保 存的信息適應于外界環(huán)境變化的需要，這也就是所謂的信息適用性問題。 （3）存儲與計算之間的權衡：對于機械學習來說很重要的一點是它不能降 低系統(tǒng)的效率。 討論：機械學習中存在的主要問題以及對學習模型的影響。 7.4 歸納學習 教學內容：本小節(jié)詳細介紹了歸

13、納學習，對歸納學習的模式有較為細致的講解， 對其定義有詳細的介紹，后半部分介紹了幾種常見的歸納學習的方法。 教學重點：歸納學習的定義和其學習模式 教學難點：歸納學習的基本原理 教學方法：仍然使用到圖表對歸納學習的模式進行講授，結合幾種常用的歸納學 習方法，讓學生形成系統(tǒng)的認識。 教學要求：重點掌握歸納學習的定義及其模式，了解歸納學習的幾種常見方法。 歸納學習的定義 (1) 歸納(induetion)是人類拓展認識能力的重要方法，是一種從個別到 一般的，從部分到整體的推理行為。 (2) 歸納推理是應用歸納方法，從足夠多的具體事例中歸納出一般性知識， 提取事物的一般規(guī)律；它是一種從個別到

14、一般的推理。 (3) 歸納學習(induetion learning)是應用歸納推理進行學習的一種方 法。根據歸納學習有無教師指導，可把它分為示例學習和觀察與發(fā)現(xiàn)學習。前者 屬于有師學習，后者屬于無師學習。 7.4.1 歸納學習的模式和規(guī)則 歸納學習的一般模式為： 給定：(1)觀察陳述(事實)F,用以表示有關某些對象、狀態(tài)、過程等的 特定知識；(2) 假定的初始歸納斷言(可能為空)；(3) 背景知識，用于定義有 關觀察陳述、候選歸納斷言以及任何相關問題領域知識、假設和約束，其中包括 能夠刻畫所求歸納斷言的性質的優(yōu)先準則。 求：歸納斷言(假設)H,能重言蘊涵或弱蘊涵觀察陳述，并滿足背景

15、知識。 假設H永真蘊涵事實F,說明F是H的邏輯推理，則有： H |> F (讀作 H 特殊化為 F) 或F |< H (讀作F —般化或消解為H) 這里，從H推導F是演繹推理，因此是保真的；而從事實F推導出假設H 是歸納推理，因此不是保真的，而是保假的。 歸納學習系統(tǒng)的模型如圖7.3所示。 圖 7.3 歸納學習系統(tǒng)模型 實驗規(guī)劃過程通過對實例空間的搜索完成實例選擇，并將這些選中的活躍實 例提交解釋過程。解釋過程對實例加以適當轉換，把活躍實例變換為規(guī)則空間中 的特定概念，以引導規(guī)則空間的搜索。 思考：引導學生通過對歸納學習模型的學習，結合身邊的實例加以分析。 7.4.2

16、 歸納學習方法 1、示例學習 示例學習(learning from examples)又稱為實例學習，它是通過環(huán)境中若 干與某概念有關的例子，經歸納得出一般性概念的一種學習方法。 在這種學習方法中，外部環(huán)境提供的是一組例子(正例和反例)， 示例學習就是要從這些特殊知識中歸納出適用于更大范圍的一般性知識，以 覆蓋所有的正例并排除所有反例。 2、觀察發(fā)現(xiàn)學習 觀察發(fā)現(xiàn)學習又稱為描述性概括，其目標是確定一個定律或理論的一般性描 述，刻畫觀察集，指定某類對象的性質。觀察發(fā)現(xiàn)學習可分為觀察學習與機器發(fā) 現(xiàn)兩種。前者用于對事例進行聚類，形成概念描述；后者用于發(fā)現(xiàn)規(guī)律，產生定 律或規(guī)則。 舉例

17、：通過書上的例子引出示例學習的概念，并加以說明。 7.5 類比學習 教學內容：本小節(jié)詳細介紹了類比學習，首先介紹類比推理，然后討論類比學習 的形式和學習步驟，最后研究類比學習的過程和研究類型。 教學重點：類比推理，類比學習的學習過程 教學難點：類比推理的步驟 教學方法：本節(jié)的知識較為枯燥，講述的時候要盡量多結合相關的示例讓學生能 有具體的感受，更有力于接受知識。 教學要求：重點掌握類比推理的定義，了解類比學習的過程。 7.5.1 類比推理和類比學習形式 類比推理是由新情況與已知情況在某些方面的相似來推出它們在其它相關 方面的相似。顯然，類比推理是在兩個相似域之間進行的：類比推理

18、的目的是從 源域中選出與當前問題最近似的問題及其求解方法以求解決當前的問題，或者建 立起目標域中已有命題間的聯(lián)系，形成新知識。 其推理過程如下： (1) 回憶與聯(lián)想 遇到新情況或新問題時，首先通過回憶與聯(lián)想在S中找出與當前情況相似的 情況，這些情況是過去已經處理過的，有現(xiàn)成的解決方法及相關的知識。 (2) 選擇 從找出的相似情況中選出與當前情況最相似的情況及其有關知識。 (3) 建立對應映射 在S與T的相似情況之間建立相似元素的對應關系，并建立起相應的映射。 (4) 轉換 在上一步建立的映射下，把S中的有關知識引到T中來，從而建立起求解當 前問題的方法或者學習到關于T的新知識

19、。 舉例：舉出現(xiàn)實中的具體實例，按推理過程對其步驟進行一步步的細分。 7.5.2 類比學習過程與研究類型 類比學習主要包括如下四個過程： (1) 輸入一組已知條件(已解決問題)和一組未完全確定的條件(新問題)。 (2) 對輸入的兩組條件，根據其描述，按某種相似性的定義尋找兩者可類比 的對應關系。 (3) 按相似變換的方法，將已有問題的概念、特性、方法、關系等映射到新 問題上，以獲得待求解新問題所需的新知識。 (4) 對類推得到的新問題的知識進行校驗。驗證正確的知識存入知識庫中， 而暫時還無法驗證的知識只能作為參考性知識，置于數(shù)據庫中。 7.6 解釋學習 教學內容：本小節(jié)對兩種

20、基本的學習進行了介紹，對相關知識能有所了解，對以 后的學習有很大的幫助。 教學重點：解釋學習的過程和算法，神經學習的相關知識 教學難點：解釋學習的過程和算法 教學方法：由于本節(jié)知識只做一般了解，所以只需對相關概念做個簡介即可 教學要求：了解解釋學習的過程及神經學習的概念。 7.6.1 解釋學習過程和算法 解釋學習一般包括下列 3 個步驟： (1) 利用基于解釋的方法對訓練例子進行分析與解釋。 (2) 對例子的結構進行概括性解釋。 (3) 從解釋結構中識別出訓練例子的特性，獲取一般控制知識。 1986年米切爾(Mitchell)等人為基于解釋的學習提出了一個統(tǒng)一的算法 EBG,

21、該算法建立了基于解釋的概括過程，并運用知識的邏輯表示和演繹推理進 行問題求解。圖 7.4 表示 EBG 問題。 操作準則 目標概念 —*― 新規(guī)則 訓練例子 1 知識庫 圖 7.4 EBG 問題 EBG 求解問題的形式可描述于下: 給定： (1) 目標概念描述 TC； (2) 訓練實例 TE； (3) 領域知識 DT； (4) 操作準則 OC。 求解：訓練實例的一般化概括，使之滿足： (1) 目標概念的充分概括描述 TC； (2) 操作準則 OC。 思考：引導學生自學本小節(jié)的某些知識，結合書上的示例對數(shù)學推理有一定了解 例子：通過解釋學習獲得一個物體(X)可安全

22、放置到另一個物體(y)上的概念。 7.7 神經學習 教學內容：討論基于神經網絡學習的基本原理。 教學重點：基于反向傳播網絡的學習，基于Hopfield網絡的學習。 教學難點： 上述兩種神經學習的算法。 教學方法： 課堂講授為主。 教學要求： 掌握上述神經學習的結構，了解神經學習的算法。 7.7.1 基于反向傳播網絡的學習 反向傳播算法是一種計算單個權值變化引起網絡性能變化值的較為簡單的 方法。由于BP算法過程包含從輸出節(jié)點開始，反向地向第一隱含層（即最接近輸 入層的隱含層）傳播由總誤差引起的權值修正，所以稱為“反向傳播”。反向傳 播特性與所求解問題的性質和所作細節(jié)選擇有極為密切

23、的關系。 7?7?2基于Hopfield網絡的學習 反饋神經網絡，它是一種動態(tài)反饋系統(tǒng)，比前饋網絡具有更強的計算能力。 Hopfield 網絡是一種具有正反相輸出的帶反饋人工神經元。 Hopfield 網絡 系統(tǒng)不僅能夠實現(xiàn)聯(lián)想記憶，而且能夠執(zhí)行線性和非線性規(guī)劃等優(yōu)化求解任務。 7?8 知識發(fā)現(xiàn) 教學內容：知識發(fā)現(xiàn)的發(fā)展過程和定義，知識發(fā)現(xiàn)的處理過程，知識發(fā)現(xiàn)的方法 和應用。 教學重點：知識發(fā)現(xiàn)的處理過程，知識發(fā)現(xiàn)的方法。 教學難點：知識發(fā)現(xiàn)的方法 教學方法：通過實例激發(fā)學生對知識發(fā)現(xiàn)的學習興趣，進而重點講解知識發(fā)現(xiàn)的 過程和方法。 教學要求：重點掌握知識發(fā)現(xiàn)的過程，了解知識

24、發(fā)現(xiàn)的方法，了解知識發(fā)現(xiàn)的應 用。 7?8?1 知識發(fā)現(xiàn)的發(fā)展和定義 1?知識發(fā)現(xiàn)的產生和發(fā)展 知識發(fā)現(xiàn)最早是于1989年8月在第11屆國際人工智能聯(lián)合會議的專題討論 會上提出。隨著互聯(lián)網的發(fā)展，網上已設立了不少研究 KDD 的網站、論壇和新聞 報導。在研究的基礎上，也出現(xiàn)一些 KDD 產品和應用系統(tǒng)，引起企業(yè)界的關注。 2?定義：數(shù)據庫中的知識發(fā)現(xiàn)是從大量數(shù)據中辨識出有效的、新穎的、潛在有用 的、并可被理解的模式的高級處理過程。 （1）數(shù)據集：是指一個有關事實F的集合，它是用來描述事物有關方面的 信息，是進一步發(fā)現(xiàn)知識的原材料。 2）新穎：經過知識發(fā)現(xiàn)提取出的模式必須是新穎的。

25、 （3）潛在有用：提取出的模式應該是有意義的，這可以通過某些函數(shù)的值 來衡量。 （4）可被人理解：知識發(fā)現(xiàn)的一個目標就是將數(shù)據庫中隱含的模式以容易 被人理解的形式表現(xiàn)出來，從而幫助人們更好地了解數(shù)據庫中所包含的信息。 7.8.2 知識發(fā)現(xiàn)的處理過程 1、 數(shù)據選擇。根據用戶的需求從數(shù)據庫中提取與KDD相關的數(shù)據。 2、 數(shù)據預處理。主要是對上述數(shù)據進行再加工，檢查數(shù)據的完整性及數(shù)據的一 致性，對丟失的數(shù)據利 用統(tǒng)計方法進行填補，形成發(fā)掘數(shù)據庫。 3、 數(shù)據變換。即從發(fā)掘數(shù)據庫里選擇數(shù)據。 4?數(shù)據挖掘。根據用戶要求，確定KDD的 目標是發(fā)現(xiàn)何種類型的知識。 5、知識評價。這一過

26、程主要用于對所獲得的 規(guī)則進行價值評定，以決定所得的規(guī)則是否存入基礎知識庫。 上述KDD全過程的幾個步驟可以進一步歸納為三個步驟，即數(shù)據挖掘預處理 （數(shù)據挖掘前的準備工作）、數(shù)據挖掘、數(shù)據挖掘后處理（數(shù)據挖掘后的處理工 作）。 簡單介紹幾種新的對數(shù)據發(fā)掘的改進過程。 舉例：參照上述的處理過程，舉出具體實例，詳細講述每步的過程。 知識發(fā)現(xiàn)的方法 知識發(fā)現(xiàn)的方法有統(tǒng)計方法、機器學習、神經計算和可視化方法等。 1、 統(tǒng)計方法 統(tǒng)計方法是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。 2、 機器學習方法 可能用于機器發(fā)現(xiàn)的機器學習方法有： (1) 規(guī)則歸納。規(guī)則反映數(shù)據項中某些

27、屬性或數(shù)據集中某些數(shù)據項之間的統(tǒng) 計相關性。 (2) 決策樹。決策樹的每一個非終葉節(jié)點表示所考慮的數(shù)據項的測試或決 策。 (3) 范例推理。范例推理是直接使用過去的經驗或解法來求解給定的問題。 (4) 貝葉斯信念網絡。貝葉斯信念網絡是概率分布的圖表示。 (5) 科學發(fā)現(xiàn)?？茖W發(fā)現(xiàn)是在實驗環(huán)境下發(fā)現(xiàn)科學定律。 (6) 遺傳算法。在求解過程中，通過最好解的選擇和彼此組合，使期望解的 集合愈來愈好。 3、神經計算方法 4、可視化方法 可視化(visualization)就是把數(shù)據、信息和知識轉化為可視的表示形式 的過程。 舉例：舉出幾個具體的實例讓學生對機器學習的幾種方法有基本了解。 7.8.4 知識發(fā)現(xiàn)的應用 知識發(fā)現(xiàn)已在許多領域得到應用，且應用領域越來越廣。現(xiàn)在，知識發(fā)現(xiàn)已 在銀行業(yè)、保險業(yè)、零售業(yè)、醫(yī)療保健、工程和制造業(yè)、科學研究、衛(wèi)星觀察和 娛樂業(yè)等行業(yè)和部門得到成功應用，為人們的科學決策提供很大幫助。 思考：舉出有關的幾種應用，再想想再現(xiàn)實生活中是否有其它的應用。 7.9 小 結 本章只對機器學習作個入門介紹。 機器學習在過去十多年中獲得較大發(fā)展。今后機器學習將在理論概念、計算 機理、綜合技術和推廣應用等方面開展新的研究。其中，對結構模型、計算理論、 算法和混合學習的開發(fā)尤為重要。在這些方面，有許多事要做，有許多新問題需 要人們去解決。