人工智能 第七章 機(jī)器學(xué)習(xí)

《人工智能 第七章 機(jī)器學(xué)習(xí)》由會(huì)員分享，可在線閱讀，更多相關(guān)《人工智能 第七章 機(jī)器學(xué)習(xí)（14頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、第七章 機(jī)器學(xué)習(xí) 教學(xué)內(nèi)容：機(jī)器學(xué)習(xí)是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域。本章 主要介紹機(jī)器學(xué)習(xí)的有關(guān)知識(shí)及其主要的幾種學(xué)習(xí)方法，并介紹了知識(shí)發(fā)現(xiàn)的相 關(guān)內(nèi)容。 教學(xué)重點(diǎn)：機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)、類比學(xué)習(xí)、神經(jīng)學(xué)習(xí)、知識(shí)發(fā)現(xiàn) 教學(xué)難點(diǎn)：學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)，知識(shí)發(fā)現(xiàn)的處理過程， 教學(xué)方法：課堂教學(xué)為主。注意結(jié)合學(xué)生已學(xué)的內(nèi)容。及時(shí)提問、收集學(xué)生學(xué)習(xí) 情況，多實(shí)用具體實(shí)例來加以說明，注意難易結(jié)合，將課程講述得較為淺顯易懂。 教學(xué)要求：重點(diǎn)掌握類比學(xué)習(xí)和知識(shí)發(fā)現(xiàn)，掌握機(jī)器學(xué)習(xí)的發(fā)展史和神經(jīng)學(xué)習(xí)， 了解解釋學(xué)習(xí)、歸納學(xué)習(xí)，一般了解機(jī)械學(xué)習(xí)。 7.1 機(jī)器學(xué)習(xí)的定義和發(fā)展歷史 教學(xué)內(nèi)容：

2、本小節(jié)主要介紹了機(jī)器學(xué)習(xí)的定義以及其發(fā)展的過程，為后面的進(jìn)一 步學(xué)習(xí)打下基礎(chǔ)。 教學(xué)重點(diǎn)：機(jī)器學(xué)習(xí)的定義 教學(xué)難點(diǎn)：對(duì)定義的準(zhǔn)確把握和理解 教學(xué)方法：通過舉例引入機(jī)器學(xué)習(xí)的定義，在講述發(fā)展歷史時(shí)，簡(jiǎn)介各階段的具 體產(chǎn)物，讓學(xué)生有較為具體的感受和體會(huì)。 教學(xué)要求：重點(diǎn)掌握機(jī)器學(xué)習(xí)的定義，了解機(jī)器學(xué)習(xí)的發(fā)展史。 7.1.1 機(jī)器學(xué)習(xí)的定義 1. 機(jī)器學(xué)習(xí)的基本概念： 按照人工智能大師西蒙的觀點(diǎn)，學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身能 力的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或類似任務(wù)時(shí)，會(huì)比現(xiàn)在做 得更好或效率更高。 2. 機(jī)器學(xué)習(xí)的定義 機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來模擬人

3、類學(xué)習(xí)活動(dòng)的一門學(xué)科。稍為嚴(yán)格的 提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問。 舉例：列舉 1959 年美國(guó)的塞繆爾設(shè)計(jì)的一下棋程序，由這一事件引出關(guān)于機(jī)器 學(xué)習(xí)的概念的相關(guān)討論。 提問：討論關(guān)于機(jī)器學(xué)習(xí)的各種概念的提出以及其區(qū)別。 7.1.2 機(jī)器學(xué)習(xí)的發(fā)展史 機(jī)器學(xué)習(xí)是人工智能應(yīng)用研究較為重要的分支，它的發(fā)展過程大體上可分為 4 個(gè)時(shí)期： 1. 第一階段是在 50年代中葉到 60 年代中葉，屬于熱烈時(shí)期。在這個(gè)時(shí)期， 所研究的是“沒有知識(shí)”的學(xué)習(xí)，即“無知”學(xué)習(xí)；其研究目標(biāo)是各類自組織系 統(tǒng)和自適應(yīng)系統(tǒng)；指導(dǎo)本階段研究的理論基礎(chǔ)是早在 40 年代就開始

4、研究的神經(jīng) 網(wǎng)絡(luò)模型。在這個(gè)時(shí)期，我國(guó)研制了數(shù)字識(shí)別學(xué)習(xí)機(jī)。 2. 第二階段在 60年代中葉至 70 年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。本 階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器 內(nèi)部描述。這個(gè)時(shí)期正是我國(guó)“史無前例”的十年，對(duì)機(jī)器學(xué)習(xí)的研究不可能取 得實(shí)質(zhì)進(jìn)展。 3. 第三階段從 70 年代中葉至 80 年代中葉，稱為復(fù)興時(shí)期。在這個(gè)時(shí)期，人 們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。 本階段已開始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來，中國(guó)科學(xué)院自動(dòng)化研究所進(jìn)行質(zhì) 譜分析和模式文法推斷研究，表明我國(guó)的機(jī)器學(xué)習(xí)研究得到恢復(fù)。1980 年

5、西蒙 來華傳播機(jī)器學(xué)習(xí)的火種后，我國(guó)的機(jī)器學(xué)習(xí)研究出現(xiàn)了新局面。 4. 機(jī)器學(xué)習(xí)的最新階段始于 1986年。一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興 起，另一方面，對(duì)實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視。我國(guó)的機(jī)器學(xué)習(xí)研 究開始進(jìn)入穩(wěn)步發(fā)展和逐漸繁榮的新時(shí)期。 討論：根據(jù)對(duì)四個(gè)時(shí)期的劃分和分段了解，討論機(jī)器學(xué)習(xí)在現(xiàn)實(shí)生活中的具體運(yùn) 用及其影響。 7.2 機(jī)器學(xué)習(xí)的主要策略與基本結(jié)構(gòu) 內(nèi)容與作用：本小節(jié)概括了機(jī)器學(xué)習(xí)的主要策略，同時(shí)給出了機(jī)器學(xué)習(xí)的基本結(jié) 構(gòu)，讓學(xué)生對(duì)機(jī)器學(xué)習(xí)的機(jī)制有了基本的認(rèn)識(shí)。 教學(xué)重點(diǎn)：機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)。 教學(xué)難點(diǎn)：機(jī)器學(xué)習(xí)基本結(jié)構(gòu)的內(nèi)在聯(lián)系。 教學(xué)方法：通過概括介

6、紹讓學(xué)生了解幾種基本的策略，按從易到難的順序，層層 鋪墊，為后面的學(xué)習(xí)埋下伏筆。詳細(xì)講述機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)，通過圖示讓更為 形象的說明。 教學(xué)要求：重點(diǎn)掌握機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)，了解機(jī)器學(xué)習(xí)的幾種主要策略，一般 了解影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的因素。 7.2.1 機(jī)器學(xué)習(xí)的主要策略 學(xué)習(xí)過程與推理過程是緊密相連的，按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí) 所采用的策略大體上可分為 4 種棗機(jī)械學(xué)習(xí)、示教學(xué)習(xí)、類比學(xué)習(xí)和示例學(xué)習(xí)。 學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。 1. 機(jī)械學(xué)習(xí)就是記憶，是最簡(jiǎn)單的學(xué)習(xí)策略。這種學(xué)習(xí)策略不需要任何推理 過程。 2. 比機(jī)械學(xué)習(xí)更復(fù)雜一點(diǎn)的學(xué)習(xí)是示教學(xué)習(xí)策略。系統(tǒng)在

7、接受外部知識(shí)時(shí)需 要一點(diǎn)推理，翻譯和轉(zhuǎn)化工作。 3. 類比學(xué)習(xí)系統(tǒng)只能得到完成類似任務(wù)的有關(guān)因此，他比上述兩種學(xué)習(xí)策略 需要更多的推理。 4. 采用示例學(xué)習(xí)策略的計(jì)算機(jī)系統(tǒng)，事先完全沒有完成任務(wù)的任何規(guī)律性的 信息，因此需要推理是最多的。 討論：通過對(duì)比四種主要策略，討論其各自的優(yōu)缺點(diǎn)以及其適用的環(huán)境。 7.2.2 機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu) 1. 基本結(jié)構(gòu) 圖 7.1 表示學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)： 圖 7.1 學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu) 通過對(duì)這個(gè)簡(jiǎn)單模型的討論，總結(jié)出設(shè)計(jì)學(xué)習(xí) 系統(tǒng)應(yīng)當(dāng)注意的某些總的原則： 環(huán)境向系統(tǒng)的學(xué)習(xí)部分提供某些信息，學(xué)習(xí)部 分利用這些信息修改知識(shí)庫(kù)，以增進(jìn)系

8、統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行部 分根據(jù)知識(shí)庫(kù)完成任務(wù)，同時(shí)把獲得的信息反饋給學(xué)習(xí)部分。在具體的應(yīng)用中， 環(huán)境，知識(shí)庫(kù)和執(zhí)行部分決定了具體的工作內(nèi)容，學(xué)習(xí)部分所需要解決的問題完 全由上述 3 部分確定。 舉例：以人為例，說明機(jī)器學(xué)習(xí)和 人學(xué)習(xí)一樣，有著其自身的規(guī)律和基本過程。 而且，其學(xué)習(xí)過程也有著共性。 提問：能否就機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)，舉出相關(guān)的例子，并參照其基本結(jié)構(gòu)對(duì)其進(jìn) 行分析。 2. 影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的重要因素 (1) .影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要的因素是環(huán)境向系統(tǒng)提供的信息。整個(gè)過程 要遵循“取之精華，棄之糟粕”的原則，同時(shí)謹(jǐn)記“實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)”。 (2) .知識(shí)庫(kù)

9、是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素。知識(shí)的表示有多種形式，在 選擇表示方式時(shí)要兼顧以下 4 個(gè)方面： 表達(dá)能力強(qiáng)。所選擇的表示方式能很容易地表達(dá)有關(guān)的知識(shí)。 易于推理。為了使學(xué)習(xí)系統(tǒng)的計(jì)算代價(jià)比較低，希望知識(shí)表示方式能使推理 較為容易。 容易修改知識(shí)庫(kù)。學(xué)習(xí)系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識(shí)庫(kù)，當(dāng)推廣 得出一般執(zhí)行規(guī)則后，要加到知識(shí)庫(kù)中。 知識(shí)表示易于擴(kuò)展。 學(xué)習(xí)系統(tǒng)不能在全然沒有任何知識(shí)的情況下憑空獲取知識(shí)，每一個(gè)學(xué)習(xí)系統(tǒng) 都要求具有某些知識(shí)理解環(huán)境提供的信息，分析比較，做出假設(shè)，檢驗(yàn)并修改這 些假設(shè)。因此，更確切地說，學(xué)習(xí)系統(tǒng)是對(duì)現(xiàn)有知識(shí)的擴(kuò)展和改進(jìn)。 舉例：可舉特征向量的例子來

10、說明表達(dá)能力和推理的問題。 7.3 機(jī)械學(xué)習(xí) 教學(xué)內(nèi)容：本小節(jié)詳細(xì)介紹了機(jī)械學(xué)習(xí)，對(duì)機(jī)械學(xué)習(xí)模式和一種數(shù)據(jù)化簡(jiǎn)模式以 及機(jī)械學(xué)習(xí)的主要缺點(diǎn)都有較為細(xì)致的講解。通過對(duì)這種最基本的機(jī)器學(xué)習(xí)的了 解，為以后學(xué)習(xí)更為復(fù)雜的策略打下良好的基礎(chǔ)。 教學(xué)重點(diǎn)：機(jī)械學(xué)習(xí)的模式和其數(shù)據(jù)化簡(jiǎn)模式 教學(xué)難點(diǎn)：基本原理 教學(xué)方法：用較為通俗的語言將機(jī)械學(xué)習(xí)的模式講通徹，同時(shí)通過圖表對(duì)其數(shù)據(jù) 化簡(jiǎn)過程進(jìn)行講解。多結(jié)合日常生活中常有的學(xué)習(xí)過程，和機(jī)械學(xué)習(xí)參照，讓學(xué) 生更容易接受。 教學(xué)要求：重點(diǎn)掌握機(jī)械學(xué)習(xí)模式，了解機(jī)械學(xué)習(xí)的數(shù)據(jù)化簡(jiǎn)模式以及機(jī)械學(xué)習(xí) 的優(yōu)缺點(diǎn)。 1、機(jī)械學(xué)習(xí)的模式 機(jī)械學(xué)習(xí)是最簡(jiǎn)單的機(jī)器

11、學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶，即把新的知識(shí)存儲(chǔ) 起來，供需要時(shí)檢索調(diào)用，而不需要計(jì)算和推理。機(jī)械學(xué)習(xí)又是最基本的學(xué)習(xí)過 程。任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識(shí)。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識(shí)的獲取 是以較為穩(wěn)定和直接的方式進(jìn)行的，不需要系統(tǒng)進(jìn)行過多的加工。 舉例：可用嬰兒剛開始學(xué)東西時(shí)所才用的學(xué)習(xí)方式和成人的思維方式比較。 2、數(shù)據(jù)化簡(jiǎn) Lena t,Hayes Ro th,和Klahr等人于1979年關(guān)于機(jī)械學(xué)習(xí)提出一種有趣的 觀點(diǎn)。他們指出，可以把機(jī)械學(xué)習(xí)看成是數(shù)據(jù)化簡(jiǎn)分級(jí)中的第一級(jí)。數(shù)據(jù)化簡(jiǎn)與 計(jì)算機(jī)語言編譯類似；其目的是把原始信息變成可執(zhí)行的信息。在機(jī)械學(xué)習(xí)中我 們只記憶計(jì)算的輸入輸出,

12、忽略了計(jì)算過程,這樣就把計(jì)算問題化簡(jiǎn)成存取問題。 見圖 7.2： 3、主要問題 對(duì)于機(jī)械學(xué)習(xí)，需要注意 3 個(gè)重要的問題：存儲(chǔ)組織，穩(wěn)定性和存儲(chǔ)與計(jì)算 之間的權(quán)衡。 （1）存儲(chǔ)組織信息：采用適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速度 盡可能地快，是機(jī)械學(xué)習(xí)中的重要問題。 （2）環(huán)境的穩(wěn)定性與存儲(chǔ)信息的適用性問題：機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保 存的信息適應(yīng)于外界環(huán)境變化的需要，這也就是所謂的信息適用性問題。 （3）存儲(chǔ)與計(jì)算之間的權(quán)衡：對(duì)于機(jī)械學(xué)習(xí)來說很重要的一點(diǎn)是它不能降 低系統(tǒng)的效率。 討論：機(jī)械學(xué)習(xí)中存在的主要問題以及對(duì)學(xué)習(xí)模型的影響。 7.4 歸納學(xué)習(xí) 教學(xué)內(nèi)容：本小節(jié)詳細(xì)介紹了歸

13、納學(xué)習(xí)，對(duì)歸納學(xué)習(xí)的模式有較為細(xì)致的講解， 對(duì)其定義有詳細(xì)的介紹，后半部分介紹了幾種常見的歸納學(xué)習(xí)的方法。 教學(xué)重點(diǎn)：歸納學(xué)習(xí)的定義和其學(xué)習(xí)模式 教學(xué)難點(diǎn)：歸納學(xué)習(xí)的基本原理 教學(xué)方法：仍然使用到圖表對(duì)歸納學(xué)習(xí)的模式進(jìn)行講授，結(jié)合幾種常用的歸納學(xué) 習(xí)方法，讓學(xué)生形成系統(tǒng)的認(rèn)識(shí)。 教學(xué)要求：重點(diǎn)掌握歸納學(xué)習(xí)的定義及其模式，了解歸納學(xué)習(xí)的幾種常見方法。 歸納學(xué)習(xí)的定義 (1) 歸納(induetion)是人類拓展認(rèn)識(shí)能力的重要方法，是一種從個(gè)別到 一般的，從部分到整體的推理行為。 (2) 歸納推理是應(yīng)用歸納方法，從足夠多的具體事例中歸納出一般性知識(shí)， 提取事物的一般規(guī)律；它是一種從個(gè)別到

14、一般的推理。 (3) 歸納學(xué)習(xí)(induetion learning)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一種方 法。根據(jù)歸納學(xué)習(xí)有無教師指導(dǎo)，可把它分為示例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)。前者 屬于有師學(xué)習(xí)，后者屬于無師學(xué)習(xí)。 7.4.1 歸納學(xué)習(xí)的模式和規(guī)則 歸納學(xué)習(xí)的一般模式為： 給定：(1)觀察陳述(事實(shí))F,用以表示有關(guān)某些對(duì)象、狀態(tài)、過程等的 特定知識(shí)；(2) 假定的初始?xì)w納斷言(可能為空)；(3) 背景知識(shí)，用于定義有 關(guān)觀察陳述、候選歸納斷言以及任何相關(guān)問題領(lǐng)域知識(shí)、假設(shè)和約束，其中包括 能夠刻畫所求歸納斷言的性質(zhì)的優(yōu)先準(zhǔn)則。 求：歸納斷言(假設(shè))H,能重言蘊(yùn)涵或弱蘊(yùn)涵觀察陳述，并滿足背景

15、知識(shí)。 假設(shè)H永真蘊(yùn)涵事實(shí)F,說明F是H的邏輯推理，則有： H |> F (讀作 H 特殊化為 F) 或F |< H (讀作F —般化或消解為H) 這里，從H推導(dǎo)F是演繹推理，因此是保真的；而從事實(shí)F推導(dǎo)出假設(shè)H 是歸納推理，因此不是保真的，而是保假的。 歸納學(xué)習(xí)系統(tǒng)的模型如圖7.3所示。 圖 7.3 歸納學(xué)習(xí)系統(tǒng)模型 實(shí)驗(yàn)規(guī)劃過程通過對(duì)實(shí)例空間的搜索完成實(shí)例選擇，并將這些選中的活躍實(shí) 例提交解釋過程。解釋過程對(duì)實(shí)例加以適當(dāng)轉(zhuǎn)換，把活躍實(shí)例變換為規(guī)則空間中 的特定概念，以引導(dǎo)規(guī)則空間的搜索。 思考：引導(dǎo)學(xué)生通過對(duì)歸納學(xué)習(xí)模型的學(xué)習(xí)，結(jié)合身邊的實(shí)例加以分析。 7.4.2

16、 歸納學(xué)習(xí)方法 1、示例學(xué)習(xí) 示例學(xué)習(xí)(learning from examples)又稱為實(shí)例學(xué)習(xí)，它是通過環(huán)境中若 干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法。 在這種學(xué)習(xí)方法中，外部環(huán)境提供的是一組例子(正例和反例)， 示例學(xué)習(xí)就是要從這些特殊知識(shí)中歸納出適用于更大范圍的一般性知識(shí)，以 覆蓋所有的正例并排除所有反例。 2、觀察發(fā)現(xiàn)學(xué)習(xí) 觀察發(fā)現(xiàn)學(xué)習(xí)又稱為描述性概括，其目標(biāo)是確定一個(gè)定律或理論的一般性描 述，刻畫觀察集，指定某類對(duì)象的性質(zhì)。觀察發(fā)現(xiàn)學(xué)習(xí)可分為觀察學(xué)習(xí)與機(jī)器發(fā) 現(xiàn)兩種。前者用于對(duì)事例進(jìn)行聚類，形成概念描述；后者用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定 律或規(guī)則。 舉例

17、：通過書上的例子引出示例學(xué)習(xí)的概念，并加以說明。 7.5 類比學(xué)習(xí) 教學(xué)內(nèi)容：本小節(jié)詳細(xì)介紹了類比學(xué)習(xí)，首先介紹類比推理，然后討論類比學(xué)習(xí) 的形式和學(xué)習(xí)步驟，最后研究類比學(xué)習(xí)的過程和研究類型。 教學(xué)重點(diǎn)：類比推理，類比學(xué)習(xí)的學(xué)習(xí)過程 教學(xué)難點(diǎn)：類比推理的步驟 教學(xué)方法：本節(jié)的知識(shí)較為枯燥，講述的時(shí)候要盡量多結(jié)合相關(guān)的示例讓學(xué)生能 有具體的感受，更有力于接受知識(shí)。 教學(xué)要求：重點(diǎn)掌握類比推理的定義，了解類比學(xué)習(xí)的過程。 7.5.1 類比推理和類比學(xué)習(xí)形式 類比推理是由新情況與已知情況在某些方面的相似來推出它們?cè)谄渌嚓P(guān) 方面的相似。顯然，類比推理是在兩個(gè)相似域之間進(jìn)行的：類比推理

18、的目的是從 源域中選出與當(dāng)前問題最近似的問題及其求解方法以求解決當(dāng)前的問題，或者建 立起目標(biāo)域中已有命題間的聯(lián)系，形成新知識(shí)。 其推理過程如下： (1) 回憶與聯(lián)想 遇到新情況或新問題時(shí)，首先通過回憶與聯(lián)想在S中找出與當(dāng)前情況相似的 情況，這些情況是過去已經(jīng)處理過的，有現(xiàn)成的解決方法及相關(guān)的知識(shí)。 (2) 選擇 從找出的相似情況中選出與當(dāng)前情況最相似的情況及其有關(guān)知識(shí)。 (3) 建立對(duì)應(yīng)映射 在S與T的相似情況之間建立相似元素的對(duì)應(yīng)關(guān)系，并建立起相應(yīng)的映射。 (4) 轉(zhuǎn)換 在上一步建立的映射下，把S中的有關(guān)知識(shí)引到T中來，從而建立起求解當(dāng) 前問題的方法或者學(xué)習(xí)到關(guān)于T的新知識(shí)

19、。 舉例：舉出現(xiàn)實(shí)中的具體實(shí)例，按推理過程對(duì)其步驟進(jìn)行一步步的細(xì)分。 7.5.2 類比學(xué)習(xí)過程與研究類型 類比學(xué)習(xí)主要包括如下四個(gè)過程： (1) 輸入一組已知條件(已解決問題)和一組未完全確定的條件(新問題)。 (2) 對(duì)輸入的兩組條件，根據(jù)其描述，按某種相似性的定義尋找兩者可類比 的對(duì)應(yīng)關(guān)系。 (3) 按相似變換的方法，將已有問題的概念、特性、方法、關(guān)系等映射到新 問題上，以獲得待求解新問題所需的新知識(shí)。 (4) 對(duì)類推得到的新問題的知識(shí)進(jìn)行校驗(yàn)。驗(yàn)證正確的知識(shí)存入知識(shí)庫(kù)中， 而暫時(shí)還無法驗(yàn)證的知識(shí)只能作為參考性知識(shí)，置于數(shù)據(jù)庫(kù)中。 7.6 解釋學(xué)習(xí) 教學(xué)內(nèi)容：本小節(jié)對(duì)兩種

20、基本的學(xué)習(xí)進(jìn)行了介紹，對(duì)相關(guān)知識(shí)能有所了解，對(duì)以 后的學(xué)習(xí)有很大的幫助。 教學(xué)重點(diǎn)：解釋學(xué)習(xí)的過程和算法，神經(jīng)學(xué)習(xí)的相關(guān)知識(shí) 教學(xué)難點(diǎn)：解釋學(xué)習(xí)的過程和算法 教學(xué)方法：由于本節(jié)知識(shí)只做一般了解，所以只需對(duì)相關(guān)概念做個(gè)簡(jiǎn)介即可 教學(xué)要求：了解解釋學(xué)習(xí)的過程及神經(jīng)學(xué)習(xí)的概念。 7.6.1 解釋學(xué)習(xí)過程和算法 解釋學(xué)習(xí)一般包括下列 3 個(gè)步驟： (1) 利用基于解釋的方法對(duì)訓(xùn)練例子進(jìn)行分析與解釋。 (2) 對(duì)例子的結(jié)構(gòu)進(jìn)行概括性解釋。 (3) 從解釋結(jié)構(gòu)中識(shí)別出訓(xùn)練例子的特性，獲取一般控制知識(shí)。 1986年米切爾(Mitchell)等人為基于解釋的學(xué)習(xí)提出了一個(gè)統(tǒng)一的算法 EBG,

21、該算法建立了基于解釋的概括過程，并運(yùn)用知識(shí)的邏輯表示和演繹推理進(jìn) 行問題求解。圖 7.4 表示 EBG 問題。 操作準(zhǔn)則 目標(biāo)概念 —*― 新規(guī)則 訓(xùn)練例子 1 知識(shí)庫(kù) 圖 7.4 EBG 問題 EBG 求解問題的形式可描述于下: 給定： (1) 目標(biāo)概念描述 TC； (2) 訓(xùn)練實(shí)例 TE； (3) 領(lǐng)域知識(shí) DT； (4) 操作準(zhǔn)則 OC。 求解：訓(xùn)練實(shí)例的一般化概括，使之滿足： (1) 目標(biāo)概念的充分概括描述 TC； (2) 操作準(zhǔn)則 OC。 思考：引導(dǎo)學(xué)生自學(xué)本小節(jié)的某些知識(shí)，結(jié)合書上的示例對(duì)數(shù)學(xué)推理有一定了解 例子：通過解釋學(xué)習(xí)獲得一個(gè)物體(X)可安全

22、放置到另一個(gè)物體(y)上的概念。 7.7 神經(jīng)學(xué)習(xí) 教學(xué)內(nèi)容：討論基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本原理。 教學(xué)重點(diǎn)：基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)，基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí)。 教學(xué)難點(diǎn)： 上述兩種神經(jīng)學(xué)習(xí)的算法。 教學(xué)方法： 課堂講授為主。 教學(xué)要求： 掌握上述神經(jīng)學(xué)習(xí)的結(jié)構(gòu)，了解神經(jīng)學(xué)習(xí)的算法。 7.7.1 基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí) 反向傳播算法是一種計(jì)算單個(gè)權(quán)值變化引起網(wǎng)絡(luò)性能變化值的較為簡(jiǎn)單的 方法。由于BP算法過程包含從輸出節(jié)點(diǎn)開始，反向地向第一隱含層（即最接近輸 入層的隱含層）傳播由總誤差引起的權(quán)值修正，所以稱為“反向傳播”。反向傳 播特性與所求解問題的性質(zhì)和所作細(xì)節(jié)選擇有極為密切

23、的關(guān)系。 7?7?2基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí) 反饋神經(jīng)網(wǎng)絡(luò)，它是一種動(dòng)態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算能力。 Hopfield 網(wǎng)絡(luò)是一種具有正反相輸出的帶反饋人工神經(jīng)元。 Hopfield 網(wǎng)絡(luò) 系統(tǒng)不僅能夠?qū)崿F(xiàn)聯(lián)想記憶，而且能夠執(zhí)行線性和非線性規(guī)劃等優(yōu)化求解任務(wù)。 7?8 知識(shí)發(fā)現(xiàn) 教學(xué)內(nèi)容：知識(shí)發(fā)現(xiàn)的發(fā)展過程和定義，知識(shí)發(fā)現(xiàn)的處理過程，知識(shí)發(fā)現(xiàn)的方法 和應(yīng)用。 教學(xué)重點(diǎn)：知識(shí)發(fā)現(xiàn)的處理過程，知識(shí)發(fā)現(xiàn)的方法。 教學(xué)難點(diǎn)：知識(shí)發(fā)現(xiàn)的方法 教學(xué)方法：通過實(shí)例激發(fā)學(xué)生對(duì)知識(shí)發(fā)現(xiàn)的學(xué)習(xí)興趣，進(jìn)而重點(diǎn)講解知識(shí)發(fā)現(xiàn)的 過程和方法。 教學(xué)要求：重點(diǎn)掌握知識(shí)發(fā)現(xiàn)的過程，了解知識(shí)

24、發(fā)現(xiàn)的方法，了解知識(shí)發(fā)現(xiàn)的應(yīng) 用。 7?8?1 知識(shí)發(fā)現(xiàn)的發(fā)展和定義 1?知識(shí)發(fā)現(xiàn)的產(chǎn)生和發(fā)展 知識(shí)發(fā)現(xiàn)最早是于1989年8月在第11屆國(guó)際人工智能聯(lián)合會(huì)議的專題討論 會(huì)上提出。隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上已設(shè)立了不少研究 KDD 的網(wǎng)站、論壇和新聞 報(bào)導(dǎo)。在研究的基礎(chǔ)上，也出現(xiàn)一些 KDD 產(chǎn)品和應(yīng)用系統(tǒng)，引起企業(yè)界的關(guān)注。 2?定義：數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)是從大量數(shù)據(jù)中辨識(shí)出有效的、新穎的、潛在有用 的、并可被理解的模式的高級(jí)處理過程。 （1）數(shù)據(jù)集：是指一個(gè)有關(guān)事實(shí)F的集合，它是用來描述事物有關(guān)方面的 信息，是進(jìn)一步發(fā)現(xiàn)知識(shí)的原材料。 2）新穎：經(jīng)過知識(shí)發(fā)現(xiàn)提取出的模式必須是新穎的。

25、 （3）潛在有用：提取出的模式應(yīng)該是有意義的，這可以通過某些函數(shù)的值 來衡量。 （4）可被人理解：知識(shí)發(fā)現(xiàn)的一個(gè)目標(biāo)就是將數(shù)據(jù)庫(kù)中隱含的模式以容易 被人理解的形式表現(xiàn)出來，從而幫助人們更好地了解數(shù)據(jù)庫(kù)中所包含的信息。 7.8.2 知識(shí)發(fā)現(xiàn)的處理過程 1、 數(shù)據(jù)選擇。根據(jù)用戶的需求從數(shù)據(jù)庫(kù)中提取與KDD相關(guān)的數(shù)據(jù)。 2、 數(shù)據(jù)預(yù)處理。主要是對(duì)上述數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一 致性，對(duì)丟失的數(shù)據(jù)利 用統(tǒng)計(jì)方法進(jìn)行填補(bǔ)，形成發(fā)掘數(shù)據(jù)庫(kù)。 3、 數(shù)據(jù)變換。即從發(fā)掘數(shù)據(jù)庫(kù)里選擇數(shù)據(jù)。 4?數(shù)據(jù)挖掘。根據(jù)用戶要求，確定KDD的 目標(biāo)是發(fā)現(xiàn)何種類型的知識(shí)。 5、知識(shí)評(píng)價(jià)。這一過

26、程主要用于對(duì)所獲得的 規(guī)則進(jìn)行價(jià)值評(píng)定，以決定所得的規(guī)則是否存入基礎(chǔ)知識(shí)庫(kù)。 上述KDD全過程的幾個(gè)步驟可以進(jìn)一步歸納為三個(gè)步驟，即數(shù)據(jù)挖掘預(yù)處理 （數(shù)據(jù)挖掘前的準(zhǔn)備工作）、數(shù)據(jù)挖掘、數(shù)據(jù)挖掘后處理（數(shù)據(jù)挖掘后的處理工 作）。 簡(jiǎn)單介紹幾種新的對(duì)數(shù)據(jù)發(fā)掘的改進(jìn)過程。 舉例：參照上述的處理過程，舉出具體實(shí)例，詳細(xì)講述每步的過程。 知識(shí)發(fā)現(xiàn)的方法 知識(shí)發(fā)現(xiàn)的方法有統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)、神經(jīng)計(jì)算和可視化方法等。 1、 統(tǒng)計(jì)方法 統(tǒng)計(jì)方法是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。 2、 機(jī)器學(xué)習(xí)方法 可能用于機(jī)器發(fā)現(xiàn)的機(jī)器學(xué)習(xí)方法有： (1) 規(guī)則歸納。規(guī)則反映數(shù)據(jù)項(xiàng)中某些

27、屬性或數(shù)據(jù)集中某些數(shù)據(jù)項(xiàng)之間的統(tǒng) 計(jì)相關(guān)性。 (2) 決策樹。決策樹的每一個(gè)非終葉節(jié)點(diǎn)表示所考慮的數(shù)據(jù)項(xiàng)的測(cè)試或決 策。 (3) 范例推理。范例推理是直接使用過去的經(jīng)驗(yàn)或解法來求解給定的問題。 (4) 貝葉斯信念網(wǎng)絡(luò)。貝葉斯信念網(wǎng)絡(luò)是概率分布的圖表示。 (5) 科學(xué)發(fā)現(xiàn)?？茖W(xué)發(fā)現(xiàn)是在實(shí)驗(yàn)環(huán)境下發(fā)現(xiàn)科學(xué)定律。 (6) 遺傳算法。在求解過程中，通過最好解的選擇和彼此組合，使期望解的 集合愈來愈好。 3、神經(jīng)計(jì)算方法 4、可視化方法 可視化(visualization)就是把數(shù)據(jù)、信息和知識(shí)轉(zhuǎn)化為可視的表示形式 的過程。 舉例：舉出幾個(gè)具體的實(shí)例讓學(xué)生對(duì)機(jī)器學(xué)習(xí)的幾種方法有基本了解。 7.8.4 知識(shí)發(fā)現(xiàn)的應(yīng)用 知識(shí)發(fā)現(xiàn)已在許多領(lǐng)域得到應(yīng)用，且應(yīng)用領(lǐng)域越來越廣?，F(xiàn)在，知識(shí)發(fā)現(xiàn)已 在銀行業(yè)、保險(xiǎn)業(yè)、零售業(yè)、醫(yī)療保健、工程和制造業(yè)、科學(xué)研究、衛(wèi)星觀察和 娛樂業(yè)等行業(yè)和部門得到成功應(yīng)用，為人們的科學(xué)決策提供很大幫助。 思考：舉出有關(guān)的幾種應(yīng)用，再想想再現(xiàn)實(shí)生活中是否有其它的應(yīng)用。 7.9 小 結(jié) 本章只對(duì)機(jī)器學(xué)習(xí)作個(gè)入門介紹。 機(jī)器學(xué)習(xí)在過去十多年中獲得較大發(fā)展。今后機(jī)器學(xué)習(xí)將在理論概念、計(jì)算 機(jī)理、綜合技術(shù)和推廣應(yīng)用等方面開展新的研究。其中，對(duì)結(jié)構(gòu)模型、計(jì)算理論、 算法和混合學(xué)習(xí)的開發(fā)尤為重要。在這些方面，有許多事要做，有許多新問題需 要人們?nèi)ソ鉀Q。