《周志華機器學(xué)習(xí)pptChap01緒論》由會員分享，可在線閱讀，更多相關(guān)《周志華機器學(xué)習(xí)pptChap01緒論（39頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、機器學(xué)習(xí)導(dǎo)論(2016 春季學(xué)期)一、緒 論機器學(xué)習(xí)機器學(xué)習(xí)是從人工智能中產(chǎn)生的一個重要學(xué)科分支，是實現(xiàn)智能化的關(guān)鍵機器學(xué)習(xí)機器學(xué)習(xí)（Machine Learning）究竟是什么東東？看個例子“文獻篩選”的故事C.Brodley et al.,AI Magazine 2012在“循證醫(yī)學(xué)”（evidence-based medicine）中，針對特定的臨床問題，先要對相關(guān)研究報告進行詳盡評估查詢 PubMed 以獲取候選摘要人工找出值得全文審讀的文章“文獻篩選”的故事在一項關(guān)于嬰兒和兒童殘疾的研究中，美國Tufts醫(yī)學(xué)中心篩選了約 33,000 篇摘要盡 管 Tufts醫(yī) 學(xué) 中 心 的 專
2、家 效 率很高，對每篇摘要只需 30 秒鐘，但該工作仍花費了 250 小時每項新的研究都要重復(fù)這個麻煩的過程！需篩選的文章數(shù)在不斷顯著增長！“文獻篩選”的故事為了降低昂貴的成本,Tufts醫(yī)學(xué)中心引入了機器學(xué)習(xí)技術(shù)邀請專家閱讀少量摘要，標記為“有關(guān)”或“無關(guān)”分類模型對是否“有關(guān)”進行預(yù)測人類專家只需閱讀 50 篇摘要，系統(tǒng)的自動篩選精度就達到 93%人類專家閱讀 1,000 篇摘要，則系統(tǒng)的自動篩選敏感度達到 95%(人類專家以前需閱讀 33,000 篇摘要才能獲得此效果)色澤根蒂敲聲好瓜青綠蜷縮濁響是烏黑蜷縮濁響是青綠硬挺清脆否烏黑稍蜷沉悶否決策樹，神經(jīng)網(wǎng)絡(luò)，支持向量機，Boosting，
3、貝葉斯網(wǎng)，模型訓(xùn)練數(shù)據(jù)（label）訓(xùn)練新數(shù)據(jù)樣本(淺白,蜷縮,濁響,?)?=是類別標記未知典型的機器學(xué)習(xí)過程使用學(xué)習(xí)算法（learning algorithm）類別標記機器學(xué)習(xí)與數(shù)據(jù)挖掘機器學(xué)習(xí)能做什么？我們可能每天都在用機器學(xué)習(xí)權(quán)16南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有20保留機器學(xué)習(xí)模型搜索引擎機器學(xué)習(xí)技術(shù)正在支撐著各種搜索引擎搜索：南京大學(xué)例如：互聯(lián)網(wǎng)搜索有器學(xué)習(xí)導(dǎo)論課程專保留權(quán)用所2016南京大學(xué)機例如：自動汽車駕駛（即將改變?nèi)祟惿睿C器學(xué)習(xí)模型方向盤旋轉(zhuǎn)幅度油門幅度剎車幅度車載攝像頭車載雷達控制汽車美國在20世紀80年代就開始研究基于機器學(xué)習(xí)的汽車自動駕駛技術(shù)DARPA Grand
4、Challenge 20042016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有權(quán)保留機器學(xué)習(xí)能做什么？小數(shù)據(jù)上就已經(jīng)很有用2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有權(quán)保留例如：畫作鑒別（藝術(shù)）畫作鑒別(painting authentication)：確定作品的真?zhèn)尾斏w爾（1525-1569）的作品？出自 J.Hughes et al.,PNAS 2009梵高（1853-1890）的作品？出自 C.Johnson et al.,IEEE-SP,2008機器學(xué)習(xí)導(dǎo)論2016南京大學(xué)課程專用所有權(quán)保留例如：畫作鑒別（藝術(shù)）除專用技術(shù)手段外，筆觸分析(brushstroke analysis)是 畫 作 鑒定
5、的重要工具；它旨在從視覺上判斷畫作中是否具有藝術(shù)家的特有“筆跡”。該工作對專業(yè)知識要求極高-具有較高的繪畫藝術(shù)修養(yǎng)-掌握畫家的特定繪畫習(xí)慣只有少數(shù)專家花費很大精力才能完成分析工作！很難同時掌握不同時期、不同流派多位畫家的繪畫風(fēng)格！C.Johnson et al.,IEEE-SP,2008論課程專用所有權(quán)16南京大學(xué)20機器學(xué)習(xí)導(dǎo)保留例如：畫作鑒別（藝術(shù)）真跡+贗品特有“筆跡”待鑒定畫作為了降低分析成本,機器學(xué)習(xí)技術(shù)被引入自動鑒定分類模型Krller Mller美術(shù)館與Cornell等大學(xué)的學(xué)者對82幅梵高真跡和6幅贗品進行分析，自動鑒別精度達 95%C.Johnson et al.,IEEE-
6、SP,2008Dartmouth學(xué)院、巴黎高師的學(xué)者對8幅勃魯蓋爾真跡和5幅贗品進行分析，自動鑒別精度達 100%J.Hughes et al.,PNAS 2009J.Mairal et al.,PAMI12(對用戶要求低、準確高效、適用范圍廣)2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有權(quán)保留例如：古文獻修復(fù)（文化）古文獻是進行歷史研究的重要素材，但是其中很多損毀嚴重Dead Sea Scrolls(死海古卷)-1947年出土-超過30,000個羊皮紙片段Cairo Genizah-19世紀末被發(fā)現(xiàn)-超過300,000個片段-散布于全球多家博物館高水平專家的大量精力被用于古文獻修復(fù)L.Wolf
7、et al.,IJCV 20112016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有權(quán)保留例如：古文獻修復(fù)（文化）一個重要問題：原書籍已經(jīng)變成分散且混雜的多個書頁，如何拼接相鄰的書頁？人工完成書頁拼接十分困難-書頁數(shù)量大，且分布在多處-部分損毀較嚴重，字跡模糊-需要大量掌握古文字的專業(yè)人才近年來，古文獻的數(shù)字化浪潮給自動文學(xué)修復(fù)提供了機會所有權(quán)保留2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用例如：古文獻修復(fù)（文化）以色列特拉維夫大學(xué)的學(xué)者將機器學(xué)習(xí)用于自動的書頁拼接已確定相鄰已確定不相鄰分類模型判斷是否相鄰專家確認相鄰在Cairo Genizah測試數(shù)據(jù)上，系統(tǒng)的自動判斷精度超過 93%新完成約 1,000 篇C
8、airo Genizah文章的拼接(對比：過去整個世紀，數(shù)百人類專家只完成了幾千篇文章拼接)2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有權(quán)保留機器學(xué)習(xí)能做什么？大數(shù)據(jù)上更驚人2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有權(quán)保留例如：幫助奧巴馬勝選（政治）時代周刊2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有權(quán)保留例如：幫助奧巴馬勝選（政治）通過機器學(xué)習(xí)模型：在總統(tǒng)候選人第一次辯論后，分析出哪些選民將倒戈，為每位選民找出一個最能說服他的理由 精準定位不同選民群體，建議購買冷門廣告時段，廣告資金效率比2008年提高14%向奧巴馬推薦，競選后期應(yīng)當在什么地方展開活動 那里有很多爭取對象 借助模型幫助奧巴馬籌集到創(chuàng)紀
9、錄的10億美元例如：利用模型分析出，明星喬治克魯尼（George Clooney）對于年齡在40-49歲的美西地區(qū)女性頗具吸引力，而她們恰是最愿意為和克魯尼/奧巴馬共進晚餐而掏錢的人 喬治克魯尼為奧巴馬舉辦的競選籌資晚宴成功募集到1500萬美元 導(dǎo)論課程專用學(xué)習(xí)2016南京大學(xué)機器所有權(quán)保留例如：幫助奧巴馬勝選（政治）隊長：Rayid Ghani卡內(nèi)基梅隆大學(xué)機器學(xué)習(xí)系首任系主任Tom Mitchell教授的博士生這個團隊行動保密，定期向奧巴馬報送結(jié)果；被奧巴馬公開稱為總統(tǒng)競選的“核武器按鈕”(“They are our nuclear codes”)權(quán)專用所有2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程
10、保留約翰 麥卡錫(1927-2011)“人工智能之父”1971年圖靈獎1956年夏美國達特茅斯學(xué)院J.McCarthy,M.Minsky,N.Lochester,C.E.Shannon,H.A.Simon,A.Newell,A.L.Samuel 等10余人達特茅斯會議標志著人工智能這一學(xué)科的誕生John McCarthy(1927-2011):1971年獲圖靈獎,1985年獲IJCAI終身成就獎。人工智能之父。他提出了“人工智能”的概念，設(shè)計出函數(shù)型程序設(shè)計語言Lisp，發(fā)展了遞歸的概念，提出常識推理和情境演算。出生于共產(chǎn)黨家庭，從小閱讀10萬個為什么，中學(xué)時自修CalTech的數(shù)學(xué)課程，17
11、歲進入CalTech時免修兩年數(shù)學(xué)，22歲在Princeton獲博士學(xué)位，37歲擔(dān)任Stanford大學(xué)AI實驗室主任。機器學(xué)習(xí)源自“人工智能”Artificial Intelligence(AI),1956-權(quán)程專用所有保16南京大20學(xué)機器學(xué)習(xí)導(dǎo)論課留赫伯特 西蒙(1916-2001)1975年圖靈獎第一階段：推理期1956-1960s:Logic Reasoning 出發(fā)點:“數(shù)學(xué)家真聰明！”主要成就:自動定理證明系統(tǒng)(例如，西蒙與紐厄爾的“Logic Theorist”系統(tǒng))漸漸地，研究者們意識到，僅有邏輯推理能力是不夠的 阿倫 紐厄爾(1927-1992)1975年圖靈獎用所有權(quán)保留
12、2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專 出發(fā)點:“知識就是力量！”愛德華 費根鮑姆(1936-)1994年圖靈獎 主要成就:專家系統(tǒng)(例如，費根鮑姆等人的“DENDRAL”系統(tǒng))漸漸地，研究者們發(fā)現(xiàn)，要總結(jié)出知識再“教”給系統(tǒng)，實在太難了 第二階段：知識期1970s-1980s:Knowledge Engineering2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有權(quán)保留 出發(fā)點:“讓系統(tǒng)自己學(xué)！”第三階段：學(xué)習(xí)期1990s-now:Machine Learning 主要成就:機器學(xué)習(xí)是作為“突破知識工程瓶頸”之利器而出現(xiàn)的恰好在20世紀90年代中后期，人類發(fā)現(xiàn)自己淹沒在數(shù)據(jù)的汪洋中，對自動數(shù)據(jù)分析技術(shù)
13、機器學(xué)習(xí)的需求日益迫切權(quán)專用所有16南京大學(xué)機器學(xué)保習(xí)導(dǎo)論留課程20汽車自動駕駛(DARPA Grand Challenge)機器學(xué)習(xí)已經(jīng)“無處不在”入侵檢測Web搜索生物信息學(xué)決策助手(DARPA)火星機器人(JPL)2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有權(quán)保留今天的“機器學(xué)習(xí)”已經(jīng)是一個廣袤的學(xué)科領(lǐng)域經(jīng)常被談到的“深度學(xué)習(xí)”(Deep Learning)僅是機器學(xué)習(xí)中的一個小分支例如，這是第32屆國際機器學(xué)習(xí)大會的“主題領(lǐng)域”2006年，美國CMU(卡內(nèi)基梅隆大學(xué))成立“機器學(xué)習(xí)系”導(dǎo)論課程專用所2016南京大學(xué)機器學(xué)習(xí)有權(quán)保留大數(shù)據(jù)時代的關(guān)鍵技術(shù)奧巴馬提出“大數(shù)據(jù)計劃”后，美國NSF進
14、一步加強資助UC Berkeley研究如何整合將”數(shù)據(jù)”轉(zhuǎn)變?yōu)椤毙畔ⅰ钡娜箨P(guān)鍵技術(shù)機器學(xué)習(xí)、云計算、眾包(crowd sourcing)整合三大關(guān)鍵技術(shù)權(quán)保2016南京留大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有大數(shù)據(jù)時代，機器學(xué)習(xí)必不可少收集、傳輸、存儲大數(shù)據(jù)的目的，是為了“利用”大數(shù)據(jù)沒有機器學(xué)習(xí)技術(shù)分析大數(shù)據(jù)，“利用”無從談起權(quán)有所習(xí)導(dǎo)論課程專用保2016南京大學(xué)機器學(xué)留基本術(shù)語數(shù)據(jù)集;訓(xùn)練,測試示例(instance),樣例(example)樣本(sample)屬性(attribute),特征(feature);屬性值屬性空間,樣本空間,輸入空間特征向量(feature vector)標記空間,輸
15、出空間監(jiān)督學(xué)習(xí)(supervised learning)無監(jiān)督學(xué)習(xí)(unsupervised learning)假設(shè)(hypothesis)真相(ground-truth)學(xué)習(xí)器(learner)分類,回歸 二分類,多分類 正類,反類未見樣本(unseen instance)未知“分布”獨立同分布(i.i.d.)泛化(generalization)權(quán)2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有保留假設(shè)空間(色澤=?)(根蒂=?)(敲聲=?)好瓜學(xué)習(xí)過程 在所有假設(shè)(hypothesis)組成的空間中進行搜索的過程目標:找到與訓(xùn)練集“匹配”(fit)的假設(shè)假設(shè)空間的大小：n1 x n2 x n3+1
16、權(quán)用所有保留論課程專機器學(xué)習(xí)導(dǎo)2016南京大學(xué)例如:(青綠;蜷縮;沉悶)應(yīng)該采用哪一個模型(假設(shè))?版本空間版本空間(version space):與訓(xùn)練集一致的假設(shè)集合濁響濁響在面臨新樣本時，會產(chǎn)生不同的輸出課程專用所有2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論權(quán)保留歸納偏好(inductive bias)機器學(xué)習(xí)算法在學(xué)習(xí)過程中對某種類型假設(shè)的偏好A更好？B更好？一般原則：奧卡姆剃刀(Ocams razor)任何一個有效的機器學(xué)習(xí)算法必有其偏好學(xué)習(xí)算法的歸納偏好是否與問題本身匹配，大多數(shù)時候直接決定了算法能否取得好的性能！權(quán)有用16南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專所保20留哪個算法更好？沒有免費的午餐！NFL
17、定理：一個算法若在某些問題上比另一個算法好，必存在另一些問題，比好。2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有權(quán)保留NFL定理簡單起見，假設(shè)樣本空間和假設(shè)空間 離散,令代表算法基于訓(xùn)練數(shù)據(jù) X 產(chǎn)生假設(shè) h 的概率，f 代表要學(xué)的目標函數(shù)，在訓(xùn)練集之外所有樣本上的總誤差為考慮二分類問題，目標函數(shù)可以為任何函數(shù)，函數(shù)空間為，對所有可能的 f 按均勻分布對誤差求和，有權(quán)大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用2016南京所有保留NFL定理總誤差與學(xué)習(xí)算法無關(guān)！所有算法一樣好！權(quán)器學(xué)習(xí)導(dǎo)論課程專用所有2016南京大學(xué)機保留NFL定理的寓意NFL定理的重要前提：所有“問題”出現(xiàn)的機會相同、或所有問題同等重要脫離具體問題，空泛地談?wù)摗笆裁磳W(xué)習(xí)算法更好”毫無意義！實際情形并非如此；我們通常只關(guān)注自己正在試圖解決的問題2016南京大學(xué)機器學(xué)習(xí)導(dǎo)論課程專用所有權(quán)保留前往第二站
周志華機器學(xué)習(xí)pptChap01緒論
