廈門大學(xué)機(jī)器學(xué)習(xí)考試題.doc

《廈門大學(xué)機(jī)器學(xué)習(xí)考試題.doc》由會(huì)員分享，可在線閱讀，更多相關(guān)《廈門大學(xué)機(jī)器學(xué)習(xí)考試題.doc（3頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

第一題 判斷題（10分，每小題1 分） [1] 邏輯斯蒂回歸模型可以用來做分類，但是SVM不能用來做回歸。（ ） [2] 訓(xùn)練數(shù)據(jù)較少時(shí)更容易發(fā)生過擬合。（ ） [3] 如果回歸函數(shù)A比B簡(jiǎn)單，則A一定會(huì)比B在測(cè)試集上表現(xiàn)更好。（ ） [4] 在核回歸中，最影響回歸的過擬合性和欠擬合之間平衡的參數(shù)為核函數(shù)的寬度。（ ） [5] 在AdaBoost算法中，所有被錯(cuò)分的樣本的權(quán)重更新比例相同。（ ） [6] Boosting的一個(gè)優(yōu)點(diǎn)是不會(huì)過擬合。（ ） [7] 梯度下降有時(shí)會(huì)陷于局部極小值，但EM 算法不會(huì)。（ ） [8] SVM對(duì)噪聲（如來自其他分布的噪聲樣本）魯棒。（ ） [9] 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化在一定條件下與極大似然估計(jì)是等價(jià)的。（ ） [10] 在回歸分析中，最佳子集選擇可以做特征選擇；Lasso模型也可以實(shí)現(xiàn)特征選擇。（ ） 第二題 統(tǒng)計(jì)學(xué)習(xí)方法的三要素（10分） 1. (5分)是一個(gè)函數(shù)空間，是上一個(gè)概率測(cè)度，是的一個(gè)子集（采樣），，， 請(qǐng)問： [1] (2分)隨著N增大而增大嗎？為什么？ [2] (3分)隨著H增大而增大嗎？為什么？ 2. (5分) 比較感知機(jī)、邏輯斯蒂回歸模型、AdaBoost和SVM的損失函數(shù)。 第三題 產(chǎn)生式模型和判別式模型 （10分） [1] （5分）解釋產(chǎn)生式模型和判別式模型，并分析二者的不同點(diǎn)； [2] 列出三種判別式模型（3分）和兩種產(chǎn)生式模型（2分） 第四題 EM and Naive Bayes （15分） [1] （5分）概述EM算法的用途及其主要思想； [2] （10分）EM算法可以用到樸素貝葉斯法的非監(jiān)督學(xué)習(xí)，寫出其算法。 第五題 HMM （10分） 考慮盒子和球模型λ=(A,B,π)，狀態(tài)集合Q=1,2,3，觀測(cè)集合V=紅,白， ，，π=(0.2,0.4,0.4)T 設(shè)T=3，O=(紅、白、紅)，試用前向算法計(jì)算P(O|λ). 第六題 SVM（15分） 考慮利用線性支持向量機(jī)對(duì)如下兩類可分?jǐn)?shù)據(jù)進(jìn)行分類： +1：(1,1), (2,2), (2,0) -1：(0,0), (1,0), (0,1) [1] （4分）在圖中做出這6個(gè)訓(xùn)練點(diǎn)，構(gòu)造具有最優(yōu)超平面和最優(yōu)間隔的權(quán)重向量； [2] （3分）哪些是支撐向量？ [3] （8分）通過尋找拉格朗日乘子來構(gòu)造在對(duì)偶空間的解，并將它與[1]中的結(jié)果比較。 第七題 Logistic 回歸模型（15分） 如圖1(a)所示，數(shù)據(jù)采用簡(jiǎn)化的線性logistic回歸模型進(jìn)行兩類分類，即， 為了簡(jiǎn)化，不采用偏差w0,訓(xùn)練數(shù)據(jù)可以被完全分開（訓(xùn)練誤差為0，如圖1(b)所示的L1）。 [1] （8分）考慮一個(gè)正則化的方法，即最大化,注意只有w2被懲罰。則當(dāng)C 很大時(shí)，如圖1(b)所示的4 個(gè)決策邊界中，哪條線可能是由該正則方法得到的？L2、L3 和L4 可以通過正則w2得到嗎？簡(jiǎn)要說明理由。 [2] （7分）如果我們將正則項(xiàng)給出L1 范式，即最大化,則隨著 C 增大，下面哪種情形可能出現(xiàn)（單選） ？注：簡(jiǎn)要說明理由 (A) w1將變成0，然后w2 也將變成0。 (B)w2將變成0，然后w1也將變成0。 (C) w1和w2將同時(shí)變成0。 (D)兩個(gè)權(quán)重都不會(huì)變成0，只是隨著C的增大而減小為0。 第八題 AdaBoost （15分） 考慮如下圖2所示的訓(xùn)練樣本，其中’X’和’O’分別表示正樣本和負(fù)樣本。采用AdaBoost算法對(duì)上述樣本進(jìn)行分類。在Boosting的每次迭代中，選擇加權(quán)錯(cuò)誤率最小的弱分類器。假設(shè)采用的弱分類器為平行兩個(gè)坐標(biāo)軸的線性分類器。 [1] （4分）在圖2中標(biāo)出第一次迭代選擇的弱分類器（L1），并給出決策面的‘+’和‘-’面。 [2] （4分）在圖2中用圓圈標(biāo)出在第一次迭代后權(quán)重最大的樣本，其權(quán)重是多少？ [3] （4分）第一次迭代后權(quán)重最大的樣本在經(jīng)過第二次迭代后權(quán)重變?yōu)槎嗌伲? [4] （3分）強(qiáng)分類器為弱分類器的加權(quán)組合。則在這些點(diǎn)中，存在被經(jīng)過第二次迭代后的強(qiáng)分類器錯(cuò)分的樣本嗎？給出簡(jiǎn)短理由。