《機器學習的挑戰(zhàn)(周志華)》由會員分享，可在線閱讀，更多相關《機器學習的挑戰(zhàn)(周志華)（23頁珍藏版）》請在裝配圖網上搜索。
1、機 器 學 習 及 其 挑 戰(zhàn)周 志 華http:/ 京 大 學 軟 件 新 技 術 國 家 重 點 實 驗 室 2003 年 12 月 27 日 機 器 學 習 及 其 重 要 性機 器 學 習 角 色 的 轉 變五 個 挑 戰(zhàn) 問 題匯 報 內 容 機 器 學 習經 典 定 義 ： 利 用 經 驗 改 善 系 統(tǒng) 自 身 的 性 能 T.Mitchell, Book 97隨 著 該 領 域 的 發(fā) 展 ， 主 要 做 智 能 數(shù) 據(jù) 分 析典 型 任 務 ： 預 測例 如 ： 天 氣 預 報 機 器 學 習 （ 續(xù) ）數(shù) 據(jù) 挖 掘 數(shù) 據(jù) 庫機 器 學 習數(shù) 據(jù) 分 析 技 術 數(shù) 據(jù)
2、管 理 技 術 美 國 航 空 航 天 局 JPL實 驗 室 的 科 學 家 在 Science（ 2001年 9月 ） 上 撰 文 指 出 ： 機 器 學 習 對 科 學 研 究的 整 個 過 程 正 起 到 越 來 越 大 的 支 持 作 用 ， ， 該 領 域在 今 后 的 若 干 年 內 將 取 得 穩(wěn) 定 而 快 速 的 發(fā) 展重 要 性 生 物信 息 學 計 算金 融 學 分 子生 物 學 行 星地 質 學工 業(yè) 過程 控 制 機 器 人 遙 感 信息 處 理信 息安 全機 器 學 習 重 要 性 ： 例 子 網 絡 安 全入 侵 檢 測 ：是 否 是 入 侵 ？ 是 何 種 入
3、侵 ？ 如 何 檢 測 ？歷 史 數(shù) 據(jù) ： 以 往 的 正 常訪 問 模 式 及 其 表 現(xiàn) 、 以 往的 入 侵 模 式 及 其 表 現(xiàn) 對 當 前 訪 問 模 式 分 類這 是 一 個 典 型 的 預 測型 機 器 學 習 問 題常 用 技 術 ：神 經 網 絡 決 策 樹支 持 向 量 機 k近 鄰 序 列 分 析 聚 類 重 要 性 ： 例 子 生 物 信 息 學 常 用 技 術 ：神 經 網 絡 支 持 向 量 機隱 馬 爾 可 夫 模 型k近 鄰 決 策 樹序 列 分 析 聚 類 重 要 性 （ 續(xù) ）計 算 機 科 學 在 過 去 十 年 中 發(fā) 展 極 為 迅 速 ， 今 后
4、 會 快速 穩(wěn) 定 地 發(fā) 展 、 對 科 學 做 出 更 大 貢 獻 的 領 域E.Mjolsness & D. DesCoste, Science 01人 工 智 能 中 最 活 躍 、 應 用 潛 力 最 明 顯 的 領 域 （ 之 一 ）T.G. Dietterich, AIMag 97美 國 、 歐 洲 各 國 都 投 入 了 大 量 人 力 物 力大 型 公 司 如 波 音 、 微 軟 、 通 用 電 器 等 都 有 研 究 課 題已 有 一 些 研 究 成 果 進 入 產 品 機 器 學 習 角 色 的 轉 變如 果 我 們 想 做 出 重 要 的 貢 獻 ， 首 先 需 要 把
5、 握 住 該領 域 發(fā) 展 的 脈 搏機 器 學 習 現(xiàn) 在 似 乎 已 經 發(fā) 展 到 一 個 新 階 段機 器 學 習 起 源 于 人 工 智 能 對 人 類 學 習 能 力的 追 求 ， 上 一 階 段 的 研 究 幾 乎 完 全 局 限 在人 工 智 能 這 一 領 域 中 （ 學 習 本 身 是 目 的 ）而 現(xiàn) 在 ， 機 器 學 習 已 經 開 始 進 入 了 計 算 機科 學 的 不 同 領 域 ， 甚 至 其 他 學 科 ， 成 為 一種 支 持 技 術 、 服 務 技 術 （ 學 習 本 身 是 手 段 ） 機 器 學 習 角 色 的 轉 變 （ 續(xù) ）現(xiàn) 階 段 對 機
6、器 學 習 的 研 究 可 能 不 應 再 過 多 地強 調 模 擬 人 的 學 習 能 力可 能 應 該 把 機 器 學 習 真 正 當 成 一 種 支 持 技 術（ 手 段 而 非 目 的 ） ， 考 慮 不 同 領 域 甚 至 不 同學 科 對 機 器 學 習 的 需 求 ， 找 出 其 中 具 有 共性 的 、 必 須 解 決 的 問 題 ， 并 進 而 著 手 研 究 我 們 暫 且 把 這 種 視 角 下 的 機 器 學 習 稱 為 ： “ 普 適 機 器 學 習 ” （ Pervasive ML） 挑 戰(zhàn) 問 題 (1)： 泛 化 能 力共 性 問 題 ：幾 乎 所 有 的 領
7、域 ， 都 希 望 越 準 越 好提 高 泛 化 能 力 是 永 遠 的 追 求目 前 泛 化 能 力 最 強 的 技 術 ：支 持 向 量 機 （ SVM） 產 生 途 徑 ： 理 論 -實 踐集 成 學 習 （ ensemble learning） 產 生 途 徑 ： 實 踐 -理 論 挑 戰(zhàn) 問 題 (1)： 泛 化 能 力 （ 續(xù) ）第 一 個 挑 戰(zhàn) 問 題 ：今 后 10年能 否 更 “ 準 ” ？如 果 能 ， 會 從 哪 兒 來 ？ 挑 戰(zhàn) 問 題 (2)： 速 度共 性 問 題 ：幾 乎 所 有 的 領 域 ， 都 希 望 越 快 越 好加 快 速 度 也 是 永 遠 的 追
8、 求“ 訓 練 速 度 ” vs. “測 試 速 度 訓 練 速 度 快 的 往 往 測 試 速 度 慢 ： k近 鄰 測 試 速 度 快 的 往 往 訓 練 速 度 慢 ： 神 經 網 絡 挑 戰(zhàn) 問 題 (2)： 速 度 （ 續(xù) ）第 二 個 挑 戰(zhàn) 問 題 ：今 后 10年能 否 更 “ 快 ” ？能 做 到 “ 訓 練 快 ” 、 “ 測 試 也 快 ” 嗎 ？如 果 能 ， 如 何 做 ？ 挑 戰(zhàn) 問 題 (3)： 可 理 解 性共 性 問 題 ：絕 大 多 數(shù) 領 域 都 希 望 有 “ 可 理 解 性 ” 例 子 ： 醫(yī) 療 診 斷 地 震 預 測目 前 強 大 的 技 術 幾
9、乎 都 是 （ 或 基 本 上 是 ）“ 黑 盒 子 ” 神 經 網 絡 、 支 持 向 量 機 、 集 成 學 習“ 黑 盒 子 ” 能 滿 足 需 要 嗎 ？ 挑 戰(zhàn) 問 題 (3)： 可 理 解 性 （ 續(xù) ）第 三 個 挑 戰(zhàn) 問 題 ：今 后 10年能 否 產 生 “ 白 盒 子 ” ？是 和 “ 黑 盒 子 ” 完 全 不 同 的 東 西 ，還 是 從 “ 黑 盒 子 ” 變 出 來 ？ 挑 戰(zhàn) 問 題 (4)： 數(shù) 據(jù) 利 用 能 力傳 統(tǒng) 的 機 器 學 習 技 術 對 有 標 記 數(shù) 據(jù) 進 行 學 習“ 標 記 ” 事 件 所 對 應 的 結 果共 性 問 題 ： 隨 著
10、數(shù) 據(jù) 收 集 能 力 飛 速 提 高 、 Internet的 出 現(xiàn) ， 在 大 多 數(shù) 領 域 中 都 可 以 很 容 易地 獲 得 大 量 未 標 記 數(shù) 據(jù) 例 子 ： 醫(yī) 學 圖 象 分 析 垃 圾 郵 件 過 濾沒 有 標 記 的 數(shù) 據(jù) 是 沒 用 的 嗎 ？ 挑 戰(zhàn) 問 題 (4)： 數(shù) 據(jù) 利 用 能 力 （ 續(xù) ）共 性 問 題 ： 在 絕 大 多 數(shù) 領 域 中 都 會 遇 到 “ 壞 ” 數(shù) 據(jù) ，有 時 甚 至 只 有 “ 壞 ” 數(shù) 據(jù) 例 子 ： 海 軍 艦 隊 Web“壞 ” 數(shù) 據(jù) 大 量 噪 音 、 屬 性 缺 失 、 不 一 致 、 傳 統(tǒng) 的 “ 壞 ”
11、 數(shù) 據(jù) 處 理 方 式 “ 扔 掉 ”“壞 ” 數(shù) 據(jù) 一 點 用 也 沒 有 嗎 ？ 第 四 個 挑 戰(zhàn) 問 題 ：今 后 10年能 否 “ 數(shù) 據(jù) 通 吃 ” ？如 何 “ 吃 ” ？挑 戰(zhàn) 問 題 (4)： 數(shù) 據(jù) 利 用 能 力 （ 續(xù) ） 挑 戰(zhàn) 問 題 (5)： 代 價 敏 感目 前 的 機 器 學 習 技 術 降 低 錯 誤 率“錯 誤 ” 是 沒 有 區(qū) 別 的 嗎 ？把 “ 好 ” 當 成 “ 壞 ”把 “ 壞 ” 當 成 “ 好 ”共 性 問 題 ：大 多 數(shù) 領 域 中 的 錯 誤 代 價 都 不 一 樣 例 子 ： 入 侵 檢 測 癌 癥 診 斷 一 樣 嗎 ？ 第 五 個 挑 戰(zhàn) 問 題 ：今 后 10年能 否 “ 趨 利 避 害 ” ？在 達 到 較 低 的 總 錯 誤 率 的 基 礎 上 ， 如 何 “ 趨 ” 、 如 何 “ 避 ” ？挑 戰(zhàn) 問 題 (5)： 代 價 敏 感 （ 續(xù) ） 挑 戰(zhàn) 問 題 ： More 在 任 何 一 個 挑 戰(zhàn) 問 題 上 取 得突 破 性 進 展 ， 都 可 能 成 為對 機 器 學 習 的 重 要 貢 獻 謝 謝 ！恭 請 各 位 專 家 批 評 指 正 ！
機器學習的挑戰(zhàn)(周志華)
