數(shù)據(jù)挖掘與商務(wù)智能

單擊此處母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),商務(wù)智能概述,第一,章,數(shù)據(jù)挖掘與商務(wù)智能,主要內(nèi)容,數(shù)據(jù)時(shí)代需要BI,什么是BI,BI給我們帶,來(lái),來(lái)了什么,BI系統(tǒng)架構(gòu),主流商務(wù)智能,產(chǎn),產(chǎn)品介紹,商務(wù)智能應(yīng)用,及,及發(fā)展趨勢(shì),數(shù)據(jù)時(shí)代需要BI-1,計(jì)算時(shí)代,實(shí)驗(yàn)室里的大,量,量計(jì)算,不重視數(shù)據(jù)的,存,存儲(chǔ),普及時(shí)代,個(gè)人、企業(yè)廣,泛,泛使用,出現(xiàn)數(shù)據(jù)、存,儲(chǔ),儲(chǔ)的需求,應(yīng)用系統(tǒng)時(shí)代,開(kāi)始出現(xiàn)數(shù)據(jù),積,積累,互聯(lián)網(wǎng)時(shí)代,更加海量的網(wǎng),上,上數(shù)據(jù),數(shù)據(jù)時(shí)代？,數(shù)據(jù)、數(shù)據(jù)、,數(shù),數(shù)據(jù)、數(shù)據(jù)、,數(shù),數(shù)據(jù).,“大話(huà)”計(jì)算,機(jī),機(jī)數(shù)十年來(lái)的,發(fā),發(fā)展,數(shù)據(jù)時(shí)代需要BI-2,案例一：BehaviorTargeting,用戶(hù)行為（網(wǎng),絡(luò),絡(luò)用戶(hù)，實(shí)際,用,用戶(hù)）,目標(biāo)銷(xiāo)售（email，網(wǎng),絡(luò),絡(luò)廣告，短信,，,，電話(huà)促銷(xiāo),）,）,用戶(hù)的歸類(lèi)、,預(yù),預(yù)測(cè),數(shù)據(jù)告訴我們,什,什么-3,案例二：SEM（Search Engine Marketing）,搜索引擎營(yíng)銷(xiāo),MSN Bing、Google、Yahoo和Baidu四,大,大全球搜索引,擎,擎,KSP（KeywordServices Platform,）,）,AdSage,（,（艾德思奇）:第三方SEM服務(wù)商,“,Business Intelligence is a process of turning data into information and knowledge into action for business gain,?！?Data Warehouse Institute.,什么是商務(wù)智,能,能-1,數(shù)據(jù),可以記錄、通,信,信和能識(shí)別的,符,符號(hào),可以是文本、,圖,圖片、聲音等,多,多種形式,信息,有用的數(shù)據(jù)就,是,是信息，信息,是,是對(duì)數(shù)據(jù)的解,釋,釋,信息是經(jīng)過(guò)加,工,工后的數(shù)據(jù),一個(gè)人的垃圾,（,（數(shù)據(jù)）是另,一,一個(gè)人的財(cái)富,（,（信息）,知識(shí),是對(duì)信息內(nèi)容,進(jìn),進(jìn)行提煉、比,較,較、挖掘、分,析,析、概括、判,斷,斷和推論,事實(shí)性知識(shí)和,經(jīng),經(jīng)驗(yàn)知識(shí)（顯,性,性和隱性）,How are You?,什么是商務(wù)智,能,能-2,商務(wù)智能是企業(yè)利用現(xiàn)代信息技術(shù)收集、管理和分析結(jié)構(gòu)化和非結(jié)構(gòu)化的商務(wù)數(shù)據(jù)和信息，創(chuàng)造和累計(jì)商務(wù)知識(shí)和見(jiàn)解，改善商務(wù)決策水平，采取有效的商務(wù)行動(dòng)，完善各種商務(wù)流程，提升各方面商務(wù)績(jī)效，增強(qiáng)綜合競(jìng)爭(zhēng)力的智慧和能力-王茁專(zhuān)著,三位一體的商務(wù)智能,.,共性,沒(méi)有數(shù)據(jù)就沒(méi),有,有商務(wù)智能,數(shù)據(jù)之間往往,存,存在一定的規(guī),律,律,采用一定的信,息,息技術(shù)手段,BI給我們帶,來(lái),來(lái)了什么-1,BI給我們帶,來(lái),來(lái)了什么-2,豐富的報(bào)表、,查,查詢(xún)功能,發(fā),發(fā)生了什么,BI給我們帶,來(lái),來(lái)了什么-3,圖,4.5 Cognos,的鉆取操作,IBM Cognos的,鉆,鉆取操作,為,為什么發(fā)生,BI給我們帶,來(lái),來(lái)了什么-4,預(yù)測(cè)將來(lái),會(huì),會(huì)發(fā)生什么,銷(xiāo)售分析儀表,盤(pán),盤(pán),BI給我們帶,來(lái),來(lái)了什么-5,仿真分析,希,希望發(fā)生什么,BI 系統(tǒng)架,構(gòu),構(gòu)-1,數(shù)據(jù)庫(kù),業(yè)務(wù)數(shù)據(jù)庫(kù),添加、修改、刪除；,查詢(xún)、統(tǒng)計(jì)、歸檔；,存儲(chǔ)、集群、備份、遷移,數(shù)據(jù)倉(cāng)庫(kù),ETL,數(shù)據(jù)挖掘模型,多維分析模型,分析展現(xiàn),挖掘展現(xiàn),門(mén),戶(hù),集,成,BI 系統(tǒng)架,構(gòu),構(gòu)-2,數(shù)據(jù)源,企業(yè)內(nèi)部數(shù)據(jù),各種應(yīng)用系統(tǒng),：,：訂單系統(tǒng)、,銷(xiāo),銷(xiāo)售系統(tǒng)、,OLTP（OnlineTransactionProcessing）,外部數(shù)據(jù)：市,場(chǎng),場(chǎng)信息、競(jìng)爭(zhēng),對(duì),對(duì)手?jǐn)?shù)據(jù),存在問(wèn)題,異構(gòu)環(huán)境數(shù)據(jù),主題不明確,對(duì)業(yè)務(wù)系統(tǒng)的,影,影響,BI 系統(tǒng)架,構(gòu),構(gòu)-3,數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse，DW）,面向主題的、,集,集成的、穩(wěn)定,的,的、隨時(shí)間不,斷,斷變化的數(shù)據(jù),庫(kù),庫(kù)系統(tǒng),ETL,數(shù)據(jù)抽?。‥xtraction）,數(shù)據(jù)轉(zhuǎn)換（Transformation）,數(shù)據(jù)加載（Loading,）,）,BI 系統(tǒng)架,構(gòu),構(gòu)-4,OLAP（On-LineAnalyticalProcessing）,商務(wù)智能的直,接,接數(shù)據(jù)來(lái)源？,OLTP?,數(shù)據(jù)倉(cāng)庫(kù)？,多維數(shù)據(jù)集?,什么是多維數(shù),據(jù),據(jù)集？,“,多維數(shù)據(jù)集是一種結(jié)構(gòu)，包含了一個(gè)或多個(gè)度量,。這些度量用于所有維度的成員的每個(gè)唯一組合?！?BI 系統(tǒng)架,構(gòu),構(gòu)-5,OLAP（On-LineAnalyticalProcessing）,“OLAP系統(tǒng)能夠讓用戶(hù)快捷地從數(shù)據(jù)中檢索信息，通常作為分析工具用在數(shù)據(jù)集市中，OLAP系統(tǒng)通過(guò)度量、維度、層次結(jié)構(gòu)和多維數(shù)據(jù)集等來(lái)展示數(shù)據(jù)?！?Microsoft,BI 系統(tǒng)架,構(gòu),構(gòu)-6,數(shù)據(jù)挖掘,啤酒與尿布的故事：,在一家超市里，有一個(gè)有趣的現(xiàn)象：尿布和啤酒赫然擺在一起出售，但是這個(gè)奇怪的舉措?yún)s使尿布和啤酒的銷(xiāo)量雙雙增加了。,原來(lái)，美國(guó)的婦女們經(jīng)常會(huì)囑咐她們的丈夫下班以后要為孩子買(mǎi)尿布。而丈夫在買(mǎi)完尿布之后又要順手買(mǎi)回自己愛(ài)喝的啤酒，因此啤酒和尿布在一起購(gòu)買(mǎi)的機(jī)會(huì)還是很多的。,BI的三個(gè)層,次,次,數(shù)據(jù)庫(kù),業(yè)務(wù)數(shù)據(jù)庫(kù),添加、修改、刪除；,查詢(xún)、統(tǒng)計(jì)、歸檔；,存儲(chǔ)、集群、備份、遷移,數(shù)據(jù)倉(cāng)庫(kù),ETL,數(shù)據(jù)挖掘模型,多維分析模型,分析展現(xiàn),挖掘展現(xiàn),門(mén),戶(hù),集,成,BI的三個(gè)層,次,次,用戶(hù)數(shù)增加,報(bào)表分析,OLAP,DM,復(fù)雜度增加,我知道它現(xiàn)在,是,是怎樣的,我知道它為什,么,么是這樣,我知道它以后,會(huì),會(huì)是怎樣,主流商務(wù)智能,產(chǎn),產(chǎn)品介紹-1,廠商,產(chǎn)品及簡(jiǎn)介,IBM,DB2以及Cognos、SPSS、DataStage，覆蓋BI全部領(lǐng)域,Oracle,Oracle、Hyperion(海波龍,)，覆蓋BI全部領(lǐng)域，數(shù)據(jù)挖掘領(lǐng)域有待加強(qiáng),Microsoft,SQLServer，覆蓋BI全部領(lǐng)域，適合中小型企業(yè)，性?xún)r(jià)比高,Informatica,Informatica，主要是數(shù)據(jù)集成領(lǐng)域,Teradata,Teradata，主要是數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域,Sybase,SybaseIQ，主要是數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域,SAP,BusinessObjects、CrystalReports，主要是OLAP和報(bào)表領(lǐng)域,SAS,SAS，數(shù)據(jù)挖掘領(lǐng)域領(lǐng)先,奧威智動(dòng),Power-BI，主要是OLAP和報(bào)表領(lǐng)域，行業(yè)解決方案,尚南,BlueQuery，主要是OLAP和報(bào)表領(lǐng)域（已被用友華表收購(gòu)）,潤(rùn)乾,潤(rùn)乾報(bào)表，主要是OLAP和報(bào)表領(lǐng)域,探智,Trinity，主要是數(shù)據(jù)集成領(lǐng)域,主流商務(wù)智能,產(chǎn),產(chǎn)品介紹-2,商務(wù)智能應(yīng)用-1,商務(wù)智能行業(yè),應(yīng),應(yīng)用,商務(wù)智能應(yīng)用-2,各行業(yè)電子商,務(wù),務(wù)網(wǎng)站,算法,層,商,業(yè),邏,輯,層,行,業(yè),應(yīng),用,層,商業(yè)應(yīng)用,商業(yè)模型,挖掘算法,CRM,產(chǎn)品推薦,客戶(hù)細(xì)分,客戶(hù)流失,客戶(hù)利潤(rùn),客戶(hù)響應(yīng),關(guān)聯(lián)規(guī)則、序列模式、分類(lèi)、聚集、偏差分析,WEB,挖掘,網(wǎng)站結(jié)構(gòu)優(yōu)化,網(wǎng)頁(yè)推薦,商品推薦,基因挖掘,基因表達(dá)路徑分析,基因表達(dá)相似性分析,基因表達(dá)共發(fā)生分析,銀行,電信,零售,保險(xiǎn),制藥,生物信息,科學(xué)研究,相關(guān)行業(yè),商務(wù)應(yīng)用需求,的,的推動(dòng),神經(jīng)網(wǎng)絡(luò)、決,策,策樹(shù)、回歸分,析,析、粗集、遺,傳,傳算法,金融行業(yè)應(yīng)用,美國(guó)匯豐,銀,銀行使用SPSS成功案例,公司背景,美國(guó)匯豐銀行,是,是HSBC集,團(tuán),團(tuán)成員之一，,通,通過(guò)位于紐約,的,的 380,個(gè),個(gè)分支機(jī)構(gòu)為140 多,萬(wàn),萬(wàn)銀行客戶(hù)提,供,供核算、投資,、,、借貸和其它,金,金融服務(wù)。美,國(guó),國(guó)匯豐銀行資,產(chǎn),產(chǎn)為350億,美,美元。,面臨問(wèn)題,同一地區(qū)可能,有,有多家銀行設(shè),有,有分支機(jī)構(gòu)，,從,從而引起持續(xù),的,的競(jìng)爭(zhēng)來(lái)吸引,和,和保持附近的,潛,潛在客戶(hù)。為,保,保持高水平的,客,客戶(hù)獲取和保,持,持率，并維持,可,可贏利性，銀,行,行經(jīng)常要實(shí)現(xiàn),以,以下目標(biāo)：,擴(kuò)展和現(xiàn)有客,戶(hù),戶(hù)的關(guān)系,控制營(yíng)銷(xiāo)費(fèi)用,以,以維持利潤(rùn),用新的智能快,速,速轉(zhuǎn)移市場(chǎng),金融行業(yè)應(yīng)用,美國(guó)匯豐,銀,銀行使用SPSS成功案例,解決方案SPSS,客戶(hù)細(xì)分：采,用,用實(shí)時(shí)的預(yù)測(cè),分,分析技術(shù)，分,析,析來(lái)自各種不,同,同數(shù)據(jù)源（ATM、交易網(wǎng),站,站、呼叫中心,及,及相關(guān)分支機(jī),構(gòu),構(gòu)）的客戶(hù)數(shù),據(jù),據(jù),發(fā)現(xiàn)潛在,價(jià),價(jià)值,客戶(hù)流失：找,出,出最有價(jià)值的,客,客戶(hù)，理解他,們,們的行為。在,客,客戶(hù)群中找出,盡,盡可能多的潛,在,在流失者，進(jìn),行,行有效的保留,活,活動(dòng)并降低成,本,本,交叉銷(xiāo)售:從,客,客戶(hù)的交易數(shù),據(jù),據(jù)和客戶(hù)的自,然,然屬性中尋找,、,、選擇最有可,能,能捆綁在一起,銷(xiāo),銷(xiāo)售的產(chǎn)品和,服,服務(wù)，發(fā)現(xiàn)有,價(jià),價(jià)值的產(chǎn)品和,服,服務(wù)組合，從,而,而有效地向客,戶(hù),戶(hù)提供額外的,服,服務(wù)，提高活,期,期收入并提升,客,客戶(hù)的收益率,金融行業(yè)應(yīng)用,美國(guó)匯豐,銀,銀行使用SPSS成功案例,應(yīng)用結(jié)果,揭示特定客戶(hù),的,的需求，銷(xiāo)售,增,增加50%,營(yíng)銷(xiāo)費(fèi)用減少30%,提高了建立和,開(kāi),開(kāi)展適時(shí)營(yíng)銷(xiāo),戰(zhàn),戰(zhàn)略的能力,Somma說(shuō),，,，OLAP對(duì),了,了解數(shù)據(jù)特征,來(lái),來(lái)說(shuō)是一個(gè)不,錯(cuò),錯(cuò)的工具，但,我,我無(wú)法從中發(fā),現(xiàn),現(xiàn)聯(lián)系的力度,，,，也不能做出,預(yù),預(yù)測(cè)模型，而,那,那正是我最需,要,要的?！?Somma說(shuō),，,，OLAP,是,是好的報(bào)告工,具,具，但沒(méi)有統(tǒng),計(jì),計(jì)引擎，它只,能,能告訴過(guò)去我,在,在哪里，而不,能,能說(shuō)出我需要,去,去哪里。,BI在電信行,業(yè),業(yè)應(yīng)用,精細(xì)化營(yíng)銷(xiāo),客戶(hù)細(xì)分，找,準(zhǔn),準(zhǔn)客戶(hù)范圍，,全,全面了解客戶(hù),地市分公司數(shù),據(jù),據(jù)集市建設(shè),評(píng)估分析套餐,資費(fèi)預(yù)演功能,套餐分析,資費(fèi)營(yíng)銷(xiāo)案活,動(dòng),動(dòng)管理,降低成本,重入網(wǎng)現(xiàn)象日,趨,趨嚴(yán)重,利用呼叫指紋,和,和IMEI技,術(shù),術(shù)，架構(gòu)新的,重,重入網(wǎng)模型,BI在零售業(yè),應(yīng),應(yīng)用-1,零售業(yè)特點(diǎn),顧客數(shù)量龐大,，,，消費(fèi)水平層,次,次不齊,銷(xiāo)售品種多，,銷(xiāo),銷(xiāo)售方式多樣,供應(yīng)商信息龐,大,大,顧客已從“感覺(jué)消費(fèi),”,”向“感情消,費(fèi),費(fèi)”邁進(jìn),企業(yè)經(jīng)營(yíng)開(kāi)始從降低成本向,提,提高顧客滿(mǎn)意,度,度邁進(jìn)（CRM）,CRM（客戶(hù),關(guān),關(guān)系管理）指,在,在合適的時(shí)間,、,、以合適的價(jià),格,格、將合適的,產(chǎn),產(chǎn)品或服務(wù)提,供,供給合適的客,戶(hù),戶(hù)，以滿(mǎn)足他,們,們的需要。,BI在零售業(yè),應(yīng),應(yīng)用-2,BI在零售業(yè),的,的應(yīng)用價(jià)值,了解銷(xiāo)售全局,商品分組布局,降低庫(kù)存成本,市場(chǎng)和趨勢(shì)分,析,析,有效的商品促,銷(xiāo),銷(xiāo),BI在電子商,務(wù),務(wù)行業(yè)的應(yīng)用-1,BI在電子商,務(wù),務(wù)行業(yè)的應(yīng)用-2,Web挖掘,就是利用數(shù)據(jù),挖,挖掘技術(shù)，從Web文檔以,及,及服務(wù)中發(fā)現(xiàn),信,信息、知識(shí)的,過(guò),過(guò)程,數(shù)據(jù)來(lái)源于Web文檔、Web服務(wù)器,日,日志、用戶(hù)Cookies,主要處理文本,、,、圖形、圖像,等,等半結(jié)構(gòu)化數(shù),據(jù),據(jù),主要應(yīng)用,網(wǎng)站結(jié)構(gòu)優(yōu)化,智能搜索引擎,個(gè)性化推薦,顧客分類(lèi)，交,叉,叉銷(xiāo)售,垃圾郵件過(guò)濾,BI在電子,商,商務(wù)行業(yè)的,應(yīng),應(yīng)用-3,Web挖掘,分,分類(lèi),Web,挖掘,Web,結(jié)構(gòu)挖掘,Web,使用挖掘,Web,內(nèi)容挖掘,文本挖掘,多媒體挖掘,內(nèi),、,外部結(jié)構(gòu)挖掘,URL,挖掘,個(gè)性化訪問(wèn)模,式追蹤,一般訪問(wèn)模式,追蹤,BI在電子,商,商務(wù)行業(yè)的,應(yīng),應(yīng)用-4,Web文本,挖,挖掘,Web文本,挖,挖掘應(yīng)用,搜索引擎優(yōu),化,化,垃圾郵件過(guò),濾,濾,BI在電子,商,商務(wù)行業(yè)的,應(yīng),應(yīng)用-4,Web結(jié)構(gòu),挖,挖掘,通過(guò)分析頁(yè),面,面鏈接的數(shù),量,量和對(duì)象，,從,從而建立Web的鏈接,結(jié),結(jié)構(gòu)模式,相關(guān)算法,PageRank算法,：,：網(wǎng)頁(yè)的質(zhì),量,量和重要性,可,可以通過(guò)其,他,他網(wǎng)頁(yè)對(duì)其,鏈,鏈接的數(shù)量,進(jìn),進(jìn)行衡量,HITS算,法,法：,權(quán)威頁(yè)面：,表,表達(dá)某一主,題,題的頁(yè)面,Hub頁(yè)面,：,：把權(quán)威頁(yè),面,面鏈接到一,起,起的頁(yè)面,應(yīng)用,信息檢索：,根,根據(jù)Web,重,重要性進(jìn)行,排,排名,社區(qū)識(shí)別：,識(shí),識(shí)別基于某,個(gè),個(gè)特定主題,的,的相關(guān)Web頁(yè)面,網(wǎng)站優(yōu)化：,重,重新定位網(wǎng),頁(yè),頁(yè)鏈接,BI在電子,商,商務(wù)行業(yè)的,應(yīng),應(yīng)用-5,Web日志,挖,挖掘,指從用戶(hù)訪,問(wèn),問(wèn)日志中獲,取,取有價(jià)值的,信,信息，包,括