大話數(shù)據(jù)挖掘之?dāng)?shù)據(jù)挖掘簡介
2020-12-21 17:46:13
次
人物介紹
許教授：國內(nèi)數(shù)據(jù)挖掘?qū)＜摇⒛?85高校智能信息處理學(xué)術(shù)帶頭人
萬總：某超市集團(tuán)營銷副總
李部長：某鋼鐵集團(tuán)生產(chǎn)部部長
某985高校管理學(xué)院第五屆EMBA班的《數(shù)據(jù)挖掘及其應(yīng)用》課程上。
國內(nèi)數(shù)據(jù)挖掘?qū)＜摇⒅悄苄畔⑻幚韺W(xué)術(shù)帶頭人徐教授站在講臺上打開PPT說：“同學(xué)們，大家好！將由我向大家介紹數(shù)據(jù)挖掘及其應(yīng)用。這門課我們將通過典型的應(yīng)用實例深入淺出地介紹數(shù)據(jù)挖掘的概念、功能、流程和算法。”
“隨著計算機(jī)技術(shù)、數(shù)據(jù)庫技術(shù)、傳感器技術(shù)和自動化技術(shù)的飛速發(fā)展，人們獲取數(shù)據(jù)、存儲數(shù)據(jù)變得越來越容易。這些數(shù)據(jù)不是人為產(chǎn)生的，是對我們所研究對象隱含的一定的規(guī)律的反映。數(shù)據(jù)挖掘的目的就是要從所獲取的數(shù)據(jù)中發(fā)現(xiàn)這種規(guī)律性的知識，從而幫助企業(yè)在他們的數(shù)據(jù)倉庫中找到最重要的信息，預(yù)測未來趨勢和行為，使得商務(wù)和生產(chǎn)活動具有前瞻性，并作出具有知識驅(qū)動的決策。那么到底什么是數(shù)據(jù)挖掘呢？同學(xué)們可以說一下自己的認(rèn)識。”
學(xué)員們你一言，我一語，爭先恐后。
“數(shù)據(jù)挖掘就是從數(shù)據(jù)中發(fā)現(xiàn)有價值的信息的技術(shù)。”
“數(shù)據(jù)挖掘是對數(shù)據(jù)建立模型，通過算法求解而發(fā)現(xiàn)隱藏在數(shù)據(jù)中的知識的一種手段。”
“……”
徐教授總結(jié)道：“大家對數(shù)據(jù)挖掘的認(rèn)識都值得表揚，不過各人表述的都不夠全面。”說著，徐教授敲了一下鍵盤，說：“請看大屏幕，這才是最權(quán)威的數(shù)據(jù)挖掘的定義。”
“數(shù)據(jù)挖掘（Data Mining）就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。”
大家認(rèn)真地看著屏幕的內(nèi)容。
片刻之后，有學(xué)員問道：“數(shù)據(jù)量小是不是就不能進(jìn)行數(shù)據(jù)挖掘了？”
徐教授答道：“實際上數(shù)據(jù)挖掘的算法大都是建立在統(tǒng)計學(xué)大數(shù)定律基礎(chǔ)上的。數(shù)據(jù)量太小，常常無法反映出真實世界中的普遍特性，這樣挖掘算法得出的結(jié)論自然不可靠。但并非小數(shù)據(jù)量就不可以進(jìn)行挖掘，近年來研究者也提出了一些對小樣本進(jìn)行挖掘的方法，如支撐向量機(jī)方法就是基于小樣本學(xué)習(xí)理論的非常實用的方法。數(shù)據(jù)量雖小，但數(shù)據(jù)總是事物特性一定程度的反映，只要建立的模型和算法得當(dāng)，當(dāng)然也可以從這些數(shù)據(jù)中獲取一定的知識。”
“那么是不是數(shù)據(jù)量越大越好？”有學(xué)員問。
“從理論上說，應(yīng)該是這樣。但隨著數(shù)據(jù)量的增大，算法執(zhí)行效率會越來越低，甚至無法計算。”徐教授回答說。
剛才提問的學(xué)員點了點頭，接著問：“徐老師，數(shù)據(jù)挖掘的定義中，數(shù)據(jù)前面還有那么多的修飾，您還是給我們解釋解釋吧。”
“大家淡定點，‘不完全的、有噪聲的、模糊的、隨機(jī)的’確實有點繞口，現(xiàn)實中經(jīng)常會碰到這種數(shù)據(jù)。例如，問卷調(diào)查時發(fā)現(xiàn)不少人不填婚姻狀況和年齡，這些不完全的或缺失的數(shù)據(jù)會給數(shù)據(jù)挖掘帶來一定的難度，我們要么干脆刪除這些樣本或記錄，要么選擇使用一定的方法將這些缺失數(shù)據(jù)補(bǔ)上，或者選擇使用可以自動處理缺失數(shù)據(jù)的算法。”說道這兒，徐教授端起了茶杯，說自己也要補(bǔ)充一下水分了。
“那噪聲是什么意思？”一學(xué)員問。
徐教授合上茶杯蓋子，一邊狠狠地用杯子連續(xù)敲擊著桌子，一邊說：“對于我講課的聲音來說，敲桌子的聲音就是噪音，我們的錄音機(jī)錄到的是我的講話聲和敲桌子聲混雜在一起的混合聲波數(shù)據(jù)。”
“我明白了，由于異常情況的干擾，使我們獲得的數(shù)據(jù)偏離了真實值，這樣的數(shù)據(jù)就是噪音數(shù)據(jù)。”剛才提問的學(xué)員說。
“不光是外界的干擾，測量儀器的故障、人工輸入或抄寫時的失誤等都可能形成噪音數(shù)據(jù),可見實際問題中噪音數(shù)據(jù)往往難以避免的。”徐教授進(jìn)一步解釋說。
“徐老師，什么是模糊的、隨機(jī)的數(shù)據(jù)？”又有一學(xué)員問。
“在數(shù)據(jù)挖掘過程中，我們不可避免地要涉及事物的不確定性。不確定性包括模糊性和隨機(jī)性。模糊性則指事物本身從屬概念的不確定性，隨機(jī)性是指事件發(fā)生與否的不確定性。”
“太抽象了，徐老師，您給我們舉個例子吧！”李部長建議說。
“好吧。其實模糊的數(shù)據(jù)大家平時都經(jīng)常見到，比如說張三個子很高，李四個子較矮，個子的高矮就是典型的模糊性概念，到底多高才算高，李部長1米80，對一般人來說算高個子，但跟姚明比，就太矮了。隨機(jī)數(shù)據(jù)也極為多見，比如說華潤萬家啤酒每天的銷量顯然是不確定的，大部分人買啤酒是在超市轉(zhuǎn)悠時臨時決定的。”徐教授回答道。
李部長扶了扶眼鏡，支支吾吾地說：“我似乎明白了……”
萬總快人快語：“徐老師,數(shù)據(jù)挖掘的目的是從數(shù)據(jù)中發(fā)現(xiàn)新的信息和知識，那挖掘出來的知識是什么？”
徐教授回答道：“挖掘出來的知識就是‘散落的珍珠’，亦或是‘發(fā)光的金子’，它對人們的實際決策價值非凡。知識是通過對數(shù)據(jù)進(jìn)行深入地歸納、分析而獲得的，是對所研究對象更深層次的認(rèn)識。知識是隱藏在數(shù)據(jù)中的關(guān)于所研究對象的規(guī)律性，比如說可以用來預(yù)測的數(shù)學(xué)模型、‘如果…那么…’這樣的規(guī)則、描述事物的類別、有價值的模式、所研究對象的結(jié)構(gòu)、研究對象與對象之間的關(guān)系等等。”
關(guān)于數(shù)據(jù)挖掘介紹的內(nèi)容就介紹到這里。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標(biāo)平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林?jǐn)?shù)據(jù)
大數(shù)據(jù)分析與應(yīng)用
陜公網(wǎng)安備 61019002000171號
