本站小編為你精心準(zhǔn)備了數(shù)據(jù)挖掘課程中數(shù)據(jù)思維培養(yǎng)方法參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要：依據(jù)數(shù)據(jù)思維的內(nèi)容和本質(zhì)，歸納在數(shù)據(jù)挖掘課程中訓(xùn)練數(shù)據(jù)思維的主線，提出面向數(shù)據(jù)思維能力培養(yǎng)的理論教學(xué)、實踐教學(xué)內(nèi)容和方式，并介紹相應(yīng)的教學(xué)方案和措施，說明實踐教學(xué)效果。

關(guān)鍵詞：數(shù)據(jù)思維；數(shù)據(jù)挖掘；實踐教學(xué)；教學(xué)改革

引言

隨著信息化和智能化在各行業(yè)的迅猛發(fā)展，近十幾年來數(shù)據(jù)的積累呈現(xiàn)出爆炸性加速增長的趨勢。如何有效地掌握這些數(shù)據(jù)、快速了解數(shù)據(jù)背后的真相是重大的經(jīng)濟(jì)需求和社會需求。充分發(fā)掘這些數(shù)據(jù)隱藏的規(guī)律和知識，并對其開發(fā)，應(yīng)用于經(jīng)濟(jì)生產(chǎn)、行業(yè)管理和社會服務(wù)，不僅是各行各業(yè)亟待解決的重大科研開發(fā)問題，而且是長遠(yuǎn)發(fā)展目標(biāo)。在這樣的背景下，數(shù)據(jù)挖掘已經(jīng)成為業(yè)界的熱點(diǎn)研究領(lǐng)域和熱門技術(shù)，數(shù)據(jù)挖掘課程也因而成為高校培養(yǎng)數(shù)據(jù)方面人才的重要課程。數(shù)據(jù)挖掘是典型的交叉學(xué)科，涉及眾多學(xué)科門類，包括計算機(jī)科學(xué)、統(tǒng)計學(xué)、數(shù)據(jù)庫和數(shù)據(jù)倉庫技術(shù)、并行計算和分布式計算、機(jī)器學(xué)習(xí)、人工智能等[1]。數(shù)據(jù)挖掘?qū)W科的主要特點(diǎn)是新穎性、覆蓋內(nèi)容廣泛、交叉性、難度大[2]。數(shù)據(jù)挖掘及其相關(guān)技術(shù)將對社會各個領(lǐng)域產(chǎn)生深遠(yuǎn)影響。目前，就業(yè)市場對數(shù)據(jù)人才的需求旺盛，數(shù)據(jù)人才的就業(yè)薪資普遍較高，但就業(yè)市場也對數(shù)據(jù)人才有諸多嚴(yán)格的要求，比如對數(shù)據(jù)挖掘原理和技術(shù)的理解和應(yīng)用、對相關(guān)交叉學(xué)科的深入掌握、對領(lǐng)域知識的理解和運(yùn)用等[3]。自然科學(xué)領(lǐng)域有公認(rèn)的三大科學(xué)思維：理論思維、實驗思維和計算思維[3]。在此基礎(chǔ)上，各領(lǐng)域?qū)?shù)據(jù)人才的普遍要求是具備數(shù)據(jù)思維能力，概括起來，就是對數(shù)據(jù)的抽象概括、領(lǐng)域變換、合理利用和制作分析工具、具備數(shù)據(jù)計算思維等能力及綜合運(yùn)用的能力。隨著大數(shù)據(jù)和人工智能日新月異的發(fā)展，近年來數(shù)據(jù)思維已經(jīng)成為被廣泛倡導(dǎo)的一種科學(xué)素養(yǎng)和實踐方法論。目前，數(shù)據(jù)挖掘課程在高校中的受課主體是計算機(jī)、信息等專業(yè)方向的研究生，對本科生的數(shù)據(jù)挖掘課程教學(xué)安排較少。本科生的數(shù)據(jù)挖掘課程普遍存在諸多問題[4]。①課程定位不明確，和研究生的數(shù)據(jù)挖掘課程定位不區(qū)分；②理論課偏多，對解決實際問題能力的訓(xùn)練不夠；③教學(xué)形式單一，教學(xué)內(nèi)容復(fù)雜而抽象，不能引起學(xué)生的學(xué)習(xí)興趣，很多學(xué)生因為過程中出現(xiàn)重大挫折而放棄學(xué)習(xí)，對后續(xù)內(nèi)容望而卻步。通過對比數(shù)據(jù)挖掘課程多年來在研究生和本科生中的授課情況，我們發(fā)現(xiàn)提升數(shù)據(jù)思維能力是讓學(xué)生增強(qiáng)數(shù)據(jù)處理方面的自信心、喜歡數(shù)據(jù)挖掘、理解數(shù)據(jù)挖掘并很好地應(yīng)用數(shù)據(jù)挖掘技術(shù)解決實際問題的關(guān)鍵。我們還意識到人才的培養(yǎng)首先體現(xiàn)在思維的培養(yǎng)上。

1數(shù)據(jù)思維面面觀

美國管理學(xué)家、統(tǒng)計學(xué)家愛德華•戴明說過一句話，成為美國社會的一句常用諺語，“除了上帝，每個人都必須用數(shù)據(jù)說話”，由此可見數(shù)據(jù)對于我們?nèi)粘Ｉ?、?jīng)濟(jì)生產(chǎn)社會發(fā)展的重要程度。要重視數(shù)據(jù)，用事實說話，依靠理性思維，但由于歷史的、文化的和科技的原因，我國對數(shù)據(jù)科學(xué)的重視時間較晚，重視程度較低，習(xí)慣于定性而不定量，習(xí)慣于直覺思維而不是推理思維。這也阻礙了數(shù)據(jù)科學(xué)的發(fā)展，大部分人不具備數(shù)據(jù)思維的能力。即使是數(shù)據(jù)人才，也缺乏系統(tǒng)的數(shù)據(jù)思維訓(xùn)練。眾所周知，機(jī)械思維帶來了工業(yè)革命。近年來，數(shù)據(jù)思維則引爆智能革命[5]2-3。歸納起來，數(shù)據(jù)思維包括數(shù)據(jù)的抽象和概括思維、數(shù)據(jù)的領(lǐng)域變換思維、使用和制造數(shù)據(jù)分析工具的思維、數(shù)據(jù)的計算思維、數(shù)據(jù)即知識的信念思維等。

1.1數(shù)據(jù)的抽象和概括思維

在數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的教學(xué)過程中，教師和學(xué)生都特別推崇“小數(shù)據(jù)講大故事”，也就是在小的數(shù)據(jù)集上了解用戶的需求，弄清楚問題的性質(zhì)，對小數(shù)據(jù)進(jìn)行實驗和驗證，然后再把這些方式方法應(yīng)用到大數(shù)據(jù)集中。但是，最終目的是“大數(shù)據(jù)講大故事”，也就是讓數(shù)據(jù)的整體支撐我們的邏輯、分析和驗證，支撐我們的最終應(yīng)用。小數(shù)據(jù)和大數(shù)據(jù)之間是有顯著差別的。首先，很多情況下小數(shù)據(jù)的性質(zhì)與大數(shù)據(jù)的性質(zhì)并不一致，這主要體現(xiàn)在它們之間并不是“獨(dú)立同分布的”；其次，小數(shù)據(jù)和大數(shù)據(jù)的處理手段一般來說并不相同。事實上，正是因為它們處理手段的不同，才引發(fā)了大數(shù)據(jù)技術(shù)革命；最后，小數(shù)據(jù)無法提供個性化的服務(wù)。通過小數(shù)據(jù)有可能掌握基本趨勢和規(guī)律，但如果在實踐中應(yīng)用，則個性化處理能力不強(qiáng)，甚至完全不能提供個性化處理和服務(wù)。然而，真實場景中大數(shù)據(jù)的數(shù)量級一般都是幾百M(fèi)B、幾個GB、甚至達(dá)到TB級別，很多學(xué)生對這些數(shù)據(jù)的反應(yīng)先是望而生畏，然后是望而卻步。針對這個學(xué)和教的難題，我們提出了數(shù)據(jù)概括和抽象思維的方法。也就是說，不管數(shù)據(jù)有多大，只要掌握了我們的方式方法，就能夠從整體上理解數(shù)據(jù)、把握數(shù)據(jù)，不再對數(shù)據(jù)有畏懼心理。后文中我們將從基于密度的抽樣、層次化聚類等技術(shù)手段入手，講解如何讓學(xué)生形成數(shù)據(jù)概括和抽象的思維及能力。

1.2數(shù)據(jù)的領(lǐng)域變換思維

離開了應(yīng)用領(lǐng)域，大數(shù)據(jù)及數(shù)據(jù)挖掘就沒有任何生命力。統(tǒng)計學(xué)和數(shù)據(jù)挖掘都可以分為兩個層面：“道”和“術(shù)”[5]19-25。其中的“道”指的是如何在領(lǐng)域中定義一個數(shù)據(jù)分析的問題，以及如何把分析結(jié)果應(yīng)用到領(lǐng)域，創(chuàng)造價值；而“術(shù)”指的是分析的手段，也就是我們通常所說的“挖掘”技術(shù)。在數(shù)據(jù)挖掘課程教學(xué)過程中我們發(fā)現(xiàn)，大部分學(xué)生熱衷于“術(shù)”的學(xué)習(xí)和研究，而對于“道”并不關(guān)心，這與文獻(xiàn)[5]19-25的發(fā)現(xiàn)和總結(jié)非常類似。為此，需要培養(yǎng)學(xué)生迅速發(fā)現(xiàn)領(lǐng)域需求和通過數(shù)據(jù)挖掘技術(shù)真正解決領(lǐng)域需求的能力。這樣才能真正掌握數(shù)據(jù)挖掘之“道”。針對領(lǐng)域變換思維，我們在后文中提出應(yīng)對措施和教學(xué)方法，包括積累領(lǐng)域共性需求、領(lǐng)域需求類比等方式。

1.3使用和制造數(shù)據(jù)分析工具的思維

對于海量數(shù)據(jù)、大數(shù)據(jù)，肉眼觀察已經(jīng)無法滿足理解數(shù)據(jù)、掌握數(shù)據(jù)、分析數(shù)據(jù)、發(fā)現(xiàn)數(shù)據(jù)中的規(guī)律，并應(yīng)用數(shù)據(jù)規(guī)律解決實際問題的業(yè)務(wù)脈絡(luò)，必須借助于分析和展現(xiàn)工具軟件，需要具備合理利用工具的思維方式和能力，但是從當(dāng)前的教學(xué)狀況看，學(xué)生容易走入兩個極端。第一個極端情況就是所有的分析挖掘工作全部借助于已有的軟件包，如果沒有合適的軟件包，或者軟件包如果不具備相應(yīng)的功能，則分析工作沒法繼續(xù)進(jìn)行。另一個極端就是學(xué)生并不想去學(xué)習(xí)各種軟件工具，對軟件包不過問、不應(yīng)用，所有的分析挖掘工作全部使用通用的編程語言實現(xiàn)。其實，這兩個極端情況都不利于數(shù)據(jù)挖掘工作的順利開展，也不利于真實應(yīng)用需求的有效解決。為此，我們在后文提出使用數(shù)據(jù)分析工具和制作數(shù)據(jù)分析工具相結(jié)合的思維方式和操作方法，使學(xué)生數(shù)據(jù)分析的效率和效能綜合最大化。

1.4數(shù)據(jù)的計算思維

所有的數(shù)據(jù)挖掘問題最終要落實到一個計算問題。大數(shù)據(jù)量場景下，對計算的效率要求越來越高。這導(dǎo)致在小數(shù)據(jù)量場景下完美運(yùn)行的許多挖掘過程在大數(shù)據(jù)量場景下不具有可行性。另一方面，由于從一開始要考慮到數(shù)據(jù)量的大小，為了使挖掘過程對數(shù)據(jù)具有可擴(kuò)展性，相當(dāng)一部分學(xué)生把注意力和精力放在對數(shù)據(jù)量的考慮和處理上。這兩方面都會嚴(yán)重制約數(shù)據(jù)挖掘過程的順利實施和有效應(yīng)用。為此，我們試圖在教學(xué)中強(qiáng)化數(shù)據(jù)的計算思維理念，也就是人力和算力的平衡思維理念，在后文中將詳述訓(xùn)練策略、內(nèi)容和具體手段。

1.5數(shù)據(jù)即知識的思維

在大數(shù)據(jù)時代背景下，如果具備強(qiáng)大完善的挖掘算法和挖掘手段，“數(shù)據(jù)即知識”，這是一個完美的目標(biāo)，也是一種思維理念。只有擁有這樣的思維方式，才敢于積極地對海量數(shù)據(jù)進(jìn)行挖掘處理，并樂觀應(yīng)對問題定義和結(jié)果以解釋應(yīng)用等一系列的難題。在后文中，我們將介紹如何向?qū)W生講授這一思維方式的理論支撐，以及如何訓(xùn)練學(xué)生把這一理念運(yùn)用到領(lǐng)域問題中。

2教學(xué)改革措施

2.1培養(yǎng)掌握數(shù)據(jù)摘要的直覺和技術(shù)手段

如前文所述，目前所有的實際領(lǐng)域應(yīng)用中的數(shù)據(jù)分析挖掘?qū)ο蠖贾辽偈菐装僬鬃止?jié)的數(shù)據(jù)集，數(shù)據(jù)記錄總數(shù)一般是百萬條起步。學(xué)生碰到這樣的數(shù)據(jù)集后會感到無從下手，而學(xué)習(xí)其中的基本結(jié)構(gòu)和掌握基本的統(tǒng)計信息需要花費(fèi)相當(dāng)長的時間，甚至超過了一次實驗課的總時間。為此，我們提出了一個完整的流程，并把這個流程腳本化和軟件化，通過這個流程的操作，就可以形成對數(shù)據(jù)的直覺，基本掌握數(shù)據(jù)特征及數(shù)據(jù)間的關(guān)系。首先，形成各式各樣的數(shù)據(jù)摘要，包括記錄條數(shù)、均值、最大值、最小值、所有離散取值可能、方差、分位數(shù)、異常值等；其次，利用多種隨機(jī)采樣手段，形成小數(shù)據(jù)，使得數(shù)據(jù)盡量與原數(shù)據(jù)獨(dú)立同分布，易于理解原數(shù)據(jù)；第三，把感興趣的字段重點(diǎn)關(guān)注，生成關(guān)于這些字段的數(shù)據(jù)的報告；第四，生成重要的感興趣的字段之間的關(guān)系，并以圖示的方式展現(xiàn)出來，產(chǎn)生關(guān)于它們之間關(guān)系的直覺；最后，也是最重要的步驟，就是把數(shù)據(jù)用層次化聚類的手段做出概括和摘要。該方法是我們的教師和學(xué)生自主研發(fā)的工具之一，能夠把任意龐大復(fù)雜的數(shù)據(jù)集匯總為20至50條有意義的摘要信息，這對理解和把握數(shù)據(jù)整體有著很大的幫助。對每一個案例訓(xùn)練，我們都按照上述的流程進(jìn)行，這使得學(xué)生掌握數(shù)據(jù)集的時間大大縮短。生成的摘要與領(lǐng)域知識密切相關(guān)，也是領(lǐng)域變換思維的具體體現(xiàn)。

2.2培養(yǎng)數(shù)據(jù)挖掘與領(lǐng)域相結(jié)合的能力

如果數(shù)據(jù)挖掘?qū)嵤┤藛T既是數(shù)據(jù)人才又兼為領(lǐng)域?qū)＜?，那將是最完美的。但是，大多?shù)情況下，數(shù)據(jù)人才僅對數(shù)據(jù)挖掘的技術(shù)熟悉，對存在需求的領(lǐng)域不了解，或一知半解，或經(jīng)過很長時間的學(xué)習(xí)才能夠了解；然而領(lǐng)域?qū)＜矣趾茈y在短時間內(nèi)掌握數(shù)據(jù)挖掘的相關(guān)技術(shù)。這是阻礙數(shù)據(jù)挖掘技術(shù)應(yīng)用于各領(lǐng)域中的最主要障礙。解決這個矛盾的主要途徑，就是讓數(shù)據(jù)人才與領(lǐng)域人才進(jìn)行高效地溝通，在較短的時間內(nèi)弄清楚：領(lǐng)域真正需求在哪里？其核心訴求是提高收入、縮減成本還是降低風(fēng)險？還是兼而有之？領(lǐng)域業(yè)務(wù)能夠提供哪些可自動獲取的數(shù)據(jù)（而非純?nèi)斯や浫氲臄?shù)據(jù)）？數(shù)據(jù)挖掘在眾多領(lǐng)域應(yīng)用中普遍存在的一個問題是：領(lǐng)域內(nèi)的業(yè)務(wù)人員并不明確自己需要的是什么。為了讓學(xué)生快速掌握領(lǐng)域溝通技能和技巧，我們分類別、分層次設(shè)置了與領(lǐng)域?qū)＜覝贤ǖ膯栴}，并制成表格。如果領(lǐng)域?qū)＜夷軌蛲暾卮疬@些問題，那么學(xué)生對業(yè)務(wù)需求和業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)會有比較完整的理解和把握。反過來，領(lǐng)域?qū)＜彝ㄟ^回答這些問題，也會梳理領(lǐng)域需求，梳理所擁有的數(shù)據(jù)及其邏輯、拓?fù)潢P(guān)系。這也能讓領(lǐng)域?qū)＜抑饾u明白，“數(shù)據(jù)即知識”。對所有的實驗案例，都要求學(xué)生按照這樣的表格分角色完成溝通。雖然部分學(xué)生對業(yè)務(wù)更了解，但也都嚴(yán)格按照要求完成問題列表表格。

2.3培養(yǎng)拿來主義和自力更生相結(jié)合的能力

隨著數(shù)據(jù)挖掘社區(qū)的急速發(fā)展，各式軟件和軟件包層出不窮。這些軟件或軟件包有純粹商業(yè)的、純粹開源的、混合型的。這些軟件構(gòu)件中，有的可以拿來即用，有的需要二次開發(fā)。正如前文所述，對于使用這些軟件或軟件包，學(xué)生容易走入兩個極端。一個極端是：對這些龐大復(fù)雜的軟件包無法掌握，無從下手開始，干脆棄之不用；而另一個極端是過分依賴于既有軟件，離開了成熟的軟件則寸步難行。其實這兩個極端都不是成熟合理的數(shù)據(jù)挖掘解決方式。為此，在教學(xué)過程中提倡拿來主義和自力更生相結(jié)合的解決模式。首先，讓學(xué)生了解市面上最常用和最有用的數(shù)據(jù)挖掘軟件，關(guān)注其中重要的軟件包和軟件構(gòu)件，例如Python的SK-learn包和Weka中Apriori算法、ID3算法、C4.5算法等；其次，學(xué)會用腳本語言串聯(lián)和組合這些算法，做到從單一功能設(shè)計到復(fù)雜功能設(shè)計的二次開發(fā)；第三，用自己熟悉的語言復(fù)現(xiàn)軟件包中的常見的算法；最后，對于那些不能用成熟軟件包實現(xiàn)的功能，要運(yùn)用Java、C++等語言編寫自己的應(yīng)用。

3教學(xué)效果

數(shù)據(jù)挖掘課程曾經(jīng)是北京林業(yè)大學(xué)研究生計算機(jī)相關(guān)專業(yè)的專業(yè)必修課，也是本科生的專業(yè)選修課，從2018年春季開始，成為計算機(jī)創(chuàng)新實驗班的專業(yè)必修課，3學(xué)分，共48學(xué)時。我們的教學(xué)改革措施主要在計創(chuàng)班中踐行。與以往教學(xué)不同，實驗不再使用小規(guī)模數(shù)據(jù)和模擬數(shù)據(jù)，全部使用真實案例中的大數(shù)據(jù)。第一個案例是學(xué)校提供的一卡通消費(fèi)數(shù)據(jù)，超過1000萬條記錄。學(xué)生預(yù)先接受了概括和抽象大數(shù)據(jù)的策略和流程訓(xùn)練，在這個案例中順利應(yīng)用，大部分同學(xué)在20分鐘內(nèi)從整體上掌握了數(shù)據(jù)，為后續(xù)挖掘工作打下了良好的基礎(chǔ)。第二個案例是北京市老齡委提供的老年卡消費(fèi)數(shù)據(jù)，超過300萬條記錄，通過填寫問卷，向以往有此項目經(jīng)驗的研究生詢問，也在一堂課時間之內(nèi)了解了相關(guān)的業(yè)務(wù)流程、數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)特點(diǎn)。為了讓學(xué)生不過分依賴于軟件平臺和軟件包，實驗課的最后一個任務(wù)就是獨(dú)立實現(xiàn)一個數(shù)據(jù)挖掘的構(gòu)件，該構(gòu)件能夠生成任意龐大數(shù)據(jù)集的有意義的摘要，以便用于將來的數(shù)據(jù)抽象和摘要生成。該構(gòu)件是教師的在研課題，其功能尚未出現(xiàn)在軟件包中，也沒有出現(xiàn)在文獻(xiàn)中。這給計創(chuàng)班的同學(xué)們提出了極大的挑戰(zhàn)，但是大部分學(xué)生在規(guī)定的時段內(nèi)獨(dú)立出色地完成了該功能，這不僅讓學(xué)生對以后數(shù)據(jù)分析挖掘工作增加了軟件儲備，也讓他們切身體會到了拿來主義和自力更生相結(jié)合的數(shù)據(jù)挖掘理念的意義和必要性?？傊?，通過數(shù)據(jù)思維的訓(xùn)練和相應(yīng)流程的執(zhí)行，數(shù)據(jù)挖掘課程的學(xué)生雖然付出了課程學(xué)時之外的很多努力，但能夠在一學(xué)期內(nèi)迅速掌握數(shù)據(jù)挖掘的精髓，并能獨(dú)立處理一些真實復(fù)雜的案例，說明數(shù)據(jù)思維理念的培養(yǎng)是有益的教學(xué)改革措施。

4結(jié)語

在大力發(fā)展新工科的時代背景下，提升學(xué)生的數(shù)據(jù)思維能力是對傳統(tǒng)的理論思維、實驗思維和計算思維培養(yǎng)的延續(xù)，也是適應(yīng)數(shù)據(jù)人才市場的教育選擇，我們也在這方面提出并實踐了針對性的教育改革措施，但是數(shù)據(jù)挖掘領(lǐng)域的發(fā)展速度遠(yuǎn)遠(yuǎn)超過預(yù)期，我們也會依據(jù)基本的數(shù)據(jù)思維理念，擴(kuò)展相關(guān)內(nèi)容，優(yōu)化培養(yǎng)流程，更好地為社會培養(yǎng)優(yōu)秀的數(shù)據(jù)人才。

參考文獻(xiàn)：

[1]陳晶,呂佳.高校數(shù)據(jù)挖掘課程教學(xué)模式探究[J].電腦知識與技術(shù),2018(1):179-182.

[2]王洪,洪鈴.大數(shù)據(jù)背景下“數(shù)據(jù)挖掘理論”課程教學(xué)思考[J].現(xiàn)代商貿(mào)工業(yè),2018(20):142-144.

[3]司明,厙向陽,李占利,等.突出計算思維訓(xùn)練的數(shù)據(jù)結(jié)構(gòu)教學(xué)實踐[J].實驗室研究與探索,2018(5):195-201.

[4]廖旺宇.貫穿式案例教學(xué)法在數(shù)據(jù)挖掘課程中的應(yīng)用[J].教育天地,2018(3):209-210.

[5]王漢書.數(shù)據(jù)思維:從數(shù)據(jù)分析到商業(yè)價值[M].北京:中國人民大學(xué)出版社,2017.

作者：王建新 單位：北京林業(yè)大學(xué)