一、本課程是怎么樣的一門課程（全面介紹）

 

 

1.1、課程的背景

 

        “大數(shù)據(jù)”作為時(shí)下最火熱的IT行業(yè)的詞匯，隨之而來的數(shù)據(jù)倉庫、數(shù)據(jù)分析、數(shù)據(jù)挖掘等等圍繞大數(shù)據(jù)的商業(yè)價(jià)值的利用逐漸成為行業(yè)人士爭相追捧的利潤焦點(diǎn)。 “大數(shù)據(jù)” 其實(shí)離我們的生活并不遙遠(yuǎn)，大到微博的海量用戶信息，小到一個(gè)小區(qū)超市的月銷售清單，都蘊(yùn)含著大量潛在的商業(yè)價(jià)值。

正是由于數(shù)據(jù)量的快速增長，并且已經(jīng)遠(yuǎn)遠(yuǎn)超過了人們的數(shù)據(jù)分析能力。因此，科學(xué)、商用等領(lǐng)域都迫切需要智能化、自動(dòng)化的數(shù)據(jù)分析工具。在這樣的背景下，數(shù)據(jù)挖掘技術(shù)應(yīng)用而生，使得海量數(shù)據(jù)的分析變得易如反掌。

 

 

 1.2、課程內(nèi)容簡介

 

        本課程名為深入淺出數(shù)據(jù)挖掘技術(shù)。所謂“深入”，指得是從數(shù)據(jù)挖掘的原理與經(jīng)典算法入手。其一是要了解算法，知道什么場景應(yīng)當(dāng)應(yīng)用什么樣的方法；其二是學(xué)習(xí)算法的經(jīng)典思想，可以將它應(yīng)用到其他的實(shí)際項(xiàng)目之中；其三是理解算法，讓數(shù)據(jù)挖掘的算法能夠應(yīng)用到您的項(xiàng)目開發(fā)之中去。所謂“淺出”，指得是將數(shù)據(jù)挖掘算法的應(yīng)用落實(shí)到實(shí)際的應(yīng)用中。課程會通過三個(gè)不同的方面來講解算法的應(yīng)用：一是微軟公司的SQL Server與Excel等工具實(shí)現(xiàn)的數(shù)據(jù)挖掘；二是著名開源算法的數(shù)據(jù)挖掘，如Weka、KNIMA、Tanagra等開源工具；三是利用C#語言做演示來完成數(shù)據(jù)挖掘算法的實(shí)現(xiàn)。

        根據(jù)實(shí)際的引用場景，數(shù)據(jù)挖掘技術(shù)通常分為分類器、關(guān)聯(lián)分析、聚類算法等三大類別。本課程主要介紹這三大算法的經(jīng)典思想以及部分著名的實(shí)現(xiàn)形式，并結(jié)合一些商業(yè)分析工具、開源工具或編程等方式來講解具體的應(yīng)用方法。

 

 

1.3、課程大綱

 

        1)     數(shù)據(jù)挖掘概述與數(shù)據(jù)

            本章講解了數(shù)據(jù)挖掘技術(shù)的起源、應(yīng)用場景以及基本的處理方法，并對于數(shù)據(jù)集、數(shù)據(jù)等基本的概念做了闡釋。

 

        2) 可視化與多維數(shù)據(jù)分析（實(shí)踐課）

            本章講解了數(shù)據(jù)可視化的基本方法，并分別演示了Excel數(shù)據(jù)透視表與SQL Server Analysis Service對于多維數(shù)據(jù)的可視化處理。（OLAP）

 

        3) 分類器與決策樹

            本章講解了分類器的基本概念與應(yīng)用方法，并具體分析了分類器經(jīng)典算法之一決策樹的實(shí)現(xiàn)方法。

 

        4) 其他分類器（上）

            本章講解了另外兩種經(jīng)典的分類器算法：基于規(guī)則的分類器與基于距離的分類器。

 

        5) 其他分類器（下）

            本章講解了其他一些常見的分類器算法，如基于距離的分類器的改良算法、貝葉斯分類器、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)與組合方法等。

 

        6) 決策樹的應(yīng)用（實(shí)踐課）

            本章演示了利用Weka Explorer、KNIME、Tanagra等開源工具進(jìn)行的數(shù)據(jù)挖掘處理。演示中對比了幾類數(shù)據(jù)挖掘算法，如Cart決策樹、C4.5決策樹、KNIME決策樹、簡單貝葉斯分類、組合方法（裝袋）、人工神經(jīng)網(wǎng)絡(luò)、基于規(guī)則的分類等。

 

        7) 關(guān)聯(lián)分析

            本章講解了關(guān)聯(lián)分析的常見算法，即Apriori算法與FP增長算法。

 

        8) 購物車數(shù)據(jù)分析（實(shí)踐課）

            本章主要演示了利用微軟的解決方案來進(jìn)行購物車數(shù)據(jù)的關(guān)聯(lián)分析，包括SQL Service Analysis Service的關(guān)聯(lián)分析與Excel結(jié)合SSAS外接程序等方法。最后還利用Weka KnowledgeFlow工具來進(jìn)行關(guān)聯(lián)分析，以便對比第六章的實(shí)踐。

 

        9) 聚類算法

            本章講解了聚類算法的基本原理與常見算法，包含K均值算法、層次聚類、基于密度的聚類算法。

 

        10)  聚類算法C#源代碼實(shí)現(xiàn)（實(shí)踐課）

            本章演示如何通過C#源代碼實(shí)現(xiàn)聚類算法。

 

 

 

1.5、講師介紹

        艾倫：世界500強(qiáng)頂級企業(yè)2年云計(jì)算工作經(jīng)驗(yàn)，擁有多年的開發(fā)經(jīng)歷，擅長SQL Server數(shù)據(jù)庫并對數(shù)據(jù)處理有一定的研究，同時(shí)也有許多C/C++、C#、Jquery等網(wǎng)頁與桌面應(yīng)用開發(fā)經(jīng)驗(yàn)。

 

 

 

 

二、為什么需要這么套課程？   

 

 

2.1、企業(yè)需要什么？

 

        數(shù)據(jù)挖掘是一門比較新的技術(shù)，而數(shù)據(jù)挖掘的需求并沒有完全的挖掘出來。在這樣的情形下，我們依然看到很多企業(yè)對這樣的新技術(shù)有著強(qiáng)烈的需求。

（說明：以下企業(yè)需求職位均來自于51job.）

 

        職位1、數(shù)據(jù)庫工程師

 

 

        職位2、軟件開發(fā)工程師

 

 

        職位3、市場分析員

 

更多企業(yè)招聘信息請參考：www.51job.com 

 

 

2.2、課程學(xué)習(xí)目標(biāo)（我們提供什么？）

 

        目標(biāo)一. 可以讓學(xué)員了解與理解主要的數(shù)據(jù)挖掘技術(shù)。

 

        目標(biāo)二. 可以讓學(xué)員迅速掌握各類數(shù)據(jù)挖掘技術(shù)的應(yīng)用場景。

 

        目標(biāo)三. 可以讓學(xué)員迅速掌握常見的數(shù)據(jù)挖掘工具的使用方法。

 

        目標(biāo)四. 可以讓有一定基礎(chǔ)的學(xué)員對數(shù)據(jù)挖掘的代碼實(shí)現(xiàn)入門。

 

 

2.3、課程特色

 

        特點(diǎn)一、講師講求深入淺出，從理論、原理出現(xiàn)但是會回歸到實(shí)際的應(yīng)用。既照顧到希望提高理解與認(rèn)識的學(xué)員，也照顧到關(guān)注實(shí)踐應(yīng)用的學(xué)員。

 

        特點(diǎn)二、實(shí)踐應(yīng)用各有側(cè)重，會從幾種不同風(fēng)格的軟件或工具入手來演示。如主流軟件公司的數(shù)據(jù)挖掘產(chǎn)品（微軟公司的SQL Service Analysis Service）、開源軟件與工具（Weka、KNIME、Tanagra）以及挖掘算法通過C#代碼的實(shí)現(xiàn)。充分照顧到學(xué)員對于應(yīng)用軟件的偏好。

 

        特點(diǎn)三、學(xué)習(xí)的過程中理論和實(shí)踐相結(jié)合，案例數(shù)據(jù)具備一定的代表性。并且課程提供所有的案例數(shù)據(jù)供學(xué)員自行修改和調(diào)試，以鞏固加深學(xué)習(xí)效果

 

 

2.4、課程亮點(diǎn)

 

        亮點(diǎn)一、數(shù)據(jù)挖掘本身就是前沿的技術(shù)，中文的教材、課程數(shù)量非常少，如此的課程在國內(nèi)也不常見。

 

        亮點(diǎn)二、理論與實(shí)戰(zhàn)相結(jié)合，深入淺出。即照顧到基礎(chǔ)學(xué)員，又照顧到有一定經(jīng)驗(yàn)的學(xué)員，即講解細(xì)致，又一針見血，對技術(shù)絕不含糊。

 

        亮點(diǎn)三、代碼的實(shí)現(xiàn)是一行一行手工敲入，手把手一步步帶領(lǐng)學(xué)員從入門到精通。

 

        亮點(diǎn)四、實(shí)踐演示涉及到的軟件、工具數(shù)目眾多，照顧不同使用習(xí)慣的學(xué)員。

 

        亮點(diǎn)五、整個(gè)課程雖短，但“麻雀雖小，五臟倶全”。講解過程節(jié)奏緊湊且內(nèi)容充實(shí)。

 

 

3.課程真心不錯(cuò)，我可以學(xué)嗎？

 

        本課程會涉及到不少數(shù)據(jù)挖掘的算法。為了更好地理解算法，建議學(xué)員可以有一定的基本算法的基礎(chǔ)。除了SQL Service Analysis Service的應(yīng)用實(shí)踐，大部分的演示都避免了使用數(shù)據(jù)庫來導(dǎo)入數(shù)據(jù)，因此對于數(shù)據(jù)庫的知識沒有特別要求。若學(xué)員希望理解最后一章的代碼實(shí)現(xiàn)，需要具備C#的基本知識。

 

        1、 學(xué)習(xí)基本算法在Java的實(shí)現(xiàn)，推薦您學(xué)習(xí)

            http://www.ibeifeng.com/goods.php?id=329

 

        2、 學(xué)習(xí)基本算法在C#的實(shí)現(xiàn)，推薦您學(xué)習(xí)

            http://www.ibeifeng.com/goods.php?id=69

 

        3、 學(xué)習(xí)C#的基本知識，推薦您學(xué)習(xí)

            http://www.ibeifeng.com/goods.php?id=7

 

 

4.我該怎么學(xué),如何才能學(xué)好這門課程，給些建議。

 

        4.1、時(shí)間上的安排建議

            本課程共10講，由于內(nèi)容比較緊湊，建議每天一講，深入理解課程內(nèi)容。

 

        4.2、學(xué)習(xí)要求

            建議按照課程進(jìn)度仔細(xì)觀看學(xué)習(xí)，并利用課程的測試數(shù)據(jù)在相應(yīng)的軟件或工具中自己實(shí)踐一遍。（由于版權(quán)原因，Excel、SQL Server與Visual Studio未提供下載地址，但其他開源軟件均提供了下載地址）

            如果您有基礎(chǔ)，建議學(xué)習(xí)算法后可以嘗試?yán)么a實(shí)現(xiàn)算法，并學(xué)會舉一反三

 

        4.3、講師建議（講師給學(xué)員的建議）

 

建議：

        1.最好看完視頻之后，拋開視頻，仔細(xì)想想每個(gè)算法的原理與思想；若記憶不深刻，可以回過頭看再看下視頻，如此反復(fù)，達(dá)到真正理解和熟練掌握的目的。

 

        2.對于項(xiàng)目實(shí)戰(zhàn)部分，一定要自己親自動(dòng)手做一遍，不要聽完就結(jié)束。

 

        3.很多知識在開源社區(qū)中都有不同的見解，要學(xué)會使用搜索引擎，多逛逛相關(guān)社區(qū)。

 

        4.最后祝您學(xué)有所成。

 

 

5.學(xué)完這門課程后能做什么？

 

學(xué)會該課程后，嘗試著問自己幾個(gè)問題：

 

        1. 在您的生活中、工作中是否有尚未開發(fā)的數(shù)據(jù)？

 

        2. 那些尚未開發(fā)的數(shù)據(jù)與數(shù)據(jù)挖掘哪一個(gè)模型能夠匹配？

 

        3. 能否嘗試使用數(shù)據(jù)挖掘的方法來發(fā)現(xiàn)一些潛在的規(guī)律？

 

        本課程是針對數(shù)據(jù)、數(shù)據(jù)分析與挖掘方向，可以幫助您學(xué)會數(shù)據(jù)挖掘的思想，并不限定于某個(gè)特定的專業(yè)技術(shù)。掌握該技術(shù)后，一定能使您對于自己的業(yè)務(wù)數(shù)據(jù)的分析方法與能力更上一層樓。

 

6.  學(xué)員常見問題：

 

        常見問題一：學(xué)習(xí)該教程會使用哪些軟件？軟件有沒有隨教程提供，沒有提供的話，軟件的的下載地址，及他們所使用的版本如何？

        講師回答：本課程的軟件分為兩個(gè)部分：

 

                           第一個(gè)部分是微軟公司的Office Excel、SQL Server Analysis Service(SSAS)、Visual Studio。Visual Studio主要用于演示層次聚類算法的C#實(shí)現(xiàn)，并不限制于特定的版本。Excel與SQL Server結(jié)合所需的版本如下：

               Excel 2007與SQL Server 2005

               Excel 2007與SQL Server 2008

               Excel 2010與SQL Server 2012

 

                          第二部分是一些開源軟件與工具，課程中會提供工具下載的鏈接。

 

        常見問題二：學(xué)這個(gè)課程需要什么基礎(chǔ)？

        講師回答：適合對數(shù)據(jù)分析有興趣的學(xué)員。建議對基本算法、數(shù)據(jù)庫等知識有一定了解。開源軟件與工具界面為英文，主要以單詞為主，對英文沒有特別要求。

 

        常見問題三：這種技術(shù)一般可用在什么場合？

        講師回答：本數(shù)據(jù)是數(shù)據(jù)分析領(lǐng)域的一個(gè)技術(shù)點(diǎn)，不是一個(gè)特定的工具。首先，數(shù)據(jù)分析與挖掘的思想可以借鑒到生活中或者工作中的任意數(shù)據(jù)分析場景；其次，分析與挖掘的方法可以廣泛用于市場定位、客戶關(guān)系分析、項(xiàng)目開發(fā)等領(lǐng)域。掌握它后可以讓你對數(shù)據(jù)的把控能力更得心應(yīng)手，前（錢）途無限。

 

        常見問題四：學(xué)完這項(xiàng)技術(shù)可以從事的工作崗位有哪些？

        講師回答：越來越多的企業(yè)開始進(jìn)入了大數(shù)據(jù)的潮流。主要的職位是數(shù)據(jù)分析專員與數(shù)據(jù)挖掘工程師，但是很多工作崗位都將數(shù)據(jù)挖掘作為選拔人才的加分項(xiàng)。相信未來數(shù)據(jù)挖掘的重要性會隨著互聯(lián)網(wǎng)、云計(jì)算的發(fā)展進(jìn)一步地增加。

 

可以從事的崗位非常多：如：

 

數(shù)據(jù)庫工程師、軟件開發(fā)工程師、市場分析專員