1.1、課程的背景
隨著業(yè)務(wù)系統(tǒng)的完善,特別是業(yè)務(wù)系統(tǒng)數(shù)據(jù)的積累,公司業(yè)務(wù)分析及決策人員越來越發(fā)現(xiàn)基于業(yè)務(wù)系統(tǒng)基礎(chǔ)數(shù)據(jù)的各種分析對其決策非常有幫助。因此基于業(yè)務(wù)系統(tǒng)的數(shù)據(jù)建立數(shù)據(jù)倉庫、建立商業(yè)智能(BI)系統(tǒng)已經(jīng)是大勢所趨。企業(yè)的精細(xì)化管理的核心思想是快、精、準(zhǔn),這幾個基本要求都需要BI的強力支撐,數(shù)據(jù)里面的知識可以幫助企業(yè)進(jìn)行優(yōu)化升級。但是一個BI系統(tǒng)的商業(yè)化產(chǎn)品和開發(fā)工具非常昂貴,對于中小型企業(yè)來說,難以承受這種成本支出。因此,本課程利用數(shù)據(jù)倉庫的知識,通過自己編寫存儲過程或者程序的方式來達(dá)到為客戶提供數(shù)據(jù)分析的效果。
1.2、課程內(nèi)容簡介
本課程以公共衛(wèi)生領(lǐng)域高血壓的管理為實際應(yīng)用場景,為高血壓管理系統(tǒng)建立數(shù)據(jù)倉庫,進(jìn)行數(shù)據(jù)分析。本課程一共分為四個章節(jié),76講。第一章主要介紹了商業(yè)智能系統(tǒng)的發(fā)展,從商業(yè)智能的學(xué)科范圍、演化史、應(yīng)用案例到自然演化式的體系結(jié)構(gòu),以及面臨的問題,再講到數(shù)據(jù)倉庫以及開發(fā)方法。第二章主要解析了數(shù)據(jù)倉庫的一些主要術(shù)語,例如,分區(qū)、粒度、維度、度量值、多維數(shù)據(jù)模型以及DW2.0。第三章講述了如何設(shè)計數(shù)據(jù)倉庫,引入了元數(shù)據(jù)的概念。第四章是整個課程中課時最多的部分,花了比較多的時間從頭到尾搭建了一個BI系統(tǒng),最終是以Web Service的方式供第三方調(diào)用。
1.3、課程大綱
一、理論講解部分:
1.商業(yè)智能系統(tǒng)的發(fā)展 - 商業(yè)智能的概念、學(xué)科范圍、演化史和應(yīng)用案例
2.商業(yè)智能系統(tǒng)的發(fā)展 – 信息抽取、自然演化式的體系結(jié)構(gòu)以及面臨的問題
3.商業(yè)智能系統(tǒng)的發(fā)展 – 初識數(shù)據(jù)倉庫
4.商業(yè)智能系統(tǒng)的發(fā)展 – 數(shù)據(jù)倉庫開發(fā)方法
5.數(shù)據(jù)倉庫的主要術(shù)語解析 - 數(shù)據(jù)倉庫的概念
6.數(shù)據(jù)倉庫的主要術(shù)語解析 - 數(shù)據(jù)倉庫的主要設(shè)計問題-粒度
7.數(shù)據(jù)倉庫的主要術(shù)語解析 – 雙重粒度、活樣本數(shù)據(jù)庫
8.數(shù)據(jù)倉庫的主要術(shù)語解析 - 數(shù)據(jù)倉庫的主要設(shè)計問題-數(shù)據(jù)分區(qū)
9.數(shù)據(jù)倉庫的主要術(shù)語解析 - 數(shù)據(jù)倉庫的常見問題
10.數(shù)據(jù)倉庫的主要術(shù)語解析 - 數(shù)據(jù)立方體、維、事實、多維數(shù)據(jù)庫模式
11.數(shù)據(jù)倉庫的主要術(shù)語解析 - 度量、維度、OLAP操作
12.數(shù)據(jù)倉庫的主要術(shù)語解析 - 數(shù)據(jù)倉庫的變體、DW2.0簡介
13.數(shù)據(jù)倉庫的主要術(shù)語解析 - DW2.0簡介(續(xù)1)
14.數(shù)據(jù)倉庫的主要術(shù)語解析 - DW2.0簡介(續(xù)2)
15.數(shù)據(jù)倉庫的主要術(shù)語解析 - DW2.0簡介(續(xù)3)
16.如何設(shè)計數(shù)據(jù)倉庫 - 構(gòu)造數(shù)據(jù)倉庫的兩個主要工作(操作型系統(tǒng)接口的設(shè)計)
17.如何設(shè)計數(shù)據(jù)倉庫 - 構(gòu)造數(shù)據(jù)倉庫的兩個主要工作(數(shù)據(jù)倉庫本身的設(shè)計)
18.如何設(shè)計數(shù)據(jù)倉庫 – 數(shù)據(jù)模型與迭代式開發(fā)、規(guī)范化/反向規(guī)范化
19.如何設(shè)計數(shù)據(jù)倉庫 - 數(shù)據(jù)倉庫中的快照、元數(shù)據(jù)
20.如何設(shè)計數(shù)據(jù)倉庫 - 數(shù)據(jù)周期、數(shù)據(jù)倉庫記錄的觸發(fā)、概要記錄
二、項目實戰(zhàn)部分:
1.數(shù)據(jù)倉庫搭建實戰(zhàn) – 操作性數(shù)據(jù)庫的準(zhǔn)備和分析
2.數(shù)據(jù)倉庫搭建實戰(zhàn) - 創(chuàng)建表之間的關(guān)系、導(dǎo)入導(dǎo)出數(shù)據(jù)庫、添加數(shù)據(jù)內(nèi)容
3.數(shù)據(jù)倉庫搭建實戰(zhàn) - 從外部文件導(dǎo)入數(shù)據(jù)、設(shè)計數(shù)據(jù)倉庫、創(chuàng)建維度表
4.數(shù)據(jù)倉庫搭建實戰(zhàn) - 創(chuàng)建簡單的時間維度表
5.數(shù)據(jù)倉庫搭建實戰(zhàn) - 創(chuàng)建完整的時間維度表
6.數(shù)據(jù)倉庫搭建實戰(zhàn) – 編寫存儲過程為完整的時間維度表添加數(shù)據(jù)
7.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫存儲過程為完整的時間維度表添加數(shù)據(jù)(續(xù)1)
8.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫存儲過程為完整的時間維度表添加數(shù)據(jù)(續(xù)2)
9.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫存儲過程為完整的時間維度表添加數(shù)據(jù)(續(xù)3)
10.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫存儲過程為完整的時間維度表添加數(shù)據(jù)(續(xù)4)
11.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫存儲過程為完整的時間維度表添加數(shù)據(jù)(續(xù)5)
12.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫小程序為完整的時間維度表添加數(shù)據(jù)
13.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫小程序為完整的時間維度表添加數(shù)據(jù)(續(xù)1)
14.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫小程序為完整的時間維度表添加數(shù)據(jù)(續(xù)2)
15.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫小程序為完整的時間維度表添加數(shù)據(jù)(續(xù)3)
16.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫小程序為完整的時間維度表添加數(shù)據(jù)(續(xù)4)
17.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫小程序為完整的時間維度表添加數(shù)據(jù)(續(xù)5)
18.數(shù)據(jù)倉庫搭建實戰(zhàn) - 編寫小程序為完整的時間維度表添加數(shù)據(jù)(續(xù)6)
19.數(shù)據(jù)倉庫搭建實戰(zhàn) - 建立其他維表
20.數(shù)據(jù)倉庫搭建實戰(zhàn) - 分析比較兩種方法的優(yōu)缺點
21.數(shù)據(jù)倉庫搭建實戰(zhàn) - 建立其他維表(續(xù)1)、建立Cube
22.數(shù)據(jù)倉庫搭建實戰(zhàn) - 分析操作型數(shù)據(jù)庫中的數(shù)據(jù)情況、確定分區(qū)和粒度、建立事實表
23.數(shù)據(jù)倉庫搭建實戰(zhàn) - 增加Gender維度,GZYS維度,Age維度
24.數(shù)據(jù)倉庫搭建實戰(zhàn) - 向新增的維表中添加數(shù)據(jù)
25.數(shù)據(jù)倉庫搭建實戰(zhàn) - 向新增的維表中添加數(shù)據(jù)(續(xù)1)
26.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp框架搭建
27.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp編寫
28.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp編寫(續(xù)1)
29.數(shù)據(jù)倉庫搭建實戰(zhàn) - 構(gòu)造Transform表
30.數(shù)據(jù)倉庫搭建實戰(zhàn) - 構(gòu)造Transform表(續(xù)1)
31.數(shù)據(jù)倉庫搭建實戰(zhàn) - 構(gòu)造Transform表(續(xù)2)
32.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp編寫(續(xù)2)
33.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp編寫(續(xù)3)
34.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp編寫(續(xù)4)
35.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp編寫(續(xù)5)
36.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp編寫(續(xù)6)
37.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp編寫(續(xù)7)
38.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp編寫(續(xù)8)
39.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp編寫(續(xù)9:調(diào)試)
40.數(shù)據(jù)倉庫搭建實戰(zhàn) - Extract, Transform, Load-Sp編寫(續(xù)10:處理增量)
41.數(shù)據(jù)倉庫搭建實戰(zhàn) - Log_ETL_SUMMARY以及Log_TEL_ERROR_DETAIL中增加主題名
42.數(shù)據(jù)倉庫搭建實戰(zhàn) - 增加ODS表
43.數(shù)據(jù)倉庫搭建實戰(zhàn) - 為ODS表添加數(shù)據(jù)
44.數(shù)據(jù)倉庫搭建實戰(zhàn) - 為ODS表添加數(shù)據(jù)(續(xù)1:考慮增量)
45.數(shù)據(jù)倉庫搭建實戰(zhàn) - 為ODS表添加數(shù)據(jù)(續(xù)2:增加記錄條數(shù)的統(tǒng)計)
46.數(shù)據(jù)倉庫搭建實戰(zhàn) - 為ODS修改ETL的存儲過程
47.數(shù)據(jù)倉庫搭建實戰(zhàn) - 調(diào)試ETL的存儲過程
48.數(shù)據(jù)倉庫搭建實戰(zhàn) - 調(diào)試ETL的存儲過程(續(xù)1:驗證增量)、定時執(zhí)行ETL存儲過程
49.數(shù)據(jù)倉庫搭建實戰(zhàn) - 加入校驗機制(ODS < —— > MAPPING(Source部分))
50.數(shù)據(jù)倉庫搭建實戰(zhàn) - 加入校驗機制(MAPPING(Target部分)< —— > DIM)
51.數(shù)據(jù)倉庫搭建實戰(zhàn) - 加入校驗機制后完善ETL
52.數(shù)據(jù)倉庫搭建實戰(zhàn) - 加入校驗機制后完善ETL(續(xù)1)
53.數(shù)據(jù)倉庫搭建實戰(zhàn) - 調(diào)試加入校驗機制后的ETL
54.數(shù)據(jù)倉庫搭建實戰(zhàn) - 調(diào)試加入校驗機制后的ETL(續(xù)1)、創(chuàng)建Web Service
55.數(shù)據(jù)倉庫搭建實戰(zhàn) - 調(diào)試加入校驗機制后的ETL(續(xù)2)、創(chuàng)建Web Service(續(xù)1)
56.數(shù)據(jù)倉庫搭建實戰(zhàn) - 調(diào)試加入校驗機制后的ETL(續(xù)3)、創(chuàng)建Web Service(續(xù)2)
1.4、課程部分項目截圖
二、為什么需要這么套課程?
2.1、企業(yè)需要什么?
說明:以下企業(yè)需求職位均來自于51job.
職位1、ETL開發(fā)工程師
職位2、數(shù)據(jù)倉庫開發(fā)工程師
更多企業(yè)招聘信息請參考:www.51job.com
2.2、課程學(xué)習(xí)目標(biāo)(我們提供什么?)
目標(biāo)一. 可以讓學(xué)員快速上手掌握維表、事實表以及相關(guān)的概念
目標(biāo)二. 可以讓學(xué)員迅速掌握各種維表的創(chuàng)建技巧
目標(biāo)三. 可以讓學(xué)員迅速掌握像維表中添加數(shù)據(jù)的多種方法
目標(biāo)四. 可以讓學(xué)員熟練使用ETL的開發(fā)和注意事項
目標(biāo)五. 了解Web Service,熟悉搭建的全過程
目標(biāo)六. 了解C#,熟悉搭建application的技巧與注意事項
目標(biāo)七. 通過完整的項目實戰(zhàn),全面的演示了整個數(shù)據(jù)倉庫搭建的綜合步驟、過程、注意事項及技巧
目標(biāo)八. 通過本課程的學(xué)習(xí),為學(xué)員以后開發(fā)商業(yè)智能項目提供了完整示范。
2.3、課程特色
特點一、講師具有一線的實戰(zhàn)經(jīng)驗與豐富的教學(xué)經(jīng)驗,課程即講解案例實現(xiàn)思路、理論與原理又講解實戰(zhàn)技巧與注意事項,即照顧到基顧學(xué)員,又照顧到有一定實戰(zhàn)經(jīng)驗想要提高自己的學(xué)員。
特點二、在每節(jié)開始之前先簡單回顧上一節(jié)所講的主要內(nèi)容,并對本節(jié)所講的內(nèi)容先進(jìn)行概述,講解概念、技術(shù)要點,設(shè)計實現(xiàn)思路等內(nèi)容,最后總結(jié)本次課程的要掌握的要點,講師授課采用先理論,后實戰(zhàn)的方式,由淺入深,符合人們接受知識的自然規(guī)律。
特點三、學(xué)習(xí)的過程中學(xué)員要理論和實踐相結(jié)合,講過的代碼學(xué)員自行完成修改和調(diào)試,以鞏固加深學(xué)習(xí)效果
2.4、課程亮點
亮點一、sql語句、存儲過程、Web Service 都是相對比較成熟的技術(shù),用如此組合為中小型企業(yè)打造商業(yè)智能平臺在實踐的過程中確實可以被用戶所接受。從數(shù)據(jù)倉庫的發(fā)展現(xiàn)狀來看,可以保證讓您的技術(shù)在二到三年內(nèi)不會落伍,而且一定能給滿足客戶的要求.
亮點二、理論與實戰(zhàn)相結(jié)合,由淺入深。即照顧到基礎(chǔ)學(xué)員,又照顧到有一定經(jīng)驗的學(xué)員,即講解細(xì)致,又一針見血,對技術(shù)絕不含糊.
亮點三、課程絕大多數(shù)代碼均是一行一行手工敲入,手把手一步步帶領(lǐng)學(xué)員從入門到精通.
亮點四、sql語句、存儲過程、Web Service這種組合及項目實戰(zhàn)國內(nèi)視頻教學(xué)尚屬首部,而此種組合也是該講師以前項目中常采用的一種框架,具有實戰(zhàn)意義.
亮點五、整個課程雖項目不大,但“麻雀雖小,五臟倶全”,整個項目基本上涉及到商業(yè)智能平臺搭建的方方面面,學(xué)員拿到該項目后稍加改造就可以用到自己的項目,實用性超強.
3.課程真心不錯,我可以學(xué)嗎?
本課程針對具有一定的數(shù)據(jù)庫基礎(chǔ)與一定的程序開發(fā)基礎(chǔ)的學(xué)員,想通過本項目的學(xué)習(xí),了解商業(yè)智能的新特性,結(jié)合sql語句、存儲過程、Web Service開發(fā)商業(yè)項目的學(xué)員。
4.我該怎么學(xué),如何才能學(xué)好這門課程,給些建議。
4.1、時間上的安排建議
本課程共76講,如果您時間上充分,建議以每天3-4講的進(jìn)度往前學(xué)習(xí)。
如果您是上班族或您已經(jīng)有一定的基礎(chǔ)了,可以直接進(jìn)入第四章的數(shù)據(jù)倉庫搭建實戰(zhàn),跟著課程一起搭建實際的系統(tǒng)。
4.2、學(xué)習(xí)要求
如果您沒有基礎(chǔ),建議還是中規(guī)中矩的按照課程進(jìn)度一點一點仔細(xì)觀看學(xué)習(xí),并一定要把看完的視頻中的代碼自己手敲一遍,以加深理解和記憶
如果您有基礎(chǔ),可不必按步就搬進(jìn)行,可以拿你感興趣的部分去學(xué)習(xí),但一定要注意實踐,并學(xué)會舉一反三
4.3、講師建議
建議:
1.最好看完視頻之后,拋開視頻,獨立自己去把上課中的示例寫一遍,看自己是否理解,如果不正確,可以回過頭看再看下視頻,如果反復(fù),達(dá)到真正理解和熟練掌握的目的。
2.對于項目實戰(zhàn)部分,一定要自己親自動手做一遍,不要滿足聽完就OK了
3. 建議一般聽視頻,一般拿個紙和筆,做一些記錄和筆記,這是一種非常好的學(xué)習(xí)
習(xí)慣。
4. 一定不要過于依賴視頻,要學(xué)會看API和使用百度,學(xué)會思考,學(xué)會舉一反三
5. 最后祝您學(xué)有所成
5.學(xué)完這門課程后能做什么?
學(xué)會該課程后,您可以為客戶搭建商業(yè)智能平臺,而且不需要依賴昂貴的BI工具。
本課程是屬于某個特定的專業(yè)技術(shù),掌握該技術(shù)后,你可以從事以下職位的相關(guān)工作
1.ETL開發(fā)工程師
2.數(shù)據(jù)倉庫開發(fā)工程師
3.數(shù)據(jù)倉庫架構(gòu)師
4.數(shù)據(jù)倉庫管理員
6. 學(xué)員常見問題:
常見問題一:學(xué)習(xí)該教程使用什么軟件嗎?軟件有沒有隨教程提供,及他們所使用的版本?
講師回答:課程使用Microsoft SQL SERVER 2012和Visual Studio 2012作為開發(fā)工具. 這些軟件大家可以根據(jù)自已的情況自行下載,沒有隨教程提供。而且本課程主要向?qū)W員教授的是一種思路和方法,可以選擇Oracle或者M(jìn)ySQL等其他的數(shù)據(jù)庫管理軟件,或者選擇Java等開發(fā)語言都可以。
常見問題二:學(xué)這個課程需要什么基礎(chǔ)?
講師回答:本課程針對具有一定的數(shù)據(jù)庫基礎(chǔ)與一定的程序開發(fā)基礎(chǔ)的學(xué)員
常見問題三:這種技術(shù)一般可用在什么場合?
講師回答:本課程教授的是一種為中小型企業(yè)搭建商業(yè)智能平臺的解決方案,它不純粹是一種語言,而是一個整體的解決思路,是一套框架。掌握它后可以讓你在從事商業(yè)智能領(lǐng)域涉及到數(shù)據(jù)倉庫類型的項目開發(fā)時,能得心應(yīng)手,成為掌握該領(lǐng)域技術(shù)的高級開發(fā)工程師,前(錢)途無限。
常見問題四:學(xué)完這項技術(shù)可以從事的工作崗位有哪些?
講師回答:可以從事的崗位有:ETL工程師、數(shù)據(jù)倉庫開發(fā)工程師、數(shù)據(jù)倉庫架構(gòu)師、數(shù)據(jù)倉庫管理員等等。
課程截圖
北風(fēng)網(wǎng),中國IT網(wǎng)絡(luò)教育第一品牌!