hadoop簡介及工資水平：

 

目前Hadoop的應(yīng)用越來越廣泛，很多企業(yè)都開始采用，Hadoop人才也很稀缺和搶手，待遇和遠(yuǎn)比Java、.Net開發(fā)好。本系列課講解目前主流的Hadoop版本Cloudera Hadoop 4（這里采用cdh4.1），該版本相比0.20.x,性能和穩(wěn)定性上提高很多。cdh4環(huán)境搭建相比舊版本也復(fù)雜很多，但可以用cloudera-manager對集群進(jìn)行管理和配置。CDH4默認(rèn)集成了常用的所有組件如Hive、Sqoop、HBase、Hue、Pig、Flume、Mahout、Zookeeper等，從而形成一功能強(qiáng)大的分布式平臺。

 

本課會分享一些本人所在團(tuán)隊自研的適用于企業(yè)級開發(fā)和應(yīng)用的框架和工具，這些有效提高了開發(fā)效率，大大降低了維護(hù)成本，這些正是我們多年實戰(zhàn)的結(jié)晶。

 

 

課程大綱及內(nèi)容簡介:

 

每節(jié)課約35分鐘，共不下40講。

 

第一章（11講）

·分布式和傳統(tǒng)單機(jī)模式

·Hadoop背景和工作原理

·Mapreduce工作原理剖析

·第二代MR--YARN原理剖析

·Cloudera Manager 4.1.2安裝

·Cloudera Hadoop 4.1.2 安裝 

·CM下集群管理一

·CM下集群管理二

·Hadoop fs 命令詳解

·cloudera manager管理集群
·cloudera manager下集群高級管理

 

第二章（約10講）

·Hive數(shù)據(jù)表和數(shù)據(jù)存儲
·Hive的Java擴(kuò)展開發(fā)
·Hive UDF和UDAF開發(fā)
·Hive JDBC連接
·Hive常見場景，實戰(zhàn)練習(xí)
·Hive -f 傳參框架開發(fā)
 由于hive自帶命令hive -f無法傳參數(shù)，導(dǎo)致hive跨文件的使用基本癱瘓，
 無法大量推廣。該框架可以任意傳參，讓hive企業(yè)級應(yīng)用開發(fā)更高效和簡潔。

第三章（約5講）

·Sqoop原理
·Sqoop使用詳解
·用Sqoop實現(xiàn)HDFS/Hive與關(guān)系數(shù)據(jù)庫的數(shù)據(jù)交互
·用Sqoop實現(xiàn)HBase與關(guān)系數(shù)據(jù)庫的數(shù)據(jù)交互

第四章（約8講）

·Hbase原理
·Hbase系統(tǒng)架構(gòu)
·Hbase存儲機(jī)制
·Hbase基本使用
·Hbase表設(shè)計思路和方案
·常見應(yīng)用場景
·和Hive交互
·Java訪問、WEB開發(fā)

第五章 項目實戰(zhàn)（約8講）

電商業(yè)日志流量分析項目，互聯(lián)網(wǎng)企業(yè)對海量日志的分析是Hadoop應(yīng)用的一個重要用途，也是對網(wǎng)站流量、客戶行為分析的重要途徑。該項目整合Hive、Hbase、Sqoop等常用組件，涉及從后臺處理到前臺呈現(xiàn)的每一個技術(shù)環(huán)節(jié)。
包括：
 ·業(yè)務(wù)需求介紹
 ·數(shù)據(jù)建模
 ·后臺算法設(shè)計
 ·后臺業(yè)務(wù)處理
 ·前臺WEB展示等
 ...
 

課程詳細(xì)大綱列表:

 

第一講：Cloudera Manager介紹與安裝
第二講：Cloudera Manager詳解
第三講：CDH4.1介紹與環(huán)境搭建一
第四講：CDH4.1環(huán)境搭建二
第五講：Hadoop工作原理、調(diào)度策略
第六講：Hadoop開發(fā)作業(yè)形式
第七講：CM下CDH4.1集群高級管理一
第八講：CM下CDH4.1集群高級管理二
第九講：小結(jié)及Hadoop工作原理
第十講：Hive工作原理和基本使用
第十一講：Hive元數(shù)據(jù)管理和語法詳解
第十二講：Hive表和存儲結(jié)構(gòu)
第十三講：運(yùn)維案例分享_單機(jī)存儲均衡和壞block處理
第十四講：Hive QL 一
第十五講：Hive QL 二
第十六講：UDF和UDAF開發(fā)
第十七講：UDAF開發(fā)和JDBC訪問
第十八講：Hive優(yōu)化規(guī)則總結(jié)
第十九講：Hive數(shù)據(jù)壓縮技術(shù)
第二十講：Hive-f封裝支持傳參一
第二十一講：Hive-f封裝支持傳參二
第二十二講：Sqoop使用一
第二十三講：Sqoop使用二
第二十四講：Sqoop作業(yè)調(diào)度
第二十五講：HBase體系結(jié)構(gòu)
第二十六講：HBase 表設(shè)計案例
第二十七講：HBase數(shù)據(jù)加載(Sqoop和Java)
第二十八講：HBase存儲機(jī)制
第二十九講：Java操作HBase一
第三十講：Java操作HBase二
第三十一講：Java操作HBase三
第三十二講：hbase與Hive接口及項目介紹
第三十三講：訂單在線實時查詢_Schema設(shè)計和HBase數(shù)據(jù)加載
第三十四講：訂單在線實時查詢_DAO層實現(xiàn)
第三十五講：訂單在線實時查詢_DAO層和前臺實現(xiàn)
第三十六講：電商日志流量分析_項目介紹
第三十七講：電商日志流量分析_業(yè)務(wù)實現(xiàn)一
第三十八講：電商日志流量分析_業(yè)務(wù)實現(xiàn)二
第三十九講：電商日志流量分析_業(yè)務(wù)實現(xiàn)三
第四十講：電商日志流量分析_業(yè)務(wù)實現(xiàn)四

第四十一講:CDH5搭建之CM5安裝部署

第四十二講:CDH5搭建和CM界面化集群管理