大數(shù)據(jù)協(xié)作框架Sqoop+Flume+Oozie+Hue視頻教程

 

 

 

第1章 數(shù)據(jù)轉(zhuǎn)換工具Sqoop

        01 大數(shù)據(jù)Hadoop 2.x協(xié)作.框架的功能
        02 Sqoop 功能概述和版本、架構(gòu)講解
        03 Sqoop 使用要點(diǎn)(核心)及企業(yè)版本講解
        04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive偽分布式環(huán)境
        05 Sqoop 1安裝及基本使用講解
        06 使用Sqoop導(dǎo)入數(shù)據(jù)到HDFS及本質(zhì)分析
        07 Sqoop導(dǎo)入數(shù)據(jù)設(shè)置數(shù)據(jù)存儲(chǔ)格式parquet
        08 Sqoop導(dǎo)入數(shù)據(jù)使用query講解
        09 Sqoop導(dǎo)入數(shù)據(jù)設(shè)置數(shù)據(jù)壓縮為sanppy
        10 對snappy壓縮數(shù)據(jù)結(jié)合Hive進(jìn)行數(shù)據(jù)的導(dǎo)入與分析
        11 Sqoop導(dǎo)入數(shù)據(jù)時(shí)兩種增量方式導(dǎo)入
        12 Sqoop導(dǎo)入數(shù)據(jù)direct使用講解
        13 Sqoop導(dǎo)出數(shù)據(jù)Export使用講解
        14 Sqoop如何將RDBMS表中的數(shù)據(jù)導(dǎo)入到Hive表中
        15 Sqoop如何導(dǎo)出Hive表中數(shù)據(jù)到RDBMS中
        16 Sqoop使用--options-file進(jìn)行運(yùn)行任務(wù)講解
        17 回顧復(fù)Sqoop的使用及布置作業(yè)(oracle與hadoop數(shù)據(jù)的import)

 

第2章 文件收集框架Flume)

        01 Flume功能概述講解
        02 Flume架構(gòu)設(shè)計(jì)講解
        03 Flume Agent編程及flume-ng命令使用講解
        04 Flume第一個(gè)Agent應(yīng)用編寫(實(shí)時(shí)讀取數(shù)據(jù))網(wǎng)頁
        05 Flume Agent三大組件Source、Channe、Sink常用類型講解
        06 Flume第二個(gè)Agent應(yīng)用講解(實(shí)時(shí)監(jiān)控讀取日志數(shù)據(jù)，存儲(chǔ)hdfs文件系統(tǒng))
        07 Flume收集數(shù)據(jù)存儲(chǔ)hdfs上的一些高級(jí)配置
        08 Flume在企業(yè)大數(shù)據(jù)倉庫中數(shù)據(jù)收集架構(gòu)
        09 Flume收集數(shù)據(jù)存儲(chǔ)hdfs上的企業(yè)需求講解
        10 Flume實(shí)在案例講解(監(jiān)控日志目錄日志數(shù)據(jù)，實(shí)時(shí)抽取之hdfs系統(tǒng)上)

 

第3章 任務(wù)調(diào)度框架Oozie

        01 工作流調(diào)度框架Oozie功能初步認(rèn)識(shí)
        02 Linux Crontab調(diào)度講解
        03 大數(shù)據(jù)Hadoop常用三種調(diào)度框架講解
        04 Oozie 功能架構(gòu)及三大Server講解
        05 Oozie安裝部署講解一
        06 Oozie安裝部署講解二
        07 Oozie案例運(yùn)行MapReduce Wordflow講解
        08 如何定義Ooozie Workflow講解
        09 Oozie Workflow中MapReduce Action定義講解
        10 如何編寫新API中MapReduce Action講解
        11 編寫Oozie Workflow的MapReduce Action并運(yùn)行
        12 回顧復(fù)Oozie Workflow編程要點(diǎn)及MapReduce Action的使用
        13 Oozie WorkFlow中Hive Action使用案例講解一
        14 Oozie WorkFlow中Hive Action使用案例講解二
        15 Oozie WorkFlow中Sqoop Action使用案例講解一
        16 Oozie WorkFlow中Sqoop Action使用案例講解二
        17 Oozie WorkFlow中Shell Action使用案例講解
        18 Oozie WorkFlow作業(yè)布置
        19 Oozie Coordinator調(diào)度講解及系統(tǒng)時(shí)區(qū)配置與定時(shí)觸發(fā)兩種配置方式
        20 Oozie Coordinator配置定時(shí)觸發(fā)案例演示
        21 Oozie Coordinator·配置調(diào)度MapReduce· WordCount程序
        22 Oozie企業(yè)使用案例(Hive Action、Sqoop Actoion及定時(shí)調(diào)度)講解一
        23 Oozie企業(yè)使用案例(Hive Action、Sqoop Actoion及定時(shí)調(diào)度)講解二
        24 Oozie企業(yè)使用案例(Hive Action、Sqoop Actoion及定時(shí)調(diào)度)講解三
        25 Oozie中Coordinator中的數(shù)據(jù)可用性及Bundle講解(1)
        26 Oozie中Coordinator中的數(shù)據(jù)可用性及Bundle講解(2)

 

第4章 大數(shù)據(jù)WEB工具Hue

        01 Hue架構(gòu)功能講解
        02 Hue編譯安裝講解
        03 Hue集成HDFS、YARN配置功能演示講解
        04 Hue集成Hive配置講解(HiveServer2及MetaStore)
        05 Hue集成RDBMS配置講解
        06 Hue集成Oozie配置講解及作業(yè)布置

 

 

 

大數(shù)據(jù)協(xié)作框架Sqoop+Flume+Oozie+Hue視頻教程截圖展示：