Kafka分布式消息系統(tǒng)實戰(zhàn)（與JavaScalaHadoopStorm集成）視頻教程

 

 

 

 

Kafka是分布式的消息隊列，作為云計算服務的基石，它廣泛的應用在實時數(shù)據(jù)流方面，是實時數(shù)據(jù)處理的數(shù)據(jù)中樞，廣泛應用在很多互聯(lián)網企業(yè)，例如：linkedin，facebook，騰訊，百度，阿里等。實時數(shù)據(jù)流是現(xiàn)在互聯(lián)網公司、甚至擁有大規(guī)模數(shù)據(jù)的傳統(tǒng)企業(yè)的主要模式， 實時數(shù)據(jù)(Real-time Activity Data)就是那些非交易，不需要秒級響應的數(shù)據(jù)， 但在后續(xù)的分析中產生極大作用，例如個性化推薦、運營服務監(jiān)控、精細化營銷、報表等 。

 

 

 

1.課程研發(fā)環(huán)境

 

Kafka的版本：kafka_2.9.2-0.8.1.1.tgz和kafka_2.11-0.10.0.0.tgz

開發(fā)工具: Linux；Eclipse；Scala IDE

 

 

2.內容簡介

 

Kafka是分布式的消息隊列，作為云計算服務的基石，它廣泛的應用在實時數(shù)據(jù)流方面，是實時數(shù)據(jù)處理的數(shù)據(jù)中樞，廣泛應用在很多互聯(lián)網企業(yè)，例如：linkedin，facebook，騰訊，百度，阿里等。實時數(shù)據(jù)流是現(xiàn)在互聯(lián)網公司、甚至擁有大規(guī)模數(shù)據(jù)的傳統(tǒng)企業(yè)的主要模式， 實時數(shù)據(jù)(Real-time Activity Data)就是那些非交易，不需要秒級響應的數(shù)據(jù)， 但在后續(xù)的分析中產生極大作用，例如個性化推薦、運營服務監(jiān)控、精細化營銷、報表等 。

 

 

Collen7788，畢業(yè)于清華大學，擁有超過13年的工作經驗。

 

Oracle高級技術顧問，擁有6年以上授課經驗。精通Oracle數(shù)據(jù)庫、中間（Weblogic）和大數(shù)據(jù)Hadoop的管理和開發(fā)，精通Java語言。曾為湖北移動，北京市公安局，中國人壽，AutoDesk（中國）有限公司，成都運達科技股份有限公司，中國電信，中國移動，山東教育網進行培訓。由于其認真負責的授課態(tài)度和基于本質的課程內容解釋，深受學員的追捧。

 

 

第一章　Kafka的基本介紹

   1.1 什么是消息系統(tǒng)

   1.2 消息隊列的分類

   1.3 Kafka的基本架構和概念

   1.4 ZooKeeper簡介和安裝

 

第二章　Kafka的原理解析

   2.1 Kafka的Producer處理邏輯

   2.2 Kafka的broker處理邏輯

   2.3 Kafka的Consumer處理邏輯

   2.4 Kafka集群部署在zk里的存儲結構

 

第三章　Kafka的部署方式

   3.1 Kafka偽集群部署模式

   3.2 Kafka集群部署模式

   3.3 核心配置文件server.properties

 

第四章 Kafka的Java應用開發(fā)

   4.1 Producer端的實現(xiàn)

   4.2 Consumer端的實現(xiàn)

 

第五章 Kafka的Scala應用開發(fā)

   5.1 Scala的Producer的實現(xiàn)

   5.2 Scala的Producer的實現(xiàn)

 

第六章　Kafka與Hadoop的集成

   6.1 Hadoop簡介和配置

   6.2 集成Kafka和Hadoop

 

第七章　Kafka與Flume的集成

   7.1 Flume簡介和使用

   7.2 集成Kafka和Flume

 

第八章　Kafka與Storm的集成

   8.1 Storm的運行機制和部署

   8.2 Storm編程案例

   8.3 集成Kafka和Storm

 

 

本課程的目的在于系統(tǒng)性地介紹Kafka分布式消息系統(tǒng)，掌握了Kafka，你就拿到了大數(shù)據(jù)處理領域消息處理機制的鑰匙，能夠輕松上手開發(fā)分布式消息系統(tǒng)應用程序開發(fā)和維護，笑傲大數(shù)據(jù)處理技術。學完本課程，你可以掌握： 

1.Kafka的部署方式

2.Kafka的原理

3.Kafka與其他大數(shù)據(jù)組件的集成

4.基于Kafka的程序開發(fā)

 

 

亮點一、理論與實戰(zhàn)相結合，由淺入深。即照顧到基礎學員，又照顧到有一定經驗的學員，講解過程中留有學生思考的時間。

 

亮點二、課程絕大多數(shù)代碼均是一行一行手工敲入，手把手一步步帶領學員從入門到精通。

 

 

 

1.課程針對人群

 

本課程針對具有一定的大數(shù)據(jù)基礎的學員，想通過本課程的學習，掌握Kafka分布式消息系統(tǒng)的學員。也適 合是有志于成為大數(shù)據(jù)開發(fā)和維護工程師崗位的學員。

 

 

2.我該怎么學,如何才能學好這門課程，給些建議。

 

（1）時間上的安排建議

本課程共8課時，對于有基礎的學員，建議以每天3課時的進度往前學習；對于沒有基礎的學員，建議以每天1~2課時的進度往前學習。

（2）學習要求

如果您沒有基礎，建議還是中規(guī)中矩的按照課程進度一點一點仔細觀看學習，并一定要把看完的視頻中的代碼自己手敲一遍，以加深理解和記憶。

如果您有基礎，可不必按步就搬進行，可以拿你感興趣的部分去學習，但一定要注意實踐，并學會舉一反三。

（3）講師建議

l  最好看完視頻之后，拋開視頻，獨立自己去把上課中的示例寫一遍，看自己是否理解，如果不正確，可以回過頭看再看下視頻，如果反復，達到真正理解和熟練掌握的目的。

l  對于程序代碼部分，一定要自己親自動手做一遍，不要滿足聽完就OK了

l  建議一般聽視頻，一般拿個紙和筆，做一些記錄和筆記，這是一種非常好的學習習慣。

l  一定不要過于依賴視頻，要學會看文檔和使用百度，學會思考，學會舉一反三

l  最后祝您學有所成

 

 

課程是屬于大數(shù)據(jù)技術的相關內容，掌握該技術后，你可以從事以下職位的相關工作：

大數(shù)據(jù)系統(tǒng)運維工程師