Hadoop生態圈技術光速入門(最短路徑算法MR實現、MR二次排序、PageRank、社交好友推薦算法)
  完結
收藏課程
9999+

Hadoop生態圈技術光速入門(最短路徑算法MR實現、MR二次排序、PageRank、社交好友推薦算法)

Hadoop是大數據處理的入門,通過學習hadoop我們可以了解到在實際的生成環境中使用大數據工具處理大規模數據問題。通過學習hadoop生態圈的相關知識,我們。。。

適合人群:初級
課時數量:83課時
用到技術:Hadoop、Hdfs、yarn、zookeeper、hbase、hive、oozie、flume、kafka、sqoop、hue、最短路徑算法MR實現、MR二次排序、PageRank、社交好友推薦算
涉及項目:MR二次排序、MR自定義輸入輸出、MR倒排索引、基于zk的分布式鎖實現、hbase二級索引、MR最短路徑、MR PageRank、MR社交好友推薦算法

  • 課程顧問貼心解答

    為你推薦精品課程,無論就業還是升職加薪,毫無壓力。

  • 名企定制緊隨大流

    量身打造緊貼企業需求的實用性課程。

  • 系統教學把控效果

    集學、測、練為一體的學習系統為你科學的安排學習進度,提高效率。

  • 一線大師1對1指導

    課程研發團隊內一線資深講師一對一指導,手把手教學,直到學會。

  • 點播答疑完美結合

    每周2-3次直播解答,保證學員日常學習問題能得到解決。

  • 量身定制學習計劃

    告別雜亂的學習方式,我們會根據你的情況定制學習計劃。

 

Hadoop是大數據處理的入門,通過學習hadoop我們可以了解到在實際的生成環境中使用大數據工具處理大規模數據問題。通過學習hadoop生態圈的相關知識,我們能夠為更加深入學習大數據處理的相關知識提供一定的基礎。大數據在電商、金融、電信、醫療、旅游等各個領域用途非常廣泛,因為這些領域會有大量的數據需要處理,此時hadoop就成為了首要之選。

 

講師本人之前在電商、旅游、金融等方面做軟件的時候,大多采用hadoop作為基礎的大數據平臺之選,并且積累了一些學習hadoop相關知識的技能點,特意整理成為視頻,供大家學習hadoop的相關知識。本項目所涉及到的代碼全程手敲,適合有一定java、linux知識基礎,并希望學習hadoop大數據處理的學員來學習該視頻,當然課程中的知識點不僅僅涉及到hadoop的基礎,也涉及到hadoop的一些相關自定義實現等知識,最終希望新手通過該視頻對hadoop有一定的了解,也希望老手能夠通過這些視頻更加進一步的認識到hadoop中的一些相關知識,最后預祝每位學員成為大數據領域的一個技術能手。

 

 

1.課程研發環境

JDK版本: jdk7

開發工具:eclipse

Linux版本:centos 6.0

虛擬機:Visual box

Hadoop生態圈相關環境:CDH 5。3。6版本 

 

2.內容簡介

本課程從基礎的環境搭建到更深入的知識學習都會有一個比較好的講解。幫助學員快速上手hadoop生態圈的大數據處理框架的使用,使用hadoop生態圈進行一些模塊化、項目功能化的開發,主要包括安裝部署hadoop、hive、hbase、hue、oozie、flume等生態圈相關軟件環境的搭建,并且在已搭建好的環境上進行相關知識點的講解和功能的開發。項目/模塊主要涉及到使用MR開發相關實際業務功能,包括最短路徑的計算、社交好友推薦算法實現、分布式鎖的實現等,這些模塊可以在實際的生成環境中使用到,可以很簡單的將這些模塊的代碼直接集成到相關實際生產環境代碼中。   

 

 

Gerry老師:三年大數據開發工作經驗,從事過電商、旅游、金融等相關大數據處理項目,對大數據的處理有一定的自我認識,另外對以hadoop為核心的大數據處理框架有比較深入的了解,對以hadoop、hbase、hive、oozie等為核心的離線數據處理有一定的知識技能的積累。主要涉及到的項目有:

 

1。BI報表項目:自動將mysql、oracle、log4j日志等各個數據源的數據導入到hdfs,并提供組件進行數據分析,最終導出用戶需要的報表;

2. 用戶行為日志離線分析系統:基于收集到的用戶瀏覽行為數據進行數據分析展示。

3。 用戶畫像系統:給用戶進行標簽定義、根據用戶標簽和用戶訪問歷史進行精準推薦、給特定用戶標簽的用戶賦予特定的優惠政策、基于用戶標簽進行”反黑”操作

 

 

一、hadoop: 

第一講:Hadoop起源、體系結構以及生態圈介紹

第二講:Hadoop安裝

第三講:Windows平臺下Eclipse環境搭建

第四講:HDFS體系結構

第五講:HDFS SHELL API介紹

第六講:HDFS Java API介紹

第七講:Hadoop 2。x HDFS新特性

第八講:YARN體系結構

第九講:MR編程模型介紹

第十講:Map-Reduce編程實例:WordCount

第十一講:MR數據類型講解

第十二講:MR輸入格式講解

第十三講:MR輸出格式講解

第十四講:案例:自定義輸入、輸出格式使用

第十五講:MR Shuffle組件講解

第十六講:案例:二次排序

第十七講:組合MR任務介紹

第十八講:MR任務多數據源連接介紹

第十九講:案例:倒排索引

 

二、zookeeper: 

第二十講:Zookeeper起源、體系結構介紹

第二十一講:Zookeeper安裝

第二十二講:Zookeeper Shell命令

第二十三講:Zookeeper Java API

第二十四講:Zookeeper案例:分布式環境中實現共享鎖

 

三、hbase: 

第二十五講:HBase起源、體系結構以及數據模型介紹

第二十六講:HBase安裝

第二十七講:HBase Shell命令

第二十八講:HBase Java API

第二十九講:HBase協處理器介紹

第三十講:HBase和MapReduce整合

第三十一講:HBase案例:二級索引的創建

 

四、hive:

第三十二講:Hive起源、體系結構介紹

第三十三講:Hive安裝

第三十四講:Hive Shell命令上

第三十五講:Hive Shell命令下

第三十六講:Hive函數

 

五、hue: 

第三十七講:Hue簡介

 

六、Oozie: 

第三十八講:Oozie簡介

第三十九講:Oozie安裝

第四十講:Oozie案例

第四十一講:Oozie Java客戶端

第四十二講:Oozie Hue整合

 

七、Flume: 

第四十三講:Flume介紹以及安裝

第四十四講:Flume案例介紹上

第四十五講:Flume案例介紹下

第四十六講:Flume自定義Source

第四十七講:Flume自定義Interceptor

 

八、Sqoop: 

第四十八講:Sqoop介紹與安裝

第四十九講:Sqoop案例介紹上

第五十講:Sqoop案例介紹下

 

九、Kafka: 

第五十一講:Kafka介紹與安裝

第五十二講:Kafka案例

 

十、MR擴展: 

第五十三講:MapReduce案例:最短路徑算法

第五十四講:MapReduce案例:PageRank算法

第五十五講:MapReduce案例:社交好友推薦算法

第五十六講 Flume taildir source

第五十七講 Flume HBase集成

 

 

 

 

 

 

 

目標一。 了解Hadoop生態圈環境搭建,主要包括:hadoop、hbase、hive、zookeeper、hue、flume、flume、oozie、kafka等。

 

目標二. 可以讓學員對hadoop解決問題有一定的了解

 

目標三. 可以讓學員掌握各個hadoop生態圈組件之間的整合有一個了解

 

目標四. 通過對各個模塊的專門學習,讓學員對hadoop生態圈的各個部分有一定比較深入的了解

 

目標五. 通過完整的學習,能夠讓學員對hadoop生態圈的知識有一個初步的了解

 

 

亮點一、hadoop采用當前比較熱的版本cdh5。3。6,如此版本的框架在最近一到兩年是一個比較常用的技術,不會出現一個落后的情況 

 

亮點二、理論與實戰結合,由淺入深。即介紹到基礎知識,比如環境的搭建,也介紹到在環境/框架之上進行自定義實現的功能完成,同時講解過程中給學生留下思考的時間。

 

亮點三、課程絕大多數代碼均是一行一行手工敲入,手把手一步步帶領學員進入hadoop處理的大數據殿堂

 

亮點四、對hadoop、flume等各個軟件的各個組件都有一個自定義實現,并介紹到在實際環境中介紹這些組件的應用。

 

 

1。課程針對人群

本課程針對具有一定的java基礎和linux基礎的學員,并且想通過本項目的學習,了解hadoop的相關項目,了解大數據項目的正常開發這類的學員,也適合有志于大數據開發的hadoop開發工程師崗位的學員。  

 

2.我該怎么學,如何才能學好這門課程,給些建議。

2.1、時間上的安排建議

本課程共55講,如果您時間上充分,建議以每天4-5講的進度往前學習。如果您時間不充分,建議至少每天學習一講的內容。 

2.2、學習要求

如果您沒有基礎,建議還是中規中矩的按照課程進度一點一點仔細觀看學習,并一定要把看完的視頻中的代碼自己手敲一遍,以加深理解和記憶

如果您有基礎,可不必按步就搬進行,可以拿你感興趣的部分去學習,但一定要注意實踐,并學會舉一反三 

2.3、講師建議

1.最好看完視頻之后,拋開視頻,獨立自己去把上課中的示例寫一遍,看自己是否理解,如果不正確,可以回過頭看再看下視頻,如果反復,達到真正理解和熟練掌握的目的。

2。對于項目實戰部分,一定要自己親自動手做一遍,不要滿足聽完就OK了

3. 建議一般聽視頻,一般拿個紙和筆,做一些記錄和筆記,這是一種非常好的學習習慣。

4. 一定不要過于依賴視頻,要學會看API、使用百度、google等搜索引擎并且學會從對應官網的幫助文檔中學習一些相關知識,學會思考,學會舉一反三

5. 最后祝您學有所成

 

 

課程是屬于某個特定的專業技術,掌握該技術后,你可以從事以下職位的相關工作

1.大數據開發工程師

2.Java軟件開發工程師

不下载软件的网赚 qq网赚群都有那些 大资本彩票网 巨力网赚论坛 网赚联盟 2019国外网赚 2019挂机网赚 刷钻网赚可信么吗 金旋风网赚 2019网赚新项目