深入淺出Hadoop實戰開發(HDFS實戰圖片、MapReduce、HBase實戰微博、Hive應用)
  完畢
收藏課程
9999+

深入淺出Hadoop實戰開發(HDFS實戰圖片、MapReduce、HBase實戰微博、Hive應用)

本課程在兼顧Hadoop課程知識體系完善的前提下,把實際開發中應用最多、最深、最實用的技術抽取出來,通過本課程,你將達到技術的新高點,進入云計算的美好世界。在技...

適合人群:高級
課時數量:30課時
用到技術:Hadoop、MapReduce、HBase、Hive等
涉及項目:圖片服務器、微博、流量統計、話單查詢系統

  • 課程顧問貼心解答

    為你推薦精品課程,無論就業還是升職加薪,毫無壓力。

  • 名企定制緊隨大流

    量身打造緊貼企業需求的實用性課程。

  • 系統教學把控效果

    集學、測、練為一體的學習系統為你科學的安排學習進度,提高效率。

  • 一線大師1對1指導

    課程研發團隊內一線資深講師一對一指導,手把手教學,直到學會。

  • 點播答疑完美結合

    每周2-3次直播解答,保證學員日常學習問題能得到解決。

  • 量身定制學習計劃

    告別雜亂的學習方式,我們會根據你的情況定制學習計劃。

Hadoop是什么,為什么要學習Hadoop?

 

Hadoop是一個分布式系統基礎架構,由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統(Hadoop Distributed File System),簡稱HDFS。HDFS有著高容錯性的特點,并且設計用來部署在低廉的(low-cost)硬件上。而且它提供高傳輸率(high throughput)來訪問應用程序的數據,適合那些有著超大數據集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求(requirements)這樣可以流的形式訪問(streaming access)文件系統中的數據。

 

Hadoop 是一個能夠對大量數據進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的,因為它假設計算元素和存儲會失敗,因此它維護多個工作數據副本,確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的,因為它以并行的方式工作,通過并行處理加快處理速度。Hadoop 還是可伸縮的,能夠處理 PB 級數據。此外,Hadoop 依賴于社區服務器,因此它的成本比較低,任何人都可以使用。
   Hadoop帶有用Java 語言編寫的框架,因此運行在 Linux 生產平臺上是非常理想的。本課程的講解是采用linux平臺進行模擬講解,完全基于真實場景進行模擬現實

 

 

 

亮點一:技術點全面,體系完善

  

本課程在兼顧Hadoop課程知識體系完善的前提下,把實際開發中應用最多、最深、最實用的技術抽取出來,通過本課程,你將達到技術的新高點,進入云計算的美好世界。在技術方面你將徹底掌握基本的Hadoop集群;Hadoop HDFS原理;Hadoop HDFS基本的命令;Namenode的工作機制;HDFS基本配置管理;MapReduce原理; HBase的系統架構;HBase的表結構;HBase如何使用MapReduce;MapReduce高級編程;split的實現詳解;Hive入門;Hive結合MapReduce;Hadoop的集群安裝等眾多知識點。
 

亮點二:基礎+實戰=應用,兼顧學與練

 

課程每階段都安排了實戰應用項目,以此方便學生能更快的掌握知識點的應用,如在第一階段,課程結合HDFS應用,講解了圖片服務器的設計、以及如何利用Java API去對HDFS操作、在第二階段;課程結合HBase實現微博項目的各種功能,使學員可以活學活用。在第三階段:HBase和MapReduce結合時下了實現話單查詢與統計系統,在第四階段,Hive實戰部分,通過實戰數據統計系統,使學員在最短的時間內掌握Hive的高級應用。

 

亮點三:講師豐富的電信集團云平臺運作經驗

 

講師robby擁有豐富的電信集團工作經驗,目前負責云平臺的各方面工作,并擁有多年的企業內部培訓經驗。講課內容完全貼近企業需求,絕不紙上談兵。

 

更多技術亮點參考課程大綱:(本大綱以章節形式命名要為防止某些章節1章節內容超過1課時)

 

第1章節:
> Hadoop背景
> HDFS設計目標
> HDFS不適合的場景
> HDFS架構詳盡分析
> MapReduce的基本原理

 

第2章節
> Hadoop的版本介紹
> 安裝單機版Hadoop
> 安裝Hadoop集群

 

第3章節 
> HDFS命令行基本操作
> Namenode的工作機制
> HDFS基本配置管理

 

 第4章節
> HDFS應用實戰:圖片服務器(1) - 系統設計
> 應用的環境搭建 php + bootstrap + java
> 使用Hadoop Java API實現向HDFS寫入文件

 

第5章節 
> HDFS應用實戰:圖片服務器(2)
> 使用Hadoop Java API實現讀取HDFS中的文件
> 使用Hadoop Java API實現獲取HDFS目錄列表
> 使用Hadoop Java API實現刪除HDFS中的文件


第6章節
> MapReduce的基本原理
> MapReduce的運行過程
> 搭建MapReduce的java開發環境
> 使用MapReduce的java接口實現WordCount

 

第7章節
> WordCount運算過程分析
> MapReduce的combiner
> 使用MapReduce實現數據去重
> 使用MapReduce實現數據排序
> 使用MapReduce實現數據平均成績計算

 

第8章節
> HBase詳細介紹
> HBase的系統架構
> HBase的表結構,RowKey,列族和時間戳
> HBase中的Master,Region以及Region Server


第9章節
> 使用HBase實現微博應用(1)
> 用戶注冊,登陸和注銷的設計
> 搭建環境 struts2 + jsp + bootstrap + jquery + HBase Java API
> HBase和用戶相關的表結構設計
> 用戶注冊的實現

 

第10章節 
> 使用HBase實現微博應用(2)
> 使用session實現用戶登錄和注銷
> “關注"功能的設計 
> “關注"功能的表結構設計
> “關注"功能的實現


第11章節
> 使用HBase實現微博應用(3)
> “發微博"功能的設計
> “發微博"功能的表結構設計
> “發微博"功能的實現 
> 展現整個應用的運行

 

第12章節 
> HBase與MapReduce介紹
> HBase如何使用MapReduce

 

第13章節 

> HBase應用實戰:話單查詢與統計(1)
> 應用的整體設計
> 開發環境搭建
> 表結構設計

 

第14章節 
> HBase應用實戰:話單查詢與統計(2)
> 話單入庫單設計與實現
> 話單查詢的設計與實現

 

第15章節
> HBase應用實戰:話單查詢與統計(3)
> 統計功能設計 
> 統計功能實現

 

第16章節 
> 深入MapReduce(1)
> split的實現詳解
> 自定義輸入的實現
> 實例講解

 

第17章節 
> 深入MapReduce(2)
> Reduce的partition 
> 實例講解

 

第18章節 
> Hive入門
> 安裝Hive
> 使用Hive向HDFS存入結構化數據
> Hive的基本使用


第19章節 
> 使用MySql作為Hive的元數據庫
> Hive結合MapReduce

 

第20章節
> Hive應用實戰:數據統計(1)
> 應用設計,表結構設計

 

第21章節 
> Hive應用實戰:數據統計(2)
> 數據錄入與統計的實現
 

 

2019网赚0撸羊毛 五大互联网赚钱 有哪些靠谱的网赚平台 彩票高賠率好平台 919网赚是真的不 奔驰彩票开奖 利来彩票开户 2019国外挂机网赚 浙江快乐12 2019最新免费挂机网赚