升級版:深入淺出Hadoop實戰開發(云存儲、MapReduce、HBase實戰微博、Hive應用、Storm應用)
  完畢
收藏課程
9999+

升級版:深入淺出Hadoop實戰開發(云存儲、MapReduce、HBase實戰微博、Hive應用、Storm應用)

本課程在2013版hadoop課程的基礎上引入了更多經典的案例,以及hadoop的新特征,比如namenode HA,hdfs federation, Yarn。。。

適合人群:初級
課時數量:35課時
用到技術:hadoop、MapReduce、hbase、hive
涉及項目:云存儲、微博應用等

  • 課程顧問貼心解答

    為你推薦精品課程,無論就業還是升職加薪,毫無壓力。

  • 名企定制緊隨大流

    量身打造緊貼企業需求的實用性課程。

  • 系統教學把控效果

    集學、測、練為一體的學習系統為你科學的安排學習進度,提高效率。

  • 一線大師1對1指導

    課程研發團隊內一線資深講師一對一指導,手把手教學,直到學會。

  • 點播答疑完美結合

    每周2-3次直播解答,保證學員日常學習問題能得到解決。

  • 量身定制學習計劃

    告別雜亂的學習方式,我們會根據你的情況定制學習計劃。

特大喜訊:原購買深入淺出Hadoop實戰開發》的用戶加500即可獲得全新升級版課程!

 

Hadoop是什么,為什么要學習Hadoop?


Hadoop是一個分布式系統基礎架構,由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統(Hadoop Distributed File System),簡稱HDFS。HDFS有著高容錯性的特點,并且設計用來部署在低廉的(low-cost)硬件上。而且它提供高傳輸率(high throughput)來訪問應用程序的數據,適合那些有著超大數據集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求(requirements)這樣可以流的形式訪問(streaming access)文件系統中的數據。


Hadoop 是一個能夠對大量數據進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的,因為它假設計算元素和存儲會失敗,因此它維護多個工作數據副本,確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的,因為它以并行的方式工作,通過并行處理加快處理速度。Hadoop 還是可伸縮的,能夠處理 PB 級數據。此外,Hadoop 依賴于社區服務器,因此它的成本比較低,任何人都可以使用。


Hadoop帶有用Java 語言編寫的框架,因此運行在 Linux 生產平臺上是非常理想的。本課程的講解是采用linux平臺進行模擬講解,完全基于真實場景進行模擬現實

 

 

亮點一:課程全面升級
 
本課程是原熱門課程《深入淺出Hadoop實戰開發》和《Hadoop應用開發實戰》的升級版,在課程內容上,加入了更多hadoop的新特性,比如namenode HA,hdfs federation, Yarn等。Storm作為全新的內容被引入到課程中。在課程使用的案例中,不僅沿用和強化了老課程的經典應用,同時引入了其他經典的案例。

 
亮點二:技術點全面,體系完善
 
本課程在兼顧Hadoop課程知識體系完善的前提下,把實際開發中應用最多、最深、最實用的技術抽取出來,通過本課程,你將達到技術的新高點,進入云計算 的美好世界。在技術方面你將徹底掌握基本的Hadoop集群;Hadoop HDFS原理;Hadoop HDFS基本的命令;Namenode的工作機制;HDFS基本配置管理;MapReduce原理; HBase的系統架構;HBase的表結構;HBase如何使用MapReduce;MapReduce高級編程;Hive入 門;Hive結合MapReduce;Hadoop的集群安裝;namenode HA;HDFS federation等眾多知識點。

 
亮點三:基礎+實戰=應用,兼顧學與練
 
本課程每階段都安排了實戰應用項目,以此方便學生能更快的掌握知識點的應用,如在第一階段,課程結合HDFS應用,講解了圖片服務器的設計、以及如何 利用Java API去對HDFS操作、在第二階段;課程結合HBase實現微博項目的各種功能,使學員可以活學活用。在第三階段:HBase和MapReduce結合 時下了實現話單查詢與統計系統,在第四階段,Hive實戰部分,通過實戰數據統計系統,使學員在最短的時間內掌握Hive的高級應用。

 
亮點四:講師豐富的電信集團云平臺運作經驗
 
講師明義擁有豐富的電信集團工作經驗,目前負責云平臺的各方面工作,并擁有多年的企業內部培訓經驗。講課內容完全貼近企業需求,絕不紙上談兵。
 
 
hadoop版本:hadoop 2.4.1
 
hive版本:hive 0.13.1
 
hbase版本:hbase 0。98。6。1
 
centos版本:6。5
 

 


 01,課程介紹,HDFS架構和原理,搭建CentOS開發環境

> Hadoop背景

> HDFS設計目標,應用場景,架構分析

> 使用Virtual安裝CentOS虛擬機

> 虛擬機環境配置

 

02,hdfs單機和集群的配置安裝

> Hadoop單機版安裝和配置

> Hadoop集群安裝和配置

> Hadoop命令行和WebUI的使用

 

03,hdfs應用-云存儲系統(1)

> 云存儲系統介紹和基本架構

> 搭建Eclipse和Maven開發環境

> 使用Maven創建并配置Struts2應用

> 使用bootstrap搭建UI框架

 

04,hdfs應用-云存儲系統(2)

> 安裝和配置Redis

> 用戶管理模塊開發

 

05,hdfs應用-云存儲系統(3)

> gson介紹和使用實例

> 實現普通的文件上傳,刪除,下載

 

06,hdfs應用-云存儲系統(4)

> 實現基于HDFS的上傳,下載和刪除

> HDFS小文件管理方式:SequenceFile和Har

 

07,深入hdfs-NameNode和DataNode

> hdfs的架構介紹

> hdfs如何讀寫文件

> FSImage和EditLog

> Rack Awareness

> hdfs基本管理

 

08,深入hdfs-HDFS federation

> HDFS節點管理

> HDFS升級和回滾

> HDFS Federation

> 如何使用ViewFS

 

09,namenode HA

> zookeeper配置

> namenode HA(雙機)安裝和配置

 

10,yarn和mapreduce

> 配置Yarn(單機和集群)

> MapReduce的工作原理

> 第一個MapRedcue程序

> Yarn命令行工具

 

11,mapreduce應用-搜索提示(1)

> 工作原理介紹(Ajax)

> 使用JQuery的AutoComplete控件搭建UI

 

12,mapreduce應用-搜索提示(2)

> 繼承Mapreduce程序

> 使用Redis保存中間數據

> 如何對增量和全量數據進行統計

> ”潛在好友推薦“算法介紹

 

13,mapreduce的采樣工具和partitiion

> 采樣和分區的工作原理

> RandomSampler,InputSampler,IntervalSampler

> TotalOrderPartitioner(全局排序)

 

14,Map Join和Reduce Join

> Reduce side join

> Map side join

> 如何自定義數據類型

> 如何使用DistributedCache

 

15,mapreduce應用-PageRank

> PageRank算法詳細講解

> 如何用mapreduce實現PageRank算法

 

16, Hive入門

> Hive的架構

> CLI, Hive Server, HWI介紹

> 配置Hive,使用Mysql存儲元數據

> CLI的基本使用

 

17, hive應用-搜索提示(1)

> Tomcat日志解析

> 使用正則表達式解析Tomcat日志

> 在查詢中使用正則表達式

 

18, hive應用-搜索提示(2)

> 在hive查詢中調用python腳本實現Redis插入

 

19,HQL(1)

> HQL基礎:DDL,DML

> 數據類型:原子與集合

> TextFile的默認編碼及自定義編碼

 

20,HQL(2)

> Hive查詢

> 正則表達式,基本函數,集合函數,表函數

> 嵌套查詢,case when語句,like和rlike

> Groupby和Having等

 

21,Hive自定義函數

> 如何編寫自定義函數

> 在自定義函數中連接Redis

> 在自定義函數中使用CacheFile

 

22,Compression in Hadoop

> Compression in Hadoop介紹

> 在MapReduce和Hive中使用Compression

> 安裝和配置lzo

 

23,24, HBase入門

> Hbase架構

> Hbase集群安裝

> 使用HBase Shell

 

25,26,27,HBase應用 - 話單查詢

> Hbase Java API

> Struts2 and JSP

> Jquery Datatable and Datepicker

 

28,29,30,HBase應用 - 微博

> 表結構設計

> 關注好友

> 發微博

> 我的主頁

 

 31,32,Storm入門

> Storm架構及原理介紹

> 安裝Storm

> 實現第一個topology

> Storm的grouping

 

33,Queue spout和DRPC

 

34,35,storm應用 - 語音話單計費

> 搭建計費topology

> 實現Queue spout和Mysql入庫bolt

> 實現漫游和長途類型計算

> 計費邏輯的實現

> 整合所有功能到topology中

> 各個功能模塊的驗證

2019半灰色网赚项目 网赚兼职平台 上网赚美金平台 什么人适合做网赚 2019调查网赚 吉林快3计划 互联网赚钱网站 网赚的方法 易中彩票注册 香港开奖结果2019+开奖结果