Cloudera Hadoop 4 實戰課程(Hadoop 2.0、集群界面化管理、電商在線查詢+日志離線分析)
  完畢
收藏課程
9999+

Cloudera Hadoop 4 實戰課程(Hadoop 2.0、集群界面化管理、電商在線查詢+日志離線分析)

目前Hadoop的應用越來越廣泛,很多企業都開始采用,Hadoop人才也很稀缺和搶手,待遇和遠比Java、.Net開發好。本系列課講解目前主流的Hadoop版本...

適合人群:中級
課時數量:42課時
用到技術:CDH4,Cloudera Manager,Hive,HBase,Sqoop
涉及項目:電商業日志流量分析項目

  • 課程顧問貼心解答

    為你推薦精品課程,無論就業還是升職加薪,毫無壓力。

  • 名企定制緊隨大流

    量身打造緊貼企業需求的實用性課程。

  • 系統教學把控效果

    集學、測、練為一體的學習系統為你科學的安排學習進度,提高效率。

  • 一線大師1對1指導

    課程研發團隊內一線資深講師一對一指導,手把手教學,直到學會。

  • 點播答疑完美結合

    每周2-3次直播解答,保證學員日常學習問題能得到解決。

  • 量身定制學習計劃

    告別雜亂的學習方式,我們會根據你的情況定制學習計劃。

 

課程好不好,我們說了不算,看看學員的感謝信!

 

 

hadoop簡介及工資水平:

 

目前Hadoop的應用越來越廣泛,很多企業都開始采用,Hadoop人才也很稀缺和搶手,待遇和遠比Java、.Net開發好。本系列課講解目前主流的Hadoop版本Cloudera Hadoop 4(這里采用cdh4.1),該版本相比0.20.x,性能和穩定性上提高很多。cdh4環境搭建相比舊版本也復雜很多,但可以用cloudera-manager對集群進行管理和配置。CDH4默認集成了常用的所有組件如Hive、Sqoop、HBase、Hue、Pig、Flume、Mahout、Zookeeper等,從而形成一功能強大的分布式平臺。

 

本課會分享一些本人所在團隊自研的適用于企業級開發和應用的框架和工具,這些有效提高了開發效率,大大降低了維護成本,這些正是我們多年實戰的結晶。

 

 

課程大綱及內容簡介:

 

每節課約35分鐘,共不下40講

 

第一章(11講)

·分布式和傳統單機模式

·Hadoop背景和工作原理

·Mapreduce工作原理剖析

·第二代MR--YARN原理剖析

·Cloudera Manager 4.1.2安裝

·Cloudera Hadoop 4。1。2 安裝 

·CM下集群管理一

·CM下集群管理二

·Hadoop fs 命令詳解

·cloudera manager管理集群
·cloudera manager下集群高級管理

 

第二章(約10講)


·Hive數據表和數據存儲
·Hive的Java擴展開發
·Hive UDF和UDAF開發
·Hive JDBC連接
·Hive常見場景,實戰練習
·Hive -f 傳參框架開發
 由于hive自帶命令hive -f無法傳參數,導致hive跨文件的使用基本癱瘓,
 無法大量推廣。該框架可以任意傳參,讓hive企業級應用開發更高效和簡潔。


第三章(約5講)


·Sqoop原理
·Sqoop使用詳解
·用Sqoop實現HDFS/Hive與關系數據庫的數據交互
·用Sqoop實現HBase與關系數據庫的數據交互


第四章(約8講)


·Hbase原理
·Hbase系統架構
·Hbase存儲機制
·Hbase基本使用
·Hbase表設計思路和方案
·常見應用場景
·和Hive交互
·Java訪問、WEB開發


第五章 項目實戰(約8講)


電商業日志流量分析項目,互聯網企業對海量日志的分析是Hadoop應用的一個重要用途,也是對網站流量、客戶行為分析的重要途徑。該項目整合Hive、Hbase、Sqoop等常用組件,涉及從后臺處理到前臺呈現的每一個技術環節。
包括:
 ·業務需求介紹
 ·數據建模
 ·后臺算法設計
 ·后臺業務處理
 ·前臺WEB展示等
 ...
 

課程詳細大綱列表:

 

第一講:Cloudera Manager介紹與安裝
第二講:Cloudera Manager詳解
第三講:CDH4.1介紹與環境搭建一
第四講:CDH4.1環境搭建二
第五講:Hadoop工作原理、調度策略
第六講:Hadoop開發作業形式
第七講:CM下CDH4.1集群高級管理一
第八講:CM下CDH4.1集群高級管理二
第九講:小結及Hadoop工作原理
第十講:Hive工作原理和基本使用
第十一講:Hive元數據管理和語法詳解
第十二講:Hive表和存儲結構
第十三講:運維案例分享_單機存儲均衡和壞block處理
第十四講:Hive QL 一
第十五講:Hive QL 二
第十六講:UDF和UDAF開發
第十七講:UDAF開發和JDBC訪問
第十八講:Hive優化規則總結
第十九講:Hive數據壓縮技術
第二十講:Hive-f封裝支持傳參一
第二十一講:Hive-f封裝支持傳參二
第二十二講:Sqoop使用一
第二十三講:Sqoop使用二
第二十四講:Sqoop作業調度
第二十五講:HBase體系結構
第二十六講:HBase 表設計案例
第二十七講:HBase數據加載(Sqoop和Java)
第二十八講:HBase存儲機制
第二十九講:Java操作HBase一
第三十講:Java操作HBase二
第三十一講:Java操作HBase三
第三十二講:hbase與Hive接口及項目介紹
第三十三講:訂單在線實時查詢_Schema設計和HBase數據加載
第三十四講:訂單在線實時查詢_DAO層實現
第三十五講:訂單在線實時查詢_DAO層和前臺實現
第三十六講:電商日志流量分析_項目介紹
第三十七講:電商日志流量分析_業務實現一
第三十八講:電商日志流量分析_業務實現二
第三十九講:電商日志流量分析_業務實現三
第四十講:電商日志流量分析_業務實現四

第四十一講:CDH5搭建之CM5安裝部署

第四十二講:CDH5搭建和CM界面化集群管理 

a6网赚兼职 网赚能赚到钱吗 中财彩票注册 有做网赚的吗 快三投注网 PK10牛牛 彩票高賠率好平台 互联网赚钱方式 百度网赚平台打字 上网赚美金平台