基于Hadoop技術實現的離線電商分析平臺(Flume、Hadoop、Hbase、SpringMVC、highcharts)
  完結
收藏課程
9999+

基于Hadoop技術實現的離線電商分析平臺(Flume、Hadoop、Hbase、SpringMVC、highcharts)

離線數據分析平臺是一種利用hadoop集群開發工具的一種方式,主要作用是幫助公司對網站的應用有一個比較好的了解。尤其是在電商、旅游、銀行、證券、游戲等領域有非常...

適合人群:中級
課時數量:120課時
用到技術:Flume、Hadoop、Hbase、Hive、Oozie、Sqoop、離線數據分析
涉及項目:日志收集系統、日志分析、數據展示設計

  • 課程顧問貼心解答

    為你推薦精品課程,無論就業還是升職加薪,毫無壓力。

  • 名企定制緊隨大流

    量身打造緊貼企業需求的實用性課程。

  • 系統教學把控效果

    集學、測、練為一體的學習系統為你科學的安排學習進度,提高效率。

  • 一線大師1對1指導

    課程研發團隊內一線資深講師一對一指導,手把手教學,直到學會。

  • 點播答疑完美結合

    每周2-3次直播解答,保證學員日常學習問題能得到解決。

  • 量身定制學習計劃

    告別雜亂的學習方式,我們會根據你的情況定制學習計劃。

 

離線數據分析平臺是一種利用hadoop集群開發工具的一種方式,主要作用是幫助公司對網站的應用有一個比較好的了解。尤其是在電商、旅游、銀行、證券、游戲等領域有非常廣泛,因為這些領域對數據和用戶的特性把握要求比較高,所以對于離線數據的分析就有比較高的要求了。

 

講師本人之前在游戲、旅游等公司專門從事離線數據分析平臺的搭建和開發等,積累了一些這方面比較實用的技能點,特意整理錄制成視頻,本項目全程手敲,適合各層次學員學習本視頻的知識點。當然對于對hadoop有一定了解的學員而言,大家一看就知道是對hadoop生態圈的基本應用,但是同時在視頻中也涉及到一些hadoop源碼相關的知識點。預祝每位學員能夠成為hadoop開發的行家里手。

 

 

1.課程研發環境

開發源代碼以JDK7作為基準,數據庫采用mysql,使用hadoop生態圈相關軟件應用于該項目。

開發工具: Eclipse;

數據庫工具: Mysql

其他工具: Hadoop、Hbase、Hive、Sqoop、Flume、Oozie、Nginx、Highcharts、SpringMVC等

 

2.內容簡介

本教程從hadoop基本環境的搭建開始、介紹項目相關信息以及展示highcharts展示技術等。此外,為了幫助學員更好的理解知識點,介紹了hadoop、hbase、hive等hadoop生態圈的安裝配置和使用等。項目主要涉及到用戶行為數據的收集、用戶數據的etl操作、用戶數據的分析以及分析數據展示等項目模塊,最終展示了一個基本的離線數據分析平臺的全部實現。

 

 

一、大數據基本技能儲備:

第一講:項目介紹以及Hadoop環境搭建

第二講:Hadoop Shell命令介紹--上

第三講:Hadoop Shell命令介紹--下

第四講:HDFS介紹以及Java API介紹

第五講:MapReduce結構以及編程模型介紹

第六講:MapReduce進階上

第七講:MapReduce進階下

第八講:Hbase介紹以及Hbase環境搭建

第九講:Hbase客戶端介紹

第十講:Hbase和Mapreduce整合

第十一講:Hive介紹和Hive環境搭建

第十二講:Hive Shell命令介紹上

第十三講:Hive Shell命令介紹下

第十四講:Hive函數以及自定義函數講解

第十五講:Flume介紹

第十六講:Sqoop介紹

第十七講:Oozie介紹以及環境搭建

第十八講:Oozie工作流使用介紹

第十九講:Highcharts介紹

第二十講:Spring+MyBatis+Mysql框架整合

 

二、項目需求介紹

第二十一講:需求分析一

第二十二講:需求分析二

第二十三講:需求分析三

 

三、用戶行為數據收集模塊實現講解

第二十四講:JavaSDK數據收集引擎編寫

第二十五講:JSSDK數據收集引擎編寫

 

四、數據分析模塊實現講解

第二十六講:用戶數據etl操作一

第二十七講:用戶數據etl操作二

第二十八講:新增用戶和總用戶分析

第二十九講:活躍用戶分析

第三十講:活躍會員分析

第三十一講:新增會員和總會員分析

第三十二講:會話分析

第三十三講:Hourly分析

第三十四講:瀏覽器PV分析

第三十五講:公用代碼提取

第三十六講:地域信息分析

第三十七講:外鏈信息分析

第三十八講:MapReducer代碼優化

第三十九講:DimensionConverter相關服務設計

第四十講:用戶瀏覽深度分析

第四十一講:事件分析

第四十二講:訂單分析

第四十三講:MR和Hive任務Oozie部署

 

五、數據展示模塊講解:

第四十四講:DataApi后臺框架搭建

第四十五講:用戶基本信息數據展示

第四十六講:瀏覽器基本信息數據展示

第四十七講:地域信息數據展示

第四十八講:用戶瀏覽深度數據展示

第四十九講:外鏈數據展示

第五十講:事件數據展示

第五十一講:訂單數據展示以及項目總結


 

 

 

 

目標一. 了解hadoop的環境配置以及hadoop的基本運用管理

目標二. 了解hbase的環境配置以及hbase的基本運用管理

目標三。 了解hive的環境配置以及hive的基本運用管理

目標四. 了解flume、sqoop、oozie等hbase生態環境的配置以及基本應用管理

目標五. 了解SpringMVC、MyBatis以及Highcharts的整合使用

目標六. 了解Flume+Nginx+JS的用戶行為數據收集

目標七. 通過前后臺的分離,讓學生掌握highcharts動態展示數據的基本使用

目標八。 通過數據分析任務的編寫,讓學生掌握mr和hive的編寫

目標九. 通過完整項目實戰,全面演示hadoop生態圈的搭建、開發、注意事項以及技巧

目標十. 通過本次課程的學習,為學員以后再工作中如何使用hadoop有一個初步的了解,對應hadoop和傳統項目的整合有一個整體的了解,奠定基礎

 

 

亮點一、理論與實戰相結合,由淺入深。即照顧到基礎學員,也照顧到一定經驗的學員,在講解過程中也為學員留下了大量的考慮時間。

亮點二、課程所有代碼基本上是一行一行手工敲入,特別是對應使用hadoop和hive開發的部分代碼,手把手一步步帶學員從入門到精通。

亮點三、整個項目涉及到一個工作流程的全部,包括用戶行為數據的收集、數據分析以及分析結果展示等各個方面。而且講師框架全部按照大的項目框架去搭建,學員拿到該項目后,稍加修改就可以應用到自己的項目中去,實用性超強。

亮點四、對應hadoop生態圈講解的比較細,對應如何應用hadoop生態圈有一個初步的講解。學員通過學習該視頻后,基本對如何在工作中使用hadoop有一個初步的了解。

 

 

1.課程針對人群
本課程針對具有一定的java、linux、maven基礎以及對hadoop生態環境有一個初步了解的學員,想通過本項目的學習,加深對hadoop生態圈的了解、hadoop和傳統開發整合開發商業項目的學員。也適合想深入了解hadoop項目應用的學員。


2.我該怎么學,如何才能學好這門課程,給些建議。
2.1、時間上的安排建議
本課程共113課時,分為51講。如果您時間上充分,建議以每天1-2講的進度往前學習。
2.2、學習要求
如果您沒有基礎,建議還是中規中矩的按照課程進度一點一點仔細觀看學習,并一定要把看完的視頻中的代碼自己手敲一遍,以加深理解和記憶
如果您有基礎,可不必按步就搬進行,可以拿你感興趣的部分去學習,但一定要注意實踐,并學會舉一反三
如果您只是想了解hadoop的應用,可以直接看后面的幾部分的視頻
2.3、講師建議
1.最好看完視頻之后,拋開視頻,獨立自己去把上課中的示例寫一遍,看自己是否理解,如果不正確,可以回過頭看再看下視頻,如果反復,達到真正理解和熟練掌握的目的。
2.對于項目實戰部分,一定要自己親自動手做一遍,不要滿足聽完就OK了
3. 建議一般聽視頻,一般拿個紙和筆,做一些記錄和筆記,這是一種非常好的學習習慣。
4. 一定不要過于依賴視頻,要學會看API和使用官網實例以及使用搜索引擎,學會思考,學會舉一反三
5. 最后祝您學有所成

 

 

課程是屬于某個特定的專業技術,掌握該技術后,你可以從事以下職位的相關工作
1. Hadoop開發工程師
2. Hive開發工程師
3. Java開發工程師(代碼展示部分涉及到數據展示的java代碼開發)

互联网赚钱机器 上海时时乐 江苏快3 上海11选5走势图 网赚平台哪个赚钱快点 陕西11选5走势图 2019最新挂机网赚软件 2019免费网赚资源 上海天天彩选4 上海时时乐