Hadoop應用開發實戰(flume應用開發、搜索引擎算法、Pipes、集群、PageRank算法)
  完畢
收藏課程
9999+

Hadoop應用開發實戰(flume應用開發、搜索引擎算法、Pipes、集群、PageRank算法)

Hadoop高級課程采用了全新平臺:Oracle VirtualBox + CentOs + 最新的Hadoop 1。x穩定版本,提供了更穩定,安全的平臺,更加。。。

適合人群:高級
課時數量:28課時
用到技術:flume應用開發、Pipes、Hadoop Streaming
涉及項目:搜索引擎自動推薦、PageRank算法、 最短路徑算法、好友智能推薦

  • 課程顧問貼心解答

    為你推薦精品課程,無論就業還是升職加薪,毫無壓力。

  • 名企定制緊隨大流

    量身打造緊貼企業需求的實用性課程。

  • 系統教學把控效果

    集學、測、練為一體的學習系統為你科學的安排學習進度,提高效率。

  • 一線大師1對1指導

    課程研發團隊內一線資深講師一對一指導,手把手教學,直到學會。

  • 點播答疑完美結合

    每周2-3次直播解答,保證學員日常學習問題能得到解決。

  • 量身定制學習計劃

    告別雜亂的學習方式,我們會根據你的情況定制學習計劃。

Hadoop是2013年最熱門的技術之一,通過北風網robby老師深入淺出Hadoop實戰開發Hadoop應用開發實戰 兩套課程的學習,普通Java開發人員可以在最快的時間內提升工資超過15000.成為一位完全精通Hadoop應用開發的高端人才。

 

 

 

Hadoop是什么,為什么要學習Hadoop?


Hadoop是一個分布式系統基礎架構,由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統(Hadoop Distributed File System),簡稱HDFS。HDFS有著高容錯性的特點,并且設計用來部署在低廉的(low-cost)硬件上。而且它提供高傳輸率(high throughput)來訪問應用程序的數據,適合那些有著超大數據集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求(requirements)這樣可以流的形式訪問(streaming access)文件系統中的數據。

 

Hadoop 是一個能夠對大量數據進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的,因為它假設計算元素和存儲會失敗,因此它維護多個工作數據副本,確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的,因為它以并行的方式工作,通過并行處理加快處理速度。Hadoop 還是可伸縮的,能夠處理 PB 級數據。此外,Hadoop 依賴于社區服務器,因此它的成本比較低,任何人都可以使用。

 

Hadoop帶有用Java 語言編寫的框架,因此運行在 Linux 生產平臺上是非常理想的。本課程的講解是采用linux平臺進行模擬講解,完全基于真實場景進行模擬現實

 

亮點一:技術先進,經典應用

 

新的課程采用了全新平臺:Oracle VirtualBox + CentOs + 最新的Hadoop 1.x穩定版本,提供了更穩定,安全的平臺,更加貼近企業級應用的真實環境。課程完整,詳細的介紹并實現了多個Hadoop經典應用:搜索引擎自動推薦,好友智能推薦,最短路徑算法,PageRank。他們代表了當前最成功,應用范圍最廣的Hadoop應用案例,特別是PageRank,更是Google賴以發家的法寶,直到如今,仍然是Google搜索引擎最為重要的技術。通過這些案例,對于學習如何開發成功的Hadoop應用有極大的幫助。

 

亮點二:內容實用,全面深入

 

非Java的MapReduce應用是Hadoop重要內容之一,Streaming和Pipes是將現有應用移植到Hadoop平臺的重要技術。另外,Hadoop提供了海量數據的處理方案,但是如何進行原始數據收集,Apache Flume給出了答案,新的Apache Flume的解決方案,更加簡單,實用和高效。課程還詳細介紹了如何借助Hadoop提供的工具,對集群中的節點進行有效的管理,這些都是一個Hadoop管理人員必備知識。

 

亮點三:講師豐富的電信集團云平臺運作經驗

 

講師robby擁有豐富的電信集團工作經驗,目前負責云平臺的各方面工作,并擁有多年的企業內部培訓經驗。講課內容完全貼近企業需求,絕不紙上談兵。

 


第1章節: (4課時)

 

搜索引擎自動推薦(4課時)


> 新平臺搭建: 使用VirtualBox創建CentOs虛擬機,并使用RPM的方式安裝和使用Hadoop


> 內存數據庫Redis的安裝和基本使用


> 搜索引擎自動推薦算法講解


> 使用JqueryUI + Ajax + Redis搭建前后臺框架


> 使用Map Reduce實現數據統計算法


> 定制Map Reduce輸出,將數據直接寫入Redis內存數據庫

 


第2章節: (3課時)

 

好友智能推薦 (3課時)


> 應用背景和算法詳細講解


> Web框架搭建Struts2 + Redis


> 使用Map Reduce結合Redis實現潛在好友查找算法


> 完整的應用邏輯實現:前臺好友關注,后臺潛在好友查找,再到前臺潛在好友推薦

 


第3章節:(2課時)

 

Hadoop Streaming(2課時)


> 非Java的Map Reduce實現


> 如何使用腳本語言實現一個Map Reduce任務
 

> 如何使用C語言實現一個Map Reduce任務


第4章節: (1課時)

 

Hadoop Pipes (1課時)


> 基于Hadoop Pipes,使用C++實現Map Reduce任務

 


第5章節: (2課時)

 

Apache Flume基礎 (2課時)


> Apache Flume概述


> Flume Agent詳細介紹及使用


> 深入Flume子模塊: Source, Sink及Channel的使用

 


第6章節:  (3課時)

 

Flume實踐及分布式應用 (3課時)


> 與搜索引擎自動推薦應用的結合


> 搭建分布式的flume應用

 


第7章節: (5課時)

 

最短路徑算法的Hadoop實現(約5課時)


> 最短路徑算法介紹


> 如何使用MapReduce實現最短路徑算法


> 找到城市任意公交站點之間的最短路徑

 


第8章節: (3課時)

 

Hadoop集群管理(約3課時)


> Hadoop的日志管理


> 動態添加和刪除Hadoop節點


> Namenode和Datanode目錄結構介紹


> HDFS的數據安全性:fsimage和editlog
 

> Hadoop管理工具dfsadmin和fsck的使用

 


第9章節:(5課時)

 

PageRank算法的Hadoop實現(約5課時)


> Google的成名之作:PageRank算法介紹


> 如何使用Hadoop實現PageRank算法
 

中华彩票网 江苏快3平台 安徽11选5 19年点击网赚 2019还能做网赚吗 三分快3计划 幸运时时彩 网赚项目下载 介绍下靠谱的网赚项目 支付宝网赚活动真实吗