Hadoop2.0/YARN深入浅出(Hadoop2.0、Spark、Storm和Tez)
  完成
收藏课程
9999+

Hadoop2.0/YARN深入浅出(Hadoop2.0、Spark、Storm和Tez)

本课程详细讲解了Hadoop 2.0架构、部署以及YARN,并讲解了运行在YARN上主要的计算框架,包括Spark、Storm和Tez 1、本课程适合于有一定...

适合人群:初级
课时数量:21课时
用到技术:Hadoop2.0、Spark、Storm和Tez
涉及项目:YARN资源管理系统

  • 课程顾问贴心解答

    为你推荐精品课程,无论就业还是升职加薪,毫无压力。

  • 名企定制紧随大流

    量身打造紧贴企业需求的实用性课程。

  • 系统教学把控效果

    集学、测、练为一体的学习系统为你科学的安排学习进度,提高效率。

  • 一线大师1对1指导

    课程研发团队内一线资深讲师一对一指导,手把手教学,直到学会。

  • 点播答疑完美结合

    每周2-3次直播解答,保证学员日常学习问题能得到解决。

  • 量身定制学习计划

    告别杂乱的学习方式,我们会根据你的情况定制学习计划。

 

 

随着云计算、大数据迅速发展,亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多,直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。

 

Hadoop入门薪资已经达到了 8K 以上,工作1年可达到 1.2W 以上,具有2-3年工作经验的hadoop人才年薪可以达到 30万—50万 。一般需要大数据处理的公司基本上都是大公司,所以学习hadoop技术也是进大公司的捷径!

 

中关村被称为中国硅谷,这里有着一群被外界称之为程序员的IT从业者。但是一眼望去,大多数一线程序员的年龄均在20至30岁左右,40、50岁的人在这个行业内颇为罕见。为什么在国内没有“老”程序员,而在国外五六十岁仍奋斗在一线岗位的程序员比比皆是?造成这种现象的原因是多方面的。

 

 

 

课程内容简介

课程背景:

新 Hadoop Yarn 框架原理及运作机制从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看,MapReduce 的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性,内存消耗,线程模型,可靠性和性能上的缺陷。在过去的几年中,hadoop 开发团队做了一些 bug 的修复,但是最近这些修复的成本越来越高,这表明对原框架做出改变的难度越来越大。为从根本上解决旧 MapReduce 框架的性能瓶颈,促进 Hadoop 框架的更长远发展,从 0。23。0 版本开始,Hadoop 的 MapReduce 框架完全重构,发生了根本的变化。新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn,其架构图如下图所示:

 

成熟、通用让Hadoop深得大数据玩家喜爱,即使是在YARN出现之前,在流处理框架林立下,Hadoop仍然被众多机构广泛运用在离线处理之上。借鉴于Mesos,MapReduce获得新生,YARN提供了更加优秀的资源管理器,让Storm等流处理框架同样可以运行在Hadoop集群之上;但是别忘记,Hadoop有着远比Mesos成熟的社区。从兴起到唱衰再到兴起,这头搬运大数据的大象已更加成熟、稳重,同时我们也相信,在未来container等属性加入后,Hadoop生态系统必将发扬光大。

 

课程介绍

本课程详细讲解了Hadoop 2。0架构、部署以及YARN,并讲解了运行在YARN上主要的计算框架,包括Spark、Storm和Tez

 

课程针对人群

1、本课程适合于有一定java基础知识,对数据库和sql语句有一定了解,熟练使用linux系统的技术人员,特别适合于想换工作或寻求高薪职业的人士

2、最好有Greenplum Hadoop大数据基础,学习过北风课程《Greenplum 分布式数据库开发入门到精通》、《全面深入Greenplum Hadoop大数据分析平台》为最佳

 

课程大纲

Hadoop 2.0(6课时)

Hadoop 2.0产生背景

Hadoop 2。0基本构成

HDFS 2.0

MapReduce 2.0

Hadoop 2.0安装配置

集群测试

YARN资源管理系统(4课时)

YARN产生背景

YARN基本设计思想

YARN基本架构

YARN工作流程

YARN通信协议

YARN容错

YARN资源调度机制

YARN支持的计算框架(Storm,Tez,Spark)(11课时)

以YARN为核心的生态系统

Storm基本概念

Storm流式计算框架

基于YARN的Storm架构

YARN-Storm部署

Storm On YARN服务

Apache Tez介绍

Tez特点

Tez数据处理引擎

DAGAppMaster实现

Tez优化机制

Tez应用场景

Tez部署

什么是Spark

Spark生态系统

Spark的核心--RDD和Lineage

RDD的存储、容错机制、内部设计及数据模型

Spark调度框架

Spark的分布式部署方式

基于Mesos的Spark模式

基于YARN的Spark模式

Spark的独立模式部署

Spark的YARN模式部署

 

 课程总目录

聚沙彩票注册 秒速赛车官网 中华彩票网 秒速赛车官网 北京赛车PK10计划 秒速赛车官网 秒速赛车官网 秒速赛车官网 皇鼎彩票注册 甘肃快3