Hadoop生态圈技术光速入门(最短路径算法MR实现、MR二次排序、PageRank、社交好友推荐算法)
  完结
收藏课程
9999+

Hadoop生态圈技术光速入门(最短路径算法MR实现、MR二次排序、PageRank、社交好友推荐算法)

Hadoop是大数据处理的入门,通过学习hadoop我们可以了解到在实际的生成环境中使用大数据工具处理大规模数据问题。通过学习hadoop生态圈的相关知识,我们...

适合人群:初级
课时数量:83课时
用到技术:Hadoop、Hdfs、yarn、zookeeper、hbase、hive、oozie、flume、kafka、sqoop、hue、最短路径算法MR实现、MR二次排序、PageRank、社交好友推荐算
涉及项目:MR二次排序、MR自定义输入输出、MR倒排索引、基于zk的分布式锁实现、hbase二级索引、MR最短路径、MR PageRank、MR社交好友推荐算法

  • 课程顾问贴心解答

    为你推荐精品课程,无论就业还是升职加薪,毫无压力。

  • 名企定制紧随大流

    量身打造紧贴企业需求的实用性课程。

  • 系统教学把控效果

    集学、测、练为一体的学习系统为你科学的安排学习进度,提高效率。

  • 一线大师1对1指导

    课程研发团队内一线资深讲师一对一指导,手把手教学,直到学会。

  • 点播答疑完美结合

    每周2-3次直播解答,保证学员日常学习问题能得到解决。

  • 量身定制学习计划

    告别杂乱的学习方式,我们会根据你的情况定制学习计划。

 

Hadoop是大数据处理的入门,通过学习hadoop我们可以了解到在实际的生成环境中使用大数据工具处理大规模数据问题。通过学习hadoop生态圈的相关知识,我们能够为更加深入学习大数据处理的相关知识提供一定的基础。大数据在电商、金融、电信、医疗、旅游等各个领域用途非常广泛,因为这些领域会有大量的数据需要处理,此时hadoop就成为了首要之选。

 

讲师本人之前在电商、旅游、金融等方面做软件的时候,大多采用hadoop作为基础的大数据平台之选,并且积累了一些学习hadoop相关知识的技能点,特意整理成为视频,供大家学习hadoop的相关知识。本项目所涉及到的代码全程手敲,适合有一定java、linux知识基础,并希望学习hadoop大数据处理的学员来学习该视频,当然课程中的知识点不仅仅涉及到hadoop的基础,也涉及到hadoop的一些相关自定义实现等知识,最终希望新手通过该视频对hadoop有一定的了解,也希望老手能够通过这些视频更加进一步的认识到hadoop中的一些相关知识,最后预祝每位学员成为大数据领域的一个技术能手。

 

 

1。课程研发环境

JDK版本: jdk7

开发工具:eclipse

Linux版本:centos 6。0

虚拟机:Visual box

Hadoop生态圈相关环境:CDH 5.3.6版本 

 

2。内容简介

本课程从基础的环境搭建到更深入的知识学习都会有一个比较好的讲解。帮助学员快速上手hadoop生态圈的大数据处理框架的使用,使用hadoop生态圈进行一些模块化、项目功能化的开发,主要包括安装部署hadoop、hive、hbase、hue、oozie、flume等生态圈相关软件环境的搭建,并且在已搭建好的环境上进行相关知识点的讲解和功能的开发。项目/模块主要涉及到使用MR开发相关实际业务功能,包括最短路径的计算、社交好友推荐算法实现、分布式锁的实现等,这些模块可以在实际的生成环境中使用到,可以很简单的将这些模块的代码直接集成到相关实际生产环境代码中。   

 

 

Gerry老师:三年大数据开发工作经验,从事过电商、旅游、金融等相关大数据处理项目,对大数据的处理有一定的自我认识,另外对以hadoop为核心的大数据处理框架有比较深入的了解,对以hadoop、hbase、hive、oozie等为核心的离线数据处理有一定的知识技能的积累。主要涉及到的项目有:

 

1.BI报表项目:自动将mysql、oracle、log4j日志等各个数据源的数据导入到hdfs,并提供组件进行数据分析,最终导出用户需要的报表;

2. 用户行为日志离线分析系统:基于收集到的用户浏览行为数据进行数据分析展示。

3. 用户画像系统:给用户进行标签定义、根据用户标签和用户访问历史进行精准推荐、给特定用户标签的用户赋予特定的优惠政策、基于用户标签进行”反黑”操作

 

 

一、hadoop: 

第一讲:Hadoop起源、体系结构以及生态圈介绍

第二讲:Hadoop安装

第三讲:Windows平台下Eclipse环境搭建

第四讲:HDFS体系结构

第五讲:HDFS SHELL API介绍

第六讲:HDFS Java API介绍

第七讲:Hadoop 2.x HDFS新特性

第八讲:YARN体系结构

第九讲:MR编程模型介绍

第十讲:Map-Reduce编程实例:WordCount

第十一讲:MR数据类型讲解

第十二讲:MR输入格式讲解

第十三讲:MR输出格式讲解

第十四讲:案例:自定义输入、输出格式使用

第十五讲:MR Shuffle组件讲解

第十六讲:案例:二次排序

第十七讲:组合MR任务介绍

第十八讲:MR任务多数据源连接介绍

第十九讲:案例:倒排索引

 

二、zookeeper: 

第二十讲:Zookeeper起源、体系结构介绍

第二十一讲:Zookeeper安装

第二十二讲:Zookeeper Shell命令

第二十三讲:Zookeeper Java API

第二十四讲:Zookeeper案例:分布式环境中实现共享锁

 

三、hbase: 

第二十五讲:HBase起源、体系结构以及数据模型介绍

第二十六讲:HBase安装

第二十七讲:HBase Shell命令

第二十八讲:HBase Java API

第二十九讲:HBase协处理器介绍

第三十讲:HBase和MapReduce整合

第三十一讲:HBase案例:二级索引的创建

 

四、hive:

第三十二讲:Hive起源、体系结构介绍

第三十三讲:Hive安装

第三十四讲:Hive Shell命令上

第三十五讲:Hive Shell命令下

第三十六讲:Hive函数

 

五、hue: 

第三十七讲:Hue简介

 

六、Oozie: 

第三十八讲:Oozie简介

第三十九讲:Oozie安装

第四十讲:Oozie案例

第四十一讲:Oozie Java客户端

第四十二讲:Oozie Hue整合

 

七、Flume: 

第四十三讲:Flume介绍以及安装

第四十四讲:Flume案例介绍上

第四十五讲:Flume案例介绍下

第四十六讲:Flume自定义Source

第四十七讲:Flume自定义Interceptor

 

八、Sqoop: 

第四十八讲:Sqoop介绍与安装

第四十九讲:Sqoop案例介绍上

第五十讲:Sqoop案例介绍下

 

九、Kafka: 

第五十一讲:Kafka介绍与安装

第五十二讲:Kafka案例

 

十、MR扩展: 

第五十三讲:MapReduce案例:最短路径算法

第五十四讲:MapReduce案例:PageRank算法

第五十五讲:MapReduce案例:社交好友推荐算法

第五十六讲 Flume taildir source

第五十七讲 Flume HBase集成

 

 

 

 

 

 

 

目标一. 了解Hadoop生态圈环境搭建,主要包括:hadoop、hbase、hive、zookeeper、hue、flume、flume、oozie、kafka等。

 

目标二. 可以让学员对hadoop解决问题有一定的了解

 

目标三. 可以让学员掌握各个hadoop生态圈组件之间的整合有一个了解

 

目标四. 通过对各个模块的专门学习,让学员对hadoop生态圈的各个部分有一定比较深入的了解

 

目标五。 通过完整的学习,能够让学员对hadoop生态圈的知识有一个初步的了解

 

 

亮点一、hadoop采用当前比较热的版本cdh5.3.6,如此版本的框架在最近一到两年是一个比较常用的技术,不会出现一个落后的情况 

 

亮点二、理论与实战结合,由浅入深。即介绍到基础知识,比如环境的搭建,也介绍到在环境/框架之上进行自定义实现的功能完成,同时讲解过程中给学生留下思考的时间。

 

亮点三、课程绝大多数代码均是一行一行手工敲入,手把手一步步带领学员进入hadoop处理的大数据殿堂

 

亮点四、对hadoop、flume等各个软件的各个组件都有一个自定义实现,并介绍到在实际环境中介绍这些组件的应用。

 

 

1.课程针对人群

本课程针对具有一定的java基础和linux基础的学员,并且想通过本项目的学习,了解hadoop的相关项目,了解大数据项目的正常开发这类的学员,也适合有志于大数据开发的hadoop开发工程师岗位的学员。  

 

2.我该怎么学,如何才能学好这门课程,给些建议。

2.1、时间上的安排建议

本课程共55讲,如果您时间上充分,建议以每天4-5讲的进度往前学习。如果您时间不充分,建议至少每天学习一讲的内容。 

2.2、学习要求

如果您没有基础,建议还是中规中矩的按照课程进度一点一点仔细观看学习,并一定要把看完的视频中的代码自己手敲一遍,以加深理解和记忆

如果您有基础,可不必按步就搬进行,可以拿你感兴趣的部分去学习,但一定要注意实践,并学会举一反三 

2.3、讲师建议

1.最好看完视频之后,抛开视频,独立自己去把上课中的示例写一遍,看自己是否理解,如果不正确,可以回过头看再看下视频,如果反复,达到真正理解和熟练掌握的目的。

2。对于项目实战部分,一定要自己亲自动手做一遍,不要满足听完就OK了

3. 建议一般听视频,一般拿个纸和笔,做一些记录和笔记,这是一种非常好的学习习惯。

4。 一定不要过于依赖视频,要学会看API、使用百度、google等搜索引擎并且学会从对应官网的帮助文档中学习一些相关知识,学会思考,学会举一反三

5. 最后祝您学有所成

 

 

课程是属于某个特定的专业技术,掌握该技术后,你可以从事以下职位的相关工作

1。大数据开发工程师

2.Java软件开发工程师

秒速赛车官网 秒速赛车官网 速发彩票开户 秒速赛车官网 秒速赛车官网 香港开奖结果2019开奖记录 玖玖棋牌游戏 湖南快乐十分计划 秒速赛车官网 上海快3