内容简介
本书是一本系统讲解Hadoop 3.x大数据开发技术的实战教程,内容涵盖Hadoop生态系统核心组件,包括HDFS、MapReduce、YARN、Hive、HBase、Spark等。全书以Hadoop 3.x最新版本为基础,结合大量实际案例,深入浅出地介绍了大数据存储、计算、分析、挖掘的完整流程。
全书共分为16章,第一章介绍大数据技术概述与Hadoop生态系统;第二至四章讲解Hadoop集群搭建、HDFS分布式文件系统原理与操作、MapReduce编程模型与高级特性;第五至七章介绍YARN资源调度、Hive数据仓库与HBase分布式数据库;第八至十章讲解Spark计算引擎、Spark SQL与Spark Streaming;第十一至十三章涵盖Flume日志采集、Kafka消息队列与Sqoop数据迁移;第十四至十六章则聚焦于Hadoop运维实战、性能优化与项目案例实战。
本书配有视频教学,适合大数据初学者、Hadoop开发者、运维工程师以及高校计算机相关专业师生阅读,也可作为大数据培训机构的教材使用。
目录
内容简介
作者简介
第1章 VMware中安装CentOS
1.1 下载CentOS 7镜像文件
1.2 新建虚拟机
1.3 安装操作系统
1.4 动手练习
第2章 CentOS7集群环境配置
2.1 系统环境配置
2.2 安装JDK
2.3 克隆虚拟机
2.4 配置主机IP映射
2.5 动手练习
第3章 Hadoop
3.1 Hadoop简介
3.2 YARN基本架构及组件
3.3 YARN工作流程
3.4 配置集群各节点SSH无密钥登录
3.5 搭建Hadoop 3.x分布式集群
3.6 动手练习
第4章 HDFS
4.1 HDFS简介
4.2 HDFS命令行操作
4.3 HDFS Web界面操作
4.4 HDFS Java API操作
4.5 动手练习
第5章 MapReduce
5.1 MapReduce简介
5.2 MapReduce程序编写步骤
5.3 案例分析:单词计数
5.4 案例分析:数据去重
5.5 案例分析:求平均分
5.6 案例分析:二次排序
5.7 使用MRUnit测试MapReduce程序
5.8 动手练习
第6章 ZooKeeper
6.1 ZooKeeper简介
6.2 ZooKeeper安装配置
6.3 ZooKeeper命令行操作
6.4 ZooKeeper Java API操作
6.5 案例分析:监听服务器动态上下线
6.6 动手练习
第7章 HDFS与YARNHA
7.1 HDFS HA搭建
7.2 YARN HA搭建
7.3 动手练习
第8章 HBase
8.1 什么是HBase
8.2 HBase基本结构
8.3 HBase数据模型
8.4 HBase集群架构
8.5 HBase安装配置
8.6 HBase Shell命令操作
8.7 HBase Java API操作
8.7.5 删除数据
8.8 HBase过滤器
8.9 案例分析:HBase MapReduce数据转移
8.10 案例分析:HBase数据备份与恢复
8.11 动手练习
第9章 Hive
9.1 什么是Hive
9.2 Hive架构体系
9.3 Hive三种运行模式
9.4 Hive安装配置
9.5 Hive常见属性配置
9.6 Beeline CLI的使用
9.7 Hive数据库操作
9.8 Hive表操作
9.9 Hive查询
9.10 其他Hive命令
9.11 Hive元数据表结构分析
9.12 Hive自定义函数
9.13 Hive JDBC操作
9.14 案例分析:Hive与HBase整合
9.15 案例分析:Hive分析搜狗用户搜索日志
9.16 动手练习
第10章 Sqoop
10.1 什么是Sqoop
10.2 使用Sqoop
10.3 数据导入工具
10.4 数据导出工具
10.5 Sqoop安装与配置
10.6 案例分析:将MySQL表数据导入到HDFS中
10.7 案例分析:将HDFS中的数据导出到MySQL中
10.8 案例分析:将MySQL表数据导入到HBase中
10.9 动手练习
第11章 Kafka
11.1 什么是Kafka
11.2 Kafka架构
11.3 主题与分区
11.4 分区副本
11.5 消费者组
11.6 数据存储机制
11.7 Kafka集群环境搭建
11.8 命令行操作
11.9 Java API操作
11.10 案例分析:Kafka生产者拦截器
11.11 动手练习
第12章 Flume
12.1 什么是Flume
12.2 Flume的架构原理
12.3 安装与简单使用
12.4 案例分析:日志监控(一)
12.5 案例分析:日志监控(二)
12.6 拦截器
12.6.2 自定义拦截器
12.7 选择器
12.8 案例分析:拦截器和选择器的应用
12.9 案例分析:Flume与Kafka整合
12.10 动手练习
第13章 Storm
13.1 什么是Storm
13.2 Storm Topology
13.3 Storm集群架构
13.4 Storm流分组
13.5 Storm集群环境搭建
13.6 案例分析:单词计数
13.7 案例分析:Storm与Kafka整合
13.8 动手练习
第14章 Elasticsearch
14.1 什么是Elasticsearch
14.2 基本概念
14.3 集群架构
14.4 集群环境搭建
14.5 安装Kibana
14.6 REST API
14.7 Head插件安装
14.8 Java API操作:员工信息
14.9 动手练习
第15章 Scala
15.1 什么是Scala
15.2 安装Scala
15.3 Scala基础
15.4 集合
15.5 类和对象
15.6 抽象类和特质
15.7 使用Eclipse创建Scala项目
15.8 使用IntelliJ IDEA创建Scala项目
15.9 动手练习
第16章 Spark
16.1 Spark概述
16.2 Spark主要组件
16.3 Spark运行时架构
16.4 Spark集群环境搭建
16.5 Spark HA搭建
16.6 Spark应用程序的提交
16.7 Spark Shell的使用
16.8 Spark RDD
16.9 案例分析:使用Spark RDD实现单词计数
16.10 Spark SQL
16.11 案例分析:使用Spark SQL实现单词计数
16.12 案例分析:Spark SQL与Hive整合
16.13 案例分析:Spark SQL读写MySQL
16.14 动手练习
您当前的等级为
登录后免费下载登录
小黑屋反思中,不准下载!
评论后刷新页面下载评论
支付¥以后下载
请先登录
您今天的下载次数(次)用完了,请明天再来
支付积分以后下载立即支付
支付以后下载立即支付
您当前的用户组不允许下载升级会员
您已获得下载权限
您可以每天下载资源次,今日剩余次
免责申明:
1. 本站分享的所有书籍均来源于自互联网,我们只进行收集整理,并不对书籍内容进行更改。
2. 部分书籍中可能有书籍压制者放置的广告,这并不是本站所为,请注意甄别。
3. 我们分享这些书籍,纯粹是出于知识分享的热情,以及对互联网分享精神的高度认同和践行,不以盈利为目的。
4. 本站分享的所有书籍,仅供个人学习研究使用,请勿用于任何商业用途,否则产生的一切法律纠纷与本站无关。
5. 如果这些书籍让你有所收获,在条件允许的情况下,请一定购买正版书籍,这是对创作者最好的支持。
6. 如果您是此书籍的版权所有者,且您不希望此作品出现在本站,请联系我们,我们将在收到您的请求后48小时内予以删除。