内容简介
本书系统讲解了Hadoop生态系统中的核心技术,包括HDFS、MapReduce、HBase、Hive、Pig、Sqoop、Flume等组件的原理与实战应用。
全书以实际项目为主线,从环境搭建开始,逐步深入Hadoop的安装、配置、编程和调优,涵盖了数据采集、存储、处理和分析的全流程实践案例。
第2版新增了Hadoop 2.0的新特性,如YARN架构、HDFS联邦等,并加入了大数据领域的实用工具和最佳实践,适合作为大数据从业者的入门和进阶读物。
目录
为什么写这本书
第2版与第1版的区别
本书面向的读者
如何阅读本书
在线资源及勘误
第1章 Hadoop简介
1.1 什么是Hadoop
1.2 Hadoop项目及其结构
1.3 Hadoop体系结构
1.4 Hadoop与分布式开发
1.5 Hadoop计算模型—MapReduce
1.6 Hadoop数据管理
1.7 Hadoop集群安全策略
1.8 本章小结
第2章 Hadoop的安装与配置
2.1 在Linux上安装与配置Hadoop
2.2 在Mac OSX上安装与配置Hadoop
2.3 在Windows上安装与配置Hadoop
2.4 安装和配置Hadoop集群
2.5 日志分析及几个小技巧
2.6 本章小结
第3章 MapReduce计算模型
3.1 为什么要用MapReduce
3.2 MapReduce计算模型
3.3 MapReduce任务的优化
3.4 Hadoop流
3.5 Hadoop Pipes
3.6 本章小结
第4章 开发MapReduce应用程序
4.1 系统参数的配置
4.2 配置开发环境
4.3 编写MapReduce程序
4.4 本地测试
4.5 运行MapReduce程序
4.6 网络用户界面
4.7 性能调优
4.8 MapReduce工作流
4.9 本章小结
第5章 MapReduce应用案例
5.1 单词计数
5.2 数据去重
5.3 排序
5.4 单表关联
5.5 多表关联
5.6 本章小结
第6章 MapReduce工作机制
6.1 MapReduce作业的执行流程
6.2 错误处理机制
6.3 作业调度机制
6.4 Shuffle和排序
6.5 任务执行
6.6 本章小结
第7章 Hadoop I/O操作
7.1 I/O操作中的数据检查
7.2 数据的压缩
7.3 数据的I/O中序列化操作
7.4 针对Mapreduce的文件类
7.5 本章小结
第8章 下一代MapReduce:YARN
8.1 MapReduce V2设计需求
8.2 MapReduce V2主要思想和架构
8.3 MapReduce V2设计细节
8.4 MapReduce V2优势
8.5 本章小结
第9章 HDFS详解
9.1 Hadoop的文件系统
9.2 HDFS简介
9.3 HDFS体系结构
9.4 HDFS的基本操作
9.5 HDFS常用Java API详解
9.6 HDFS中的读写数据流
9.7 HDFS命令详解
9.8 WebHDFS
9.9 本章小结
第10章 Hadoop的管理
10.1 HDFS文件结构
10.2 Hadoop的状态监视和管理工具
10.3 Hadoop集群的维护
10.4 本章小结
第11章 Hive详解
11.1 Hive简介
11.2 Hive的基本操作
11.3 Hive QL详解
11.4 Hive网络(Web UI)接口
11.5 Hive的JDBC接口
11.6 Hive的优化
11.7 本章小结
第12章 HBase详解
12.1 HBase简介
12.2 HBase的基本操作
12.3 HBase体系结构
12.4 HBase数据模型
12.5 HBase与RDBMS
12.6 HBase与HDFS
12.7 HBase客户端
12.8 Java API
12.9 HBase编程
12.10 模式设计
12.11 本章小结
第13章 Mahout详解
13.1 Mahout简介
13.2 Mahout的安装和配置
13.3 Mahout API简介
13.4 Mahout中的频繁模式挖掘
13.5 Mahout中的聚类和分类
13.6 Mahout应用:建立一个推荐引擎
13.7 本章小结
第14章 Pig详解
14.1 Pig简介
14.2 Pig的安装和配置
14.3 Pig Latin语言
14.4 用户定义函数
14.5 Zebra简介
14.6 Pig实例
14.7 Pig进阶
14.8 本章小结
第15章 ZooKeeper详解
15.1 ZooKeeper简介
15.2 ZooKeeper的安装和配置
15.3 ZooKeeper的简单操作
15.4 ZooKeeper的特性
15.5 使用ZooKeeper进行Leader选举
15.6 ZooKeeper锁服务
15.7 使用ZooKeeper创建应用程序
15.8 BooKeeper
15.9 本章小结
第16章 Avro详解
16.1 Avro介绍
16.1.1 模式声明
16.2 Avro的C/C++实现
16.3 Avro的Java实现
16.4 GenAvro(Avro IDL)语言
16.5 Avro SASL概述
16.6 本章小结
第17章 Chukwa详解
17.1 Chukwa简介
17.2 Chukwa架构
17.3 Chukwa的可靠性
17.4 Chukwa集群搭建
17.5 Chukwa数据流的处理
17.6 Chukwa与其他监控系统比较
17.7 本章小结
本章参考资料
第18章 Hadoop的常用插件与开发
18.1 Hadoop Studio的介绍和使用
18.2 Hadoop Eclipse的介绍和使用
18.3 Hadoop Streaming的介绍和使用
18.4 Hadoop Libhdfs的介绍和使用
18.5 本章小结
第19章 企业应用实例
19.1 Hadoop在Yahoo!的应用
19.2 Hadoop在eBay的应用
19.3 Hadoop在百度的应用
19.4 即刻搜索中的Hadoop
19.5 Facebook中的Hadoop和HBase
19.6 本章小结
本章参考资料
附录A 云计算在线检测平台
A.1 平台介绍
A.2 结构和功能
A.3 检测流程
A.4 使用介绍
A.5 小结
附录B Hadoop安装、运行与使用说明
B.1 Hadoop安装
B.2 Hadoop启动
B.3 Hadoop使用
附录C 使用DistributedCache的MapReduce程序
C.1 程序场景
C.2 详细代码
附录D 使用ChainMapper和ChainReducer的MapReduce程序
D.1 程序场景
D.2 详细代码
您当前的等级为
登录后免费下载登录
小黑屋反思中,不准下载!
评论后刷新页面下载评论
支付¥以后下载
请先登录
您今天的下载次数(次)用完了,请明天再来
支付积分以后下载立即支付
支付以后下载立即支付
您当前的用户组不允许下载升级会员
您已获得下载权限
您可以每天下载资源次,今日剩余次
免责申明:
1. 本站分享的所有书籍均来源于自互联网,我们只进行收集整理,并不对书籍内容进行更改。
2. 部分书籍中可能有书籍压制者放置的广告,这并不是本站所为,请注意甄别。
3. 我们分享这些书籍,纯粹是出于知识分享的热情,以及对互联网分享精神的高度认同和践行,不以盈利为目的。
4. 本站分享的所有书籍,仅供个人学习研究使用,请勿用于任何商业用途,否则产生的一切法律纠纷与本站无关。
5. 如果这些书籍让你有所收获,在条件允许的情况下,请一定购买正版书籍,这是对创作者最好的支持。
6. 如果您是此书籍的版权所有者,且您不希望此作品出现在本站,请联系我们,我们将在收到您的请求后48小时内予以删除。