内容简介
《Hive编程指南》是一本全面介绍Apache Hive的实用技术书籍,由三位资深大数据工程师联合撰写。本书从Hive的基本概念入手,系统讲解了HiveQL的语法、数据模型、查询优化、用户自定义函数、安全机制以及性能调优等核心内容。
书中通过大量实际案例,详细阐述了如何利用Hive在Hadoop生态系统中进行大规模数据存储、处理和分析。内容覆盖了Hive与HBase、Spark、Pig等工具的集成使用,以及Hive在数据仓库建设、ETL流程、报表生成等典型场景中的应用。
本书适合具有一定Hadoop基础的数据分析人员、数据工程师和架构师阅读,能够帮助读者深入理解Hive的内部工作原理,掌握高效使用Hive进行大数据处理的技巧。同时,书中对Hive性能问题的诊断和优化方法也提供了极具参考价值的实践指导。
目录
内容提要
O’Reilly Media,Inc.介绍
作者简介
作者序
第1章 基础知识
1.1 Hadoop和MapReduce综述
1.2 Hadoop生态系统中的Hive
1.3 Java和Hive:词频统计算法
1.4 后续事情
第2章 基础操作
2.1 安装预先配置好的虚拟机
2.2 安装详细步骤
2.3 Hive内部是什么
2.4 启动Hive
2.5 配置Hadoop环境
2.6 Hive命令
2.7 命令行界面
第3章 数据类型和文件格式
3.1 基本数据类型
3.2 集合数据类型
3.3 文本文件数据编码
3.4 读时模式
第4章 HiveQL:数据定义
4.1 Hive中的数据库
4.2 修改数据库
4.3 创建表
4.4 分区表、管理表
4.5 删除表
4.6 修改表
第5章 HiveQL:数据操作
5.1 向管理表中装载数据
5.2 通过查询语句向表中插入数据
5.3 单个查询语句中创建表并加载数据
5.4 导出数据
第6章 HiveQL:查询
6.1 SELECT… FROM语句
6.2 WHERE语句
6.3 GROUP BY 语句
6.4 JOIN语句
6.5 ORDER BY和SORT BY
6.6 含有SORT BY 的DISTRIBUTE BY
6.7 CLUSTER BY
6.8 类型转换
6.9 抽样查询
6.10 UNION ALL
第7章 HiveQL:视图
7.1 使用视图来降低查询复杂度
7.2 使用视图来限制基于条件过滤的数据
7.3 动态分区中的视图和map类型
7.4 视图零零碎碎相关的事情
第9章 模式设计
9.1 按天划分的表
9.2 关于分区
9.3 唯一键和标准化
9.4 同一份数据多种处理
9.5 对于每个表的分区
9.6 分桶表数据存储
9.7 为表增加列
9.8 使用列存储表
9.9 (几乎)总是使用压缩
第10章 调优
10.1 使用EXPLAIN
10.2 EXPLAIN EXTENDED
10.3 限制调整
10.4 JOIN优化
10.5 本地模式
10.6 并行执行
10.7 严格模式
10.8 调整mapper和reducer个数
10.9 JVM重用
10.11 动态分区调整
10.12 推测执行
10.13 单个MapReduce中多个GROUP BY
10.14 虚拟列
第11章 其他文件格式和压缩方法
11.1 确定安装编解码器
11.2 选择一种压缩编/解码器
11.3 开启中间压缩
11.4 最终输出结果压缩
11.5 sequence file存储格式
11.6 使用压缩实践
11.7 存档分区
11.8 压缩:包扎
第12章 开发
12.1 修改Log4J属性
12.2 连接Java调试器到Hive
12.3 从源码编译Hive
12.4 配置Hive和Eclipse
12.5 Maven工程中使用Hive
12.6 Hive中使用hive_test进行单元测试
12.7 新增的插件开发工具箱(PDK)
第13章 函数
13.1 发现和描述函数
13.2 调用函数
13.3 标准函数
13.4 聚合函数
13.5 表生成函数
13.6 一个通过日期计算其星座的UDF
13.7 UDF与GenericUDF
13.8 不变函数
13.9 用户自定义聚合函数
13.10 用户自定义表生成函数
13.11 在 UDF中访问分布式缓存
13.12 以函数的方式使用注解
13.13 宏命令
第14章 Streaming
14.1 恒等变换
14.2 改变类型
14.3 投影变换
14.4 操作转换
14.5 使用分布式内存
14.6 由一行产生多行
14.7 使用streaming进行聚合计算
14.8 CLUSTER BY、DISTRIBUTE BY、SORT BY
14.9 GenericMR Tools for Streaming to Java
14.10 计算cogroup
第15章 自定义Hive文件和记录格式
15.1 文件和记录格式
15.2 阐明CREATE TABLE句式
15.3 文件格式
15.4 记录格式:SerDe
15.5 CSV和TSV SerDe
15.6 ObjectInspector
15.7 Thing Big Hive Reflection ObjectInspector
15.8 XML UDF
15.9 XPath相关的函数
15.10 JSON SerDe
15.11 Avro Hive SerDe
15.12 二进制输出
第16章 Hive的Thrift服务
16.1 启动Thrift Server
16.2 配置Groovy使用HiveServer
16.3 连接到HiveServer
16.4 获取集群状态信息
16.5 结果集模式
16.6 获取结果
16.7 获取执行计划
16.8 元数据存储方法
16.9 管理HiveServer
16.10 Hive ThriftMetastore
第17章 存储处理程序和NoSQL
17.1 Storage Handler Background
17.2 HiveStorageHandler
17.3 HBase
17.4 Cassandra
17.5 DynamoDB
第18章 安全
18.1 和Hadoop安全功能相结合
18.2 使用Hive进行验证
18.3 Hive中的权限管理
18.4 分区级别的权限
18.5 自动授权
第19章 锁
19.1 Hive结合Zookeeper支持锁功能
19.2 显式锁和独占锁
第20章 Hive和Oozie整合
20.1 Oozie提供的多种动作(Action)
20.2 一个只包含两个查询过程的工作流示例
20.3 Oozie 网页控制台
20.4 工作流中的变量
20.5 获取输出
20.6 获取输出到变量
第21章 Hive和亚马逊网络服务系统(AWS)
21.1 为什么要弹性MapReduce
21.2 实例
21.3 开始前的注意事项
21.4 管理自有EMR Hive集群
21.5 EMR Hive上的Thrift Server服务
21.6 EMR上的实例组
21.7 配置EMR集群
21.8 EMR上的持久层和元数据存储
21.9 EMR集群上的HDFS和S3
21.10 在S3上部署资源、配置和辅助程序脚本
21.11 S3上的日志
21.12 现买现卖
21.13 安全组
21.14 EMR和EC2以及Apache Hive的比较
21.15 包装
第22章 HCatalog
22.1 介绍
22.2 MapReduce
22.3 命令行
22.4 安全模型
22.5 架构
第23章 案例研究
23.2 Outbrain
23.3 NASA喷气推进实验室
23.4 Photobucket
23.5 SimpleReach
23.6 Experiences and Needs from the Customer Trenches
术语词汇表
书末说明
欢迎来到异步社区!
您当前的等级为
登录后免费下载登录
小黑屋反思中,不准下载!
评论后刷新页面下载评论
支付¥以后下载
请先登录
您今天的下载次数(次)用完了,请明天再来
支付积分以后下载立即支付
支付以后下载立即支付
您当前的用户组不允许下载升级会员
您已获得下载权限
您可以每天下载资源次,今日剩余次
免责申明:
1. 本站分享的所有书籍均来源于自互联网,我们只进行收集整理,并不对书籍内容进行更改。
2. 部分书籍中可能有书籍压制者放置的广告,这并不是本站所为,请注意甄别。
3. 我们分享这些书籍,纯粹是出于知识分享的热情,以及对互联网分享精神的高度认同和践行,不以盈利为目的。
4. 本站分享的所有书籍,仅供个人学习研究使用,请勿用于任何商业用途,否则产生的一切法律纠纷与本站无关。
5. 如果这些书籍让你有所收获,在条件允许的情况下,请一定购买正版书籍,这是对创作者最好的支持。
6. 如果您是此书籍的版权所有者,且您不希望此作品出现在本站,请联系我们,我们将在收到您的请求后48小时内予以删除。