内容简介
本书共分为四大部分:
基础篇(1~10章)介绍了Spark的用途、扩展、安装、运行模式、程序开发、编程模型、工作原理,以及SparkSQL、SparkStreaming、MLlib、GraphX、Bagel等重要的扩展;
实战篇(11~14)讲解了搜索结果的排序、个性化推荐系统、日志分析系统、自然语言处理、数据挖掘等方面的案例;
高级篇(15~18)则讲解了Spark的调度管理、存储管理、监控管理、性能优化、最佳实践以及重点算法的解读;
扩展篇(19~20)讲解了Sparkjob-server和Tachyon。
作者简介
于俊,科大讯飞大数据专家,专注大数据Hadoop和spark平台;主要工作是大数据统计分析和机器学习算法工程实现。
向海,科大讯飞大数据专家,spark爱好者,专注于大数据领域,现从事基于spark的用户行为分析相关工作。
代其锋,百分点科技大数据架构师,专注于分布式系统架构;主要工作是负责公司底层基础平台的建设和spark技术的推广。
马海平,科大讯飞大数据高级研究员,专注于用机器学习做大数据商业变现;主要工作是数据挖掘算法研究和spam实现。
目录
前言
基础篇
第1章Spark简介2
1.1什么是Spark2
1.1.1概述3
1.1.2Spark大数据处理框架3
1.1.3Spark的特点4
1.1.4Spark应用场景5
1.2Spark的重要扩展6
1.2.1SparkSQL和DataFrame6
1.2.2SparkStreaming7
1.2.3SparkMLlib和ML8
1.2.4GraphX8
1.2.5SparkR9
1.3本章小结10
第2章Spark部署和运行11
2.1部署准备11
2.1.1下载Spark11
2.1.2编译Spark版本12
2.1.3集群部署概述14
2.2Spark部署15
2.2.1Local模式部署16
2.2.2Standalone模式部署16
2.2.3YARN模式部署18
2.3运行Spark应用程序19
2.3.1Local模式运行Spark应用程序19
2.3.2Standalone模式运行Spark应用程序20
2.3.3YARN模式运行Spark22
2.3.4应用程序提交和参数传递23
2.4本章小结26
第3章Spark程序开发27
3.1使用SparkShell编写程序27
3.1.1启动SparkShell28
3.1.2加载text文件28
3.1.3简单RDD操作28
3.1.4简单RDD操作应用29
3.1.5RDD缓存30
3.2构建Spark的开发环境30
3.2.1准备环境30
3.2.2构建Spark的Eclipse开发环境31
3.2.3构建Spark的IntelliJIDEA开发环境32
3.3独立应用程序编程40
3.3.1创建SparkContext对象40
3.3.2编写简单应用程序40
3.3.3编译并提交应用程序40
3.4本章小结43
第4章编程模型44
4.1RDD介绍44
4.1.1RDD特征45
4.1.2RDD依赖45
4.2创建RDD47
4.2.1集合(数组)创建RDD47
4.2.2存储创建RDD48
4.3RDD操作49
4.3.1转换操作50
4.3.2执行操作52
4.3.3控制操作54
4.4共享变量56
4.4.1广播变量57
4.4.2累加器57
4.5本章小结58
第5章作业执行解析59
5.1基本概念59
5.1.1Spark组件59
5.1.2RDD视图60
5.1.3DAG图61
5.2作业执行流程62
5.2.1基于Standalone模式的Spark架构62
5.2.2基于YARN模式的Spark架构64
5.2.3作业事件流和调度分析65
5.3运行时环境67
5.3.1构建应用程序运行时环境68
5.3.2应用程序转换成DAG68
5.3.3调度执行DAG图70
5.4应用程序运行实例71
5.5本章小结72
第6章SparkSQL与DataFrame73
6.1概述73
6.1.1SparkSQL发展74
6.1.2SparkSQL架构74
6.1.3SparkSQL特点76
6.1.4SparkSQL性能76
6.2DataFrame77
6.2.1DataFrame和RDD的区别78
6.2.2创建DataFrame78
6.2.3DataFrame操作80
6.2.4RDD转化为DataFrame82
6.3数据源84
6.3.1加载保存操作84
6.3.2Parquet文件85
6.3.3JSON数据集88
6.3.4Hive表89
6.3.5通过JDBC连接数据库91
6.3.6多数据源整合查询的小例子92
6.4分布式的SQLEngine93
6.4.1运行ThriftJDBC/ODBC服务93
6.4.2运行SparkSQLCLI94
6.5性能调优94
6.5.1缓存数据94
6.5.2调优参数94
6.5.3增加并行度95
6.6数据类型95
6.7本章小结96
第7章深入了解SparkStreaming97
7.1基础知识97
7.1.1SparkStreaming工作原理98
7.1.2DStream编程模型99
7.2DStream操作100
7.2.1InputDStream100
7.2.2DStream转换操作102
7.2.3DStream状态操作104
7.2.4DStream输出操作106
7.2.5缓存及持久化107
7.2.6检查点108
7.3性能调优109
7.3.1优化运行时间109
7.3.2设置合适的批次大小111
7.3.3优化内存使用111
7.4容错处理112
7.4.1文件输入源112
7.4.2基于Receiver的输入源112
7.4.3输出操作113
7.5一个例子113
7.6本章小结115
第8章SparkMLlib与机器学习116
8.1机器学习概述116
8.1.1机器学习分类117
8.1.2机器学习算法117
8.2SparkMLlib介绍118
8.3SparkMLlib库119
8.3.1MLlib数据类型120
8.3.2MLlib的算法库与实例123
8.4ML库142
8.4.1主要概念143
8.4.2算法库与实例145
8.5本章小结147
第9章GraphX图计算框架与应用148
9.1概述148
9.2SparkGraphX架构149
9.3GraphX编程150
9.3.1GraphX的图操作152
9.3.2常用图算法161
9.4应用场景164
9.4.1图谱体检平台164
9.4.2多图合并工具165
9.4.3能量传播模型165
9.5本章小结166
第10章SparkR(RonSpark)167
10.1概述167
10.1.1SparkR介绍168
10.1.2SparkR的工作原理168
10.1.3R语言介绍169
10.1.4R语言与其他语言的通信170
10.2安装SparkR170
10.2.1安装R语言与rJava171
10.2.2SparkR的安装171
10.3SparkR的运行与应用示例172
10.3.1运行SparkR172
10.3.2SparkR示例程序173
10.3.3R的DataFrame操作方法175
10.3.4SparkR的DataFrame183
10.4本章小结186
实战篇
第11章大数据分析系统188
11.1背景188
11.2数据格式189
11.3应用架构189
11.4业务实现190
11.4.1流量、性能的实时分析190
11.4.2流量、性能的统计分析192
11.4.3业务关联分析193
11.4.4离线报表分析195
11.5本章小结199
第12章系统资源分析平台200
12.1业务背景200
12.1.1业务介绍201
12.1.2实现目标201
12.2应用架构201
12.2.1总体架构202
12.2.2模块架构202
12.3代码实现203
12.3.1Kafka集群203
12.3.2数据采集207
12.3.3离线数据处理207
12.3.4数据表现207
12.4结果验证213
12.5本章小结214
第13章在Spark上训练LR模型215
13.1逻辑回归简介215
13.2数据格式216
13.3MLlib中LR模型源码介绍217
13.3.1逻辑回归分类器217
13.3.2优化方法219
13.3.3算法效果评估221
13.4实现案例223
13.4.1训练模型223
13.4.2计算AUC223
13.5本章小结224
第14章获取二级邻居关系图225
14.1理解PageRank225
14.1.1初步理解PageRank225
14.1.2深入理解PageRank227
14.2PageRank算法基于Spark的实现228
14.3基于PageRank的二级邻居获取232
14.3.1系统设计232
14.3.2系统实现232
14.3.3代码提交命令235
14.4本章小结236
高级篇
第15章调度管理238
15.1调度概述238
15.1.1应用程序间的调度239
15.1.2应用程序中的调度241
15.2调度器242
15.2.1调度池243
15.2.2Job调度流程243
15.2.3调度模块245
15.2.4Job的生与死249
15.3本章小结253
第16章存储管理254
16.1硬件环境254
16.1.1存储系统254
16.1.2本地磁盘255
16.1.3内存255
16.1.4网络和CPU255
16.2Storage模块256
16.2.1通信层256
16.2.2存储层258
16.3Shuffle数据持久化261
16.4本章小结263
第17章监控管理264
17.1Web界面264
17.2SparkUI历史监控266
17.2.1使用spark—server的原因266
17.2.2配置spark—server266
17.3监控工具269
17.3.1Metrics工具269
17.3.2其他工具271
17.4本章小结272
第18章性能调优273
18.1文件的优化273
18.1.1输入采用大文件273
18.1.2lzo压缩处理274
18.1.3Cache压缩275
18.2序列化数据277
18.3缓存278
18.4共享变量278
18.4.1广播变量279
18.4.2累加器279
18.5流水线优化280
18.6本章小结280
扩展篇
第19章Spark—jobserver实践282
19.1Spark—jobserver是什么282
19.2编译、部署及体验283
19.2.1编译及部署283
19.2.2体验286
19.3Spark—jobserver程序实战288
19.3.1创建步骤288
19.3.2一些常见的问题289
19.4使用场景:用户属性分布计算289
19.4.1项目需求290
19.4.2计算架构290
19.4.3使用NamedRDD291
19.5本章小结291
第20章SparkTachyon实战292
20.1Tachyon文件系统292
20.1.1文件系统概述293
20.1.2HDFS和Tachyon294
20.1.3Tachyon设计原理294
20.1.4Tachyon特性295
20.2Tachyon入门295
20.2.1Tachyon部署295
20.2.2TachyonAPI297
20.2.3在Spark上使用Tachyon298
20.3容错机制299
20.4本章小结300
1. 本站分享的所有书籍均来源于自互联网，我们只进行收集整理，并不对书籍内容进行更改。
2. 部分书籍中可能有书籍压制者放置的广告，这并不是本站所为，请注意甄别。
3. 我们分享这些书籍，纯粹是出于知识分享的热情，以及对互联网分享精神的高度认同和践行，不以盈利为目的。
4. 本站分享的所有书籍，仅供个人学习研究使用，请勿用于任何商业用途，否则产生的一切法律纠纷与本站无关。
5. 如果这些书籍让你有所收获，在条件允许的情况下，请一定购买正版书籍，这是对创作者最好的支持。
6. 如果您是此书籍的版权所有者，且您不希望此作品出现在本站，请联系我们，我们将在收到您的请求后48小时内予以删除。
📖 支持知识自由流动
每一本书的稳定访问，都离不开服务器、存储与带宽的长期维护。
