图书介绍
Spark大数据处理 技术、应用与性能优化PDF|Epub|txt|kindle电子书版本网盘下载
- 高彦杰著 著
- 出版社： 北京：机械工业出版社
- ISBN：9787111483861
- 出版时间：2014
- 标注页数：255页
- 文件大小：38MB
- 文件页数：269页
- 主题词：数据处理软件
PDF下载
下载说明
Spark大数据处理 技术、应用与性能优化PDF格式电子书版下载
下载的文件为RAR压缩包。需要使用解压软件进行解压得到PDF格式图书。建议使用BT下载工具Free Download Manager进行下载,简称FDM(免费,没有广告,支持多平台）。本站资源全部打包为BT种子。所以需要使用专业的BT下载软件进行下载。如BitComet qBittorrent uTorrent等BT下载工具。迅雷目前由于本站不是热门资源。不推荐使用！后期资源热门了。安装了迅雷也可以迅雷进行下载！
（文件页数 要大于 标注页数，上中下等多册电子书除外）
注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具
图书目录
第1章 Spark简介1
1.1 Spark是什么1
1.2 Spark生态系统BDAS4
1.3 Spark架构6
1.4 Spark分布式架构与单机多核架构的异同9
1.5 Spark的企业级应用10
1.5.1 Spark在Amazon中的应用11
1.5.2 Spark在Yahoo！的应用15
1.5.3 Spark在西班牙电信的应用17
1.5.4 Spark在淘宝的应用18
1.6 本章小结20
第2章 Spark集群的安装与部署21
2.1 Spark的安装与部署21
2.1.1 在Linux集群上安装与配置Spark21
2.1.2 在Windows上安装与配置Spark30
2.2 Spark集群初试33
2.3 本章小结35
第3章 Spark计算模型36
3.1 Spark程序模型36
3.2 弹性分布式数据集37
3.2.1 RDD简介38
3.2.2 RDD与分布式共享内存的异同38
3.2.3 Spark的数据存储39
3.3 Spark算子分类及功能41
3.3.1 Value型Transformation算子42
3.3.2 Key-Value型Transformation算子49
3.3.3 Actions算子53
3.4 本章小结59
第4章 Spark工作机制详解60
4.1 Spark应用执行机制60
4.1.1 Spark执行机制总览60
4.1.2 Spark应用的概念62
4.1.3 应用提交与执行方式63
4.2 Spark调度与任务分配模块65
4.2.1 Spark应用程序之间的调度66
4.2.2 Spark应用程序内Job的调度67
4.2.3 Stage和TaskSetManager调度方式72
4.2.4 Task调度74
4.3 Spark I/O机制77
4.3.1 序列化77
4.3.2 压缩78
4.3.3 Spark块管理80
4.4 Spark通信模块93
4.4.1 通信框架AKKA94
4.4.2 Client、Master和Worker间的通信95
4.5 容错机制104
4.5.1 Lineage机制104
4.5.2 Checkpoint机制108
4.6 Shuffle机制110
4.7 本章小结119
第5章 Spark开发环境配置及流程120
5.1 Spark应用开发环境配置120
5.1.1 使用Intellij开发Spark程序120
5.1.2 使用Eclipse开发Spark程序125
5.1.3 使用SBT构建Spark程序129
5.1.4 使用Spark Shell开发运行Spark程序130
5.2 远程调试Spark程序130
5.3 Spark编译132
5.4 配置Spark源码阅读环境135
5.5 本章小结135
第6章 Spark编程实战136
6.1 WordCount136
6.2 Top K138
6.3 中位数140
6.4 倒排索引141
6.5 CountOnce143
6.6 倾斜连接144
6.7 股票趋势预测146
6.8 本章小结153
第7章 Benchmark使用详解154
7.1 Benchmark简介154
7.1.1 Intel Hibench与Berkeley BigDataBench155
7.1.2 Hadoop GridMix157
7.1.3 Bigbench、BigDataBenchmark与TPC-DS158
7.1.4 其他Benchmark161
7.2 Benchmark的组成162
7.2.1 数据集162
7.2.2 工作负载163
7.2.3 度量指标167
7.3 Benchmark的使用168
7.3.1 使用Hibench168
7.3.2 使用TPC-DS170
7.3.3 使用BigDataBench172
7.4 本章小结176
第8章 BDAS简介177
8.1 SQL on Spark177
8.1.1 使用Spark SQL的原因178
8.1.2 Spark SQL架构分析179
8.1.3 Shark简介182
8.1.4 Hive on Spark184
8.1.5 未来展望185
8.2 Spark Streaming185
8.2.1 Spark Streaming简介186
8.2.2 Spark Streaming架构188
8.2.3 Spark Streaming原理剖析189
8.2.4 Spark Streaming调优198
8.2.5 Spark Streaming实例198
8.3 GraphX205
8.3.1 GraphX简介205
8.3.2 GraphX的使用206
8.3.3 GraphX架构209
8.3.4 运行实例211
8.4 MLlib215
8.4.1 MLlib简介217
8.4.2 MLlib的数据存储219
8.4.3 数据转换为向量（向量空间模型VSM）222
8.4.4 MLlib中的聚类和分类223
8.4.5 算法应用实例228
8.4.6 利用MLlib进行电影推荐230
8.5 本章小结237
第9章 Spark性能调优238
9.1 配置参数238
9.2 调优技巧239
9.2.1 调度与分区优化240
9.2.2 内存存储优化243
9.2.3 网络传输优化249
9.2.4 序列化与压缩251
9.2.5 其他优化方法253
9.3 本章小结255