Hadoop技术内幕 深入解析YARN架构设计与实现原理PDF|Epub|txt|kindle电子书版本网盘下载

Hadoop技术内幕 深入解析YARN架构设计与实现原理PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 准备篇2

第1章 环境准备2

1.1准备学习环境2

1.1.1基础软件下载2

1.1.2如何准备Linux环境3

1.2获取Hadoop源代码5

1.3搭建Hadoop源代码阅读环境5

1.3.1创建Hadoop工程5

1.3.2 Hadoop源代码阅读技巧8

1.4 Hadoop源代码组织结构10

1.5 Hadoop初体验12

1.5.1搭建Hadoop环境12

1.5.2 Hadoop Shell介绍15

1.6编译及调试Hadoop源代码16

1.6.1编译Hadoop源代码17

1.6.2调试Hadoop源代码18

1.7小结20

第2章YARN设计理念与基本架构21

2.1 YARN产生背景21

2.1.1 MRvl的局限性21

2.1.2轻量级弹性计算平台22

2.2 Hadoop基础知识23

2.2.1术语解释23

2.2.2 Hadoop版本变迁25

2.3 YARN基本设计思想29

2.3.1基本框架对比29

2.3.2编程模型对比30

2.4 YARN基本架构31

2.4.1 YARN基本组成结构32

2.4.2 YARN通信协议34

2.5 YARN工作流程35

2.6多角度理解YARN36

2.6.1并行编程36

2.6.2资源管理系统36

2.6.3云计算37

2.7本书涉及内容38

2.8小结38

第二部分YARN核心设计篇40

第3章YARN基础库40

3.1概述40

3.2第三方开源库41

3.2.1 Protocol Buffers41

3.2.2 Apache Avro43

3.3底层通信库46

3.3.1 RPC通信模型46

3.3.2 Hadoop RPC的特点概述48

3.3.3 RPC总体架构48

3.3.4 Hadoop RPC使用方法49

3.3.5 Hadoop RPC类详解51

3.3.6 Hadoop RPC参数调优57

3.3.7 YARN RPC实现57

3.3.8 YARN RPC应用实例61

3.4服务库与事件库65

3.4.1服务库66

3.4.2事件库66

3.4.3 YARN服务库和事件库的使用方法68

3.4.4事件驱动带来的变化70

3.5状态机库72

3.5.1 YARN状态转换方式72

3.5.2状态机类73

3.5.3状态机的使用方法73

3.5.4状态机可视化76

3.6源代码阅读引导76

3.7小结77

3.8问题讨论77

第4章YARN应用程序设计方法78

4.1概述78

4.2客户端设计79

4.2.1客户端编写流程80

4.2.2客户端编程库84

4.3 ApplicationMaster设计84

4.3.1 ApplicationMaster编写流程84

4.3.2 ApplicationMaster编程库92

4.4 YARN应用程序实例95

4.4.1 DistributedShell95

4.4.2 Unmanaged AM99

4.5源代码阅读引导100

4.6小结100

4.7问题讨论100

第5章 ResourceManager剖析102

5.1概述102

5.1.1 ResourceManager基本职能102

5.1.2 ResourceManager内部架构103

5.1.3 ResourceManager事件与事件处理器106

5.2用户交互模块108

5.2.1 ClientRMService108

5.2.2 AdminService109

5.3 ApplicationMaster管理109

5.4 NodeManager管理112

5.5 Application管理113

5.6状态机管理114

5.6.1 RMApp状态机115

5.6.2 RMAppAttempt状态机119

5.6.3 RMContainer状态机123

5.6.4 RMNode状态机127

5.7几个常见行为分析129

5.7.1启动ApplicationMaster129

5.7.2申请与分配Container132

5.7.3杀死Application134

5.7.4 Container超时135

5.7.5 ApplicationMaster超时138

5.7.6 NodeManager超时138

5.8安全管理139

5.8.1术语介绍139

5.8.2 Hadoop认证机制139

5.8.3 Hadoop授权机制142

5.9容错机制144

5.9.1 Hadoop HA基本框架145

5.9.2 YARN HA实现148

5.10源代码阅读引导149

5.11小结151

5.12问题讨论152

第6章 资源调度器153

6.1资源调度器背景153

6.2 HOD调度器154

6.2.1 Torque资源管理器154

6.2.2 HOD作业调度155

6.3 YARN资源调度器的基本架构157

6.3.1基本架构157

6.3.2资源表示模型160

6.3.3资源调度模型161

6.3.4资源抢占模型164

6.4 YARN层级队列管理机制169

6.4.1层级队列管理机制169

6.4.2队列命名规则171

6.5 Capacity Scheduler172

6.5.1 Capacity Scheduler的功能172

6.5.2 Capacity Scheduler实现176

6.6 Fair Scheduler179

6.6.1 Fair Scheduler功能介绍180

6.6.2 Fair Scheduler实现182

6.6.3 Fair Scheduler与Capacity Scheduler对比183

6.7其他资源调度器介绍184

6.8源代码阅读引导185

6.9小结186

6.10问题讨论187

第7章NodeManager剖析188

7.1概述188

7.1.1 NodeManager基本职能188

7.1.2 NodeManager内部架构190

7.1.3 NodeManager事件与事件处理器193

7.2节点健康状况检测194

7.2.1自定义Shell脚本194

7.2.2检测磁盘损坏数目196

7.3分布式缓存机制196

7.3.1资源可见性与分类198

7.3.2分布式缓存实现200

7.4目录结构管理203

7.4.1数据目录管理203

7.4.2日志目录管理203

7.5状态机管理206

7.5.1 Application状态机207

7.5.2 Container状态机210

7.5.3 LocalizedResource状态机213

7.6 Container生命周期剖析214

7.6.1 Container资源本地化214

7.6.2 Container运行218

7.6.3 Container资源清理222

7.7资源隔离224

7.7.1 Cgroups介绍224

7.7.2内存资源隔离228

7.7.3 CPU资源隔离230

7.8源代码阅读引导234

7.9小结235

7.10问题讨论236

第三部分 计算框架篇238

第8章 离线计算框架MapReduce238

8.1概述238

8.1.1基本构成238

8.1.2事件与事件处理器240

8.2 MapReduce客户端241

8.2.1 ApplicationClientProtocol协议242

8.2.2 MRClientProtocol协议243

8.3 MRAppMaster工作流程243

8.4 MR作业生命周期及相关状态机246

8.4.1 MR作业生命周期246

8.4.2 Job状态机249

8.4.3 Task状态机253

8.4.4 TaskAttempt状态机255

8.5资源申请与再分配259

8.5.1资源申请259

8.5.2资源再分配262

8.6 Container启动与释放263

8.7推测执行机制264

8.7.1算法介绍265

8.7.2推测执行相关类266

8.8作业恢复267

8.9数据处理引擎269

8.10历史作业管理器271

8.11 MRvl与MRv2对比273

8.11.1 MRv1 On YARN273

8.11.2 MRv1与MRv2架构比较274

8.11.3 MRv1与MRv2编程接口兼容性274

8.12源代码阅读引导275

8.13小结277

8.14问题讨论277

第9章DAG计算框架Tez278

9.1背景278

9.2 Tez数据处理引擎281

9.2.1 Tez编程模型281

9.2.2 Tez数据处理引擎282

9.3 DAG Master实现284

9.3.1 DAG编程模型284

9.3.2 MR到 DAG转换286

9.3.3 DAGAppMaster288

9.4优化机制291

9.4.1当前YARN框架存在的问题291

9.4.2 Tez引入的优化技术292

9.5 Tez应用场景292

9.6与其他系统比较294

9.7小结295

第10章 实时/内存计算框架Storm/Spark296

10.1 Hadoop MapReduce的短板296

10.2实时计算框架Storm296

10.2.1 Storm编程模型297

10.2.2 Storm基本架构302

10.2.3 Storm On YARN304

10.3内存计算框架Spark307

10.3.1 Spark编程模型308

10.3.2 Spark基本架构312

10.3.3 Spark On YARN316

10.3.4 Spark/Storm On YARN比较317

10.4小结317

第四部分 高级篇320

第11章Facebook Corona剖析320

11.1概述320

11.1.1 Corona的基本架构320

11.1.2 Corona的RPC协议与序列化框架322

11.2 Corona设计特点323

11.2.1推式网络通信模型323

11.2.2基于Hadoop 0.20版本324

11.2.3使用Thrift324

11.2.4深度集成Fair Scheduler324

11.3工作流程介绍324

11.3.1作业提交325

11.3.2资源申请与任务启动326

11.4主要模块介绍327

11.4.1 ClusterManager327

11.4.2 CoronaJobTracker330

11.4.3 CoronaTaskTracker333

11.5小结335

第12章Apache Mesos剖析336

12.1概述336

12.2底层网络通信库337

12.2.1 libprocess基本架构338

12.2.2一个简单示例338

12.3 Mesos服务340

12.3.1 SchedulerProcess341

12.3.2 Mesos Master342

12.3.3 Mesos Slave343

12.3.4 ExecutorProcess343

12.4 Mesos工作流程344

12.4.1框架注册过程344

12.4.2 Framework Executor注册过程345

12.4.3资源分配到任务运行过程345

12.4.4任务启动过程347

12.4.5任务状态更新过程347

12.5 Mesos资源分配策略348

12.5.1 Mesos资源分配框架349

12.5.2 Mesos资源分配算法349

12.6 Mesos容错机制350

12.6.1 Mesos Master容错350

12.6.2 Mesos Slave容错351

12.7 Mesos应用实例352

12.7.1 Hadoop On Mesos352

12.7.2 Storm On Mesos353

12.8 Mesos与YARN对比354

12.9小结355

第13章YARN总结与发展趋势356

13.1资源管理系统设计动机356

13.2资源管理系统架构演化357

13.2.1集中式架构357

13.2.2双层调度架构358

13.2.3共享状态架构358

13.3 YARN发展趋势359

13.3.1 YARN自身的完善359

13.3.2以YARN为核心的生态系统361

13.3.3 YARN周边工具的完善363

13.4小结363

附录A YARN安装指南364

附录B YARN配置参数介绍367

附录C Hadoop Shell命令介绍371

附录D参考资料374