Kafka权威指南PDF|Epub|txt|kindle电子书版本网盘下载

Kafka权威指南PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 初识Kafka1

1.1发布与订阅消息系统1

1.1.1如何开始2

1.1.2独立的队列系统3

1.2 Kafka登场4

1.2.1消息和批次4

1.2.2模式4

1.2.3主题和分区5

1.2.4生产者和消费者5

1.2.5 broker和集群6

1.2.6多集群7

1.3为什么选择Kafka8

1.3.1多个生产者8

1.3.2多个消费者8

1.3.3基于磁盘的数据存储9

1.3.4伸缩性9

1.3.5高性能9

1.4数据生态系统9

1.5起源故事11

1.5.1 LinkedIn的问题11

1.5.2 Kafka的诞生12

1.5.3走向开源12

1.5.4命名13

1.6开始Kafka之旅13

第2章 安装Kafka14

2.1要事先行14

2.1.1选择操作系统14

2.1.2安装Java14

2.1.3安装Zookeeper15

2.2安装Kafka Broker17

2.3 broker配置18

2.3.1常规配置18

2.3.2主题的默认配置19

2.4硬件的选择23

2.4.1磁盘吞吐量23

2.4.2磁盘容量23

2.4.3内存23

2.4.4网络24

2.4.5 CPU24

2.5云端的Kafka24

2.6 Kafka集群24

2.6.1需要多少个broker25

2.6.2 broker配置25

2.6.3操作系统调优26

2.7生产环境的注意事项28

2.7.1垃圾回收器选项28

2.7.2数据中心布局29

2.7.3共享Zookeeper29

2.8总结30

第3章Kafka生产者——向Kafka写入数据31

3.1生产者概览32

3.2创建Kafka生产者33

3.3发送消息到Kafka34

3.3.1同步发送消息35

3.3.2异步发送消息35

3.4生产者的配置36

3.5序列化器39

3.5.1自定义序列化器39

3.5.2使用Avro序列化41

3.5.3在Kafka里使用Avro42

3.6分区45

3.7旧版的生产者API46

3.8总结47

第4章Kafka消费者——从Kafka读取数据48

4.1 KafkaConsumer概念48

4.1.1消费者和消费者群组48

4.1.2消费者群组和分区再均衡51

4.2创建Kafka消费者52

4.3订阅主题53

4.4轮询53

4.5消费者的配置55

4.6提交和偏移量57

4.6.1自动提交58

4.6.2提交当前偏移量59

4.6.3异步提交59

4.6.4同步和异步组合提交61

4.6.5提交特定的偏移量61

4.7 再均衡监听器62

4.8从特定偏移量处开始处理记录64

4.9如何退出66

4.10反序列化器67

4.11独立消费者——为什么以及怎样使用没有群组的消费者71

4.12旧版的消费者API71

4.13总结72

第5章 深入Kafka73

5.1集群成员关系73

5.2控制器74

5.3复制74

5.4处理请求76

5.4.1生产请求78

5.4.2获取请求78

5.4.3其他请求80

5.5物理存储81

5.5.1分区分配81

5.5.2文件管理82

5.5.3文件格式83

5.5.4索引84

5.5.5清理84

5.5.6清理的工作原理84

5.5.7被删除的事件86

5.5.8何时会清理主题86

5.9总结86

第6章 可靠的数据传递87

6.1可靠性保证87

6.2复制88

6.3 broker配置89

6.3.1复制系数89

6.3.2不完全的首领选举90

6.3.3最少同步副本91

6.4在可靠的系统里使用生产者92

6.4.1发送确认92

6.4.2配置生产者的重试参数93

6.4.3额外的错误处理94

6.5在可靠的系统里使用消费者94

6.5.1消费者的可靠性配置95

6.5.2显式提交偏移量95

6.6验证系统可靠性97

6.6.1配置验证98

6.6.2应用程序验证98

6.6.3 在生产环境监控可靠性99

6.7总结100

第7章 构建数据管道101

7.1构建数据管道时需要考虑的问题102

7.1.1及时性102

7.1.2可靠性102

7.1.3高吞吐量和动态吞吐量103

7.1.4数据格式103

7.1.5转换104

7.1.6安全性104

7.1.7故障处理能力104

7.1.8耦合性和灵活性105

7.2如何在Connect API和客户端API之间作出选择105

7.3 Kafka Connect106

7.3.1运行Connect106

7.3.2连接器示例——文件数据源和文件数据池107

7.3.3连接器示例——从MySQL到ElasticSearch109

7.3.4 深入理解Connect114

7.4 Connect之外的选择116

7.4.1用于其他数据存储的摄入框架116

7.4.2基于图形界面的ETL工具117

7.4.3流式处理框架117

7.5总结117

第8章 跨集群数据镜像118

8.1跨集群镜像的使用场景118

8.2多集群架构119

8.2.1跨数据中心通信的一些现实情况119

8.2.2 Hub和Spoke架构120

8.2.3双活架构121

8.2.4主备架构123

8.2.5延展集群127

8.3 Kaflka的MirrorMaker128

8.3.1如何配置129

8.3.2在生产环境部署MirrorMaker130

8.3.3 MirrorMaker调优132

8.4 其他跨集群镜像方案134

8.4.1优步的uReplicator134

8.4.2 Confluent的Replicator135

8.5总结135

第9章 管理Kaf ka136

9.1主题操作136

9.1.1创建主题137

9.1.2增加分区138

9.1.3删除主题138

9.1.4列出集群里的所有主题139

9.1.5列出主题详细信息139

9.2消费者群组140

9.2.1列出并描述群组140

9.2.2删除群组142

9.2.3偏移量管理142

9.3动态配置变更143

9.3.1覆盖主题的默认配置143

9.3.2覆盖客户端的默认配置145

9.3.3列出被覆盖的配置145

9.3.4移除被覆盖的配置146

9.4分区管理146

9.4.1首选的首领选举146

9.4.2修改分区副本147

9.4.3修改复制系数150

9.4.4转储日志片段151

9.4.5副本验证152

9.5消费和生产153

9.5.1控制台消费者153

9.5.2控制台生产者155

9.6客户端ACL157

9.7不安全的操作157

9.7.1移动集群控制器157

9.7.2取消分区重分配157

9.7.3移除待删除的主题158

9.7.4手动删除主题158

9.8总结159

第10章 监控Kafka160

10.1度量指标基础160

10.1.1度量指标在哪里160

10.1.2内部或外部度量161

10.1.3应用程序健康检测161

10.1.4度量指标的覆盖面161

10.2 broker的度量指标162

10.2.1非同步分区162

10.2.2 broker度量指标166

10.2.3主题和分区的度量指标173

10.2.4 Java虚拟机监控174

10.2.5操作系统监控175

10.2.6日志176

10.3客户端监控177

10.3.1生产者度量指标177

10.3.2消费者度量指标179

10.3.3配额181

10.4延时监控182

10.5端到端监控183

10.6总结183

第11章 流式处理184

11.1什么是流式处理185

11.2流式处理的一些概念186

11.2.1时间187

11.2.2状态188

11.2.3流和表的二元性188

11.2.4时间窗口189

11.3流式处理的设计模式190

11.3.1单个事件处理191

11.3.2使用本地状态191

11.3.3多阶段处理和重分区193

11.3.4使用外部查找——流和表的连接193

11.3.5流与流的连接195

11.3.6乱序的事件195

11.3.7重新处理196

11.4 Streams示例197

11.4.1字数统计197

11.4.2股票市场统计199

11.4.3填充点击事件流201

11.5 Kafka Streams的架构概览202

11.5.1构建拓扑202

11.5.2对拓扑进行伸缩203

11.5.3从故障中存活下来205

11.6流式处理使用场景205

11.7如何选择流式处理框架206

11.8总结208

附录A在其他操作系统上安装Kafka209

作者介绍214

封面介绍214