大话存储 存储系统底层架构原理极限剖析 终极版PDF|Epub|txt|kindle电子书版本网盘下载

大话存储 存储系统底层架构原理极限剖析 终极版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 混沌初开——存储系统的前世今生1

1.1 存储历史2

1.2 信息、数据和数据存储6

1.2.1 信息6

1.2.2 什么是数据7

1.2.3 数据存储8

1.3 用计算机来处理信息、保存数据9

第2章 IO大法——走进计算机IO世界11

2.1 IO的通路——总线12

2.2 计算机内部通信13

2.2.1 IO总线是否可以看作网络14

2.2.2 CPU、内存和磁盘之间通过网络来通信15

2.3 网中之网16

第3章 磁盘大挪移——磁盘原理与技术详解19

3.1 硬盘结构20

3.1.1 盘片上的数据组织21

3.1.2 硬盘控制电路简介27

3.1.3 磁盘的IO单位28

3.2 磁盘的通俗演绎29

3.3 磁盘相关高层技术31

3.3.1 磁盘中的队列技术31

3.3.2 无序传输技术32

3.3.3 几种可控磁头扫描方式概论32

3.3.4 关于磁盘缓存34

3.3.5 影响磁盘性能的因素35

3.4 硬盘接口技术36

3.4.1 IDE硬盘接口36

3.4.2 SATA硬盘接口39

3.5 SCSI硬盘接口42

3.6 磁盘控制器、驱动器控制电路和磁盘控制器驱动程序50

3.6.1 磁盘控制器50

3.6.2 驱动器控制电路50

3.6.3 磁盘控制器驱动程序50

3.7 内部传输速率和外部传输速率51

3.7.1 内部传输速率51

3.7.2 外部传输速率52

3.8 并行传输和串行传输52

3.8.1 并行传输52

3.8.2 串行传输54

3.9 磁盘的IOPS和传输带宽（吞吐量）54

3.9.1 IOPS54

3.9.2 传输宽带56

3.10 固态存储介质和固态硬盘56

3.10.1 SSD固态硬盘的硬件组成57

3.10.2 从Flash芯片读取数据的过程60

3.10.3 向Flash芯片中写入数据的过程61

3.10.4 Flash芯片的通病63

3.10.5 NAND与NOR64

3.10.6 SSD给自己开的五剂良药65

3.10.7 SSD如何处理Cell损坏68

3.10.8 SSD的前景68

3.11 Memblaze闪存产品介绍69

3.11.1 技术能力70

3.11.2 产品能力73

3.12 小结：网中有网，网中之网75

第4章 七星北斗——大话/详解七种RAID77

4.1 大话七种RAID武器78

4.1.1 RAID0阵式78

4.1.2 RAID1阵式80

4.1.3 RAID2阵式82

4.1.4 RAID3阵式85

4.1.5 RAID4阵式88

4.1.6 RAID5阵式90

4.1.7 RAID6阵式94

4.2 七种RAID技术详解96

4.2.1 RAID0技术详析99

4.2.2 RAID1技术详析100

4.2.3 RAID2技术详析102

4.2.4 RAID3技术详析104

4.2.5 RAID4技术详析106

4.2.6 RAID5技术详析109

4.2.7 RAID6技术详析113

第5章 降龙传说——RAID、虚拟磁盘、卷和文件系统实战115

5.1 操作系统中RAID的实现和配置116

5.1.1 Windows Server2003高级磁盘管理116

5.1.2 Linux下软RAID配置示例121

5.2 RAID卡123

5.3 磁盘阵列134

5.3.1 RAID50134

5.3.2 RAID10和RAID01135

5.4 虚拟磁盘136

5.4.1 RAID组的再划分136

5.4.2 同一通道存在多种类型的RAID组137

5.4.3 操作系统如何看待逻辑磁盘137

5.4.4 RAID控制器如何管理逻辑磁盘137

5.5 卷管理层138

5.5.1 有了逻辑盘就万事大吉了么？138

5.5.2 深入卷管理层140

5.5.3 Linux下配置LVM实例141

5.5.4 卷管理软件的实现143

5.5.5 低级VM和高级VM144

5.5.6 VxVM卷管理软件配置简介146

5.6 大话文件系统149

5.6.1 成何体统——没有规矩的仓库149

5.6.2 慧眼识人——交给下一代去设计150

5.6.3 无孔不入——不浪费一点空间150

5.6.4 一箭双雕——一张图解决两个难题151

5.6.5 宽容似海——设计也要像心胸一样宽153

5.6.6 老将出马——权威发布153

5.6.7 一统江湖——所有操作系统都在用154

5.7 文件系统中的IO方式154

第6章 阵列之行——大话磁盘阵列157

6.1 初露端倪——外置磁盘柜应用探索158

6.2 精益求精——结合RAID卡实现外置磁盘阵列159

6.3 独立宣言——独立的外部磁盘阵列161

6.4 双龙戏珠——双控制器的高安全性磁盘阵列163

6.5 龙头凤尾——连接多个扩展柜165

6.6 锦上添花——完整功能的模块化磁盘阵列166

6.7 一脉相承——主机和磁盘阵列本是一家167

6.8 天罗地网——SAN169

第7章 熟读宝典——系统与系统之间的语言OSI171

7.1 人类模型与计算机模型的对比剖析172

7.1.1 人类模型172

7.1.2 计算机模型173

7.1.3 个体间交流是群体进化的动力174

7.2 系统与系统之间的语言——OSI初步174

7.3 OSI模型的七个层次176

7.3.1 应用层176

7.3.2 表示层176

7.3.3 会话层176

7.3.4 传输层177

7.3.5 网络层177

7.3.6 数据链路层178

7.3.7 物理层181

7.4 OSI与网络182

第8章 勇破难关——Fibre Channel协议详解185

8.1 FC网络——极佳的候选角色186

8.1.1 物理层186

8.1.2 链路层186

8.1.3 网络层188

8.1.4 传输层194

8.1.5 上三层195

8.1.6 小结195

8.2 FC协议中的七种端口类型196

8.2.1 N端口和F端口196

8.2.2 L端口196

8.2.3 NL端口和FL端口197

8.2.4 E端口199

8.2.5 G端口199

8.3 FC适配器200

8.4 改造盘阵前端通路——SCSI迁移到FC201

8.5 引入FC之后202

8.6 多路径访问目标206

8.7 FC交换网络节点4次Login过程简析210

第9章 天翻地覆——FC协议的巨大力量211

9.1 FC交换网络替代并行SCSI总线的必然性212

9.1.1 面向连接与面向无连接212

9.1.2 串行和并行213

9.2 不甘示弱——后端也升级换代为FC213

9.3 FC革命——完整的盘阵解决方案215

9.3.1 FC磁盘接口结构215

9.3.2 一个磁盘同时连入两个控制器的Loop中216

9.3.3 共享环路还是交换——SBOD芯片级详解217

9.4 SAS大革命228

9.4.1 SAS物理层228

9.4.2 SAS链路层230

9.4.3 SAS网络层232

9.4.4 SAS传输层和应用层234

9.4.5 SAS的应用设计和实际应用示例237

9.4.6 SAS目前的优势和面临的挑战238

9.5 中高端磁盘阵列整体架构简析239

9.5.1 IBM DS4800和DS5000控制器架构简析240

9.5.2 NetApp FAS系列磁盘阵列控制器简析249

9.5.3 IBM DS8000简介250

9.5.4 富士通ETERNUS DX8000磁盘阵列控制器结构简析251

9.5.5 EMC公司Clariion CX/CX3及DMX系列盘阵介绍254

9.5.6 HDS公司AMS2000和USP系列盘阵介绍260

9.5.7 HP公司MSA2000和EVA8000存储系统架构简介264

9.5.8 传统磁盘阵列架构总结265

9.6 磁盘阵列配置实践266

9.6.1 基于IBM的DS4500盘阵的配置实例266

9.6.2 基于EMC的CX700磁盘阵列配置实例272

9.7 HBA卡逻辑架构详析与SAN Boot示例275

9.7.1 HBA卡逻辑架构275

9.7.2 支持Boot的HBA卡访问流程277

9.8 国产中高端FC磁盘阵列280

9.8.1 Infortrend中低端ESDS系列存储系统281

9.8.2 Infortrend中高端ESVA系列存储系统284

9.8.3 Infortrend存储软件特性及配置界面284

9.9 小结287

第10章 三足鼎立——DAS、SAN和NAS289

10.1 NAS也疯狂290

10.1.1 另辟蹊径——乱谈NAS的起家290

10.1.2 双管齐下——两种方式访问的后端存储网络293

10.1.3 万物归一——网络文件系统293

10.1.4 美其名曰——NAS302

10.2 龙争虎斗——NAS与SAN之争303

10.2.1 SAN快还是NAS快303

10.2.2 SAN好还是NAS好305

10.2.3 与SAN设备的通信过程305

10.2.4 与NAS设备的通信过程306

10.2.5 文件提供者307

10.2.6 NAS的本质308

10.3 DAS、SAN和NAS308

10.4 最终幻想——将文件系统语言承载于FC网络传输309

10.5 长路漫漫——存储系统架构演化过程309

10.5.1 第一阶段：全整合阶段310

10.5.2 第二阶段：磁盘外置阶段310

10.5.3 第三阶段：外部独立磁盘阵列阶段310

10.5.4 第四阶段：网络化独立磁盘阵列阶段310

10.5.5 第五阶段：瘦服务器主机、独立NAS阶段311

10.5.6 第六阶段：全分离式阶段311

10.5.7 第七阶段：统一整合阶段312

10.5.8 第八阶段：迅速膨胀阶段312

10.5.9 第九阶段：收缩阶段313

10.5.10 第十阶段：强烈坍缩阶段313

10.6 泰山北斗——NetApp的NAS产品314

10.6.1 WAFL配合RAID4314

10.6.2 Data ONTAP利用了数据库管理系统的设计315

10.6.3 利用NVRAM来记录操作日志315

10.6.4 WAFL从不覆写数据316

10.7 初露锋芒——BlueArc公司的NAS产品316

10.8 宝刀未老——Infortrend公司NAS产品318

第11章 大师之作——大话以太网和TCP/IP协议321

11.1 共享总线式以太网322

11.1.1 连起来322

11.1.2 找目标322

11.1.3 发数据323

11.2 网桥式以太网324

11.3 交换式以太网325

11.4 TCP/IP协议326

11.4.1 TCP/IP协议中的IP326

11.4.2 IP的另外一个作用327

11.4.3 TCP/IP协议中的TCP和UDP327

11.5 TCP/IP和以太网的关系330

第12章 异军突起——存储网络的新军IP SAN331

12.1 横眉冷对——TCP/IP与FC332

12.2 自叹不如——为何不是以太网+TCP/IP332

12.3 天生我才必有用——攻陷Disk SAN阵地333

12.4 iSCSI交互过程简析334

12.4.1 实例一：初始化磁盘过程334

12.4.2 实例二：新建一个文本文档337

12.4.3 实例三：文件系统位图340

12.5 iSCSI磁盘阵列342

12.6 IP SAN343

12.7 增强以太网和TCP/IP的性能344

12.8 FC SAN节节败退346

12.9 iSCSI配置应用实例346

12.9.1 第一步：在存储设备上创建LUN346

12.9.2 第二步：在主机端挂载LUN349

12.10 iSCSI卡Boot配置示例351

12.11 10Gb以太网的威力初显352

12.12 小结353

第13章 握手言和——IP与FC融合的结果355

13.1 FC的窘境356

13.2 协议融合的迫切性357

13.3 网络通信协议的四级结构360

13.4 协议融合的三种方式362

13.5 Tunnel和Map融合方式各论362

13.5.1 Tunnel方式363

13.5.2 Map方式364

13.6 FC与IP协议之间的融合366

13.7 无处不在的协议融合367

13.8 交叉融合367

13.9 IFCP和FCIP的具体实现368

13.10 局部隔离/全局共享的存储网络370

13.11 多协议混杂的存储网络371

13.12 IP Over FC372

13.13 FCoE374

13.13.1 FCoE的由来374

13.13.2 FcoE的设计框架374

13.13.3 FcoE卡375

13.13.4 FCoE交换机376

13.13.5 解剖FCoE交换机377

13.13.6 存储阵列设备端的改动380

13.13.7 FCoE与iSCSI380

13.13.8 FCoE的前景380

13.13.9 Open FCoE381

第14章 变幻莫测——虚拟化383

14.1 操作系统对硬件的虚拟化384

14.2 计算机存储子系统的虚拟化385

14.3 带内虚拟化和带外虚拟化389

14.4 硬网络与软网络392

14.5 用多台独立的计算机模拟成一台虚拟计算机393

14.6 用一台独立的计算机模拟出多台虚拟计算机393

14.7 用磁盘阵列来虚拟磁带库394

14.8 用控制器来虚拟其他磁盘阵列402

14.9 飞康NSS存储虚拟化系统404

14.9.1 存储虚拟化相关技术405

14.9.2 数据保护相关技术和产品409

14.9.3 异构迁移和容灾相关技术和产品409

第15章 众志成城——存储集群413

15.1 集群概述414

15.1.1 高可用性集群（HAC）414

15.1.2 负载均衡集群（LBC）414

15.1.3 高性能集群（HPC）414

15.2 集群的适用范围415

15.3 系统路径上的集群各论415

15.3.1 硬件层面的集群415

15.3.2 软件层面的集群416

15.4 实例：Microsoft MSCS软件实现应用集群417

15.4.1 在Microsoft Windows Server2003上安装MSCS417

15.4.2 配置心跳网络419

15.4.3 测试安装419

15.4.4 测试故障转移420

15.5 实例：SQL Server集群安装配置420

15.5.1 安装SQL Server420

15.5.2 验证SQL数据库集群功能423

15.6 块级集群存储系统425

15.6.1 IBM XIV集群存储系统427

15.6.2 3PAR公司Inserv-T800集群存储系统436

15.6.3 EMC公司Symmetrix V-MAX集群存储系统439

15.7 集群NAS系统和集群文件系统446

15.7.1 HP公司的Ibrix集群NAS系统446

15.7.2 Panasas和pNFS449

15.7.3 此“文件系统”非彼“文件系统”450

15.7.4 什么是Single Name Space451

15.7.5 Single Filesystem Image与Single Path Image452

15.7.6 集群中的分布式锁机制453

15.7.7 集群文件系统的缓存一致性454

15.7.8 集群NAS的本质455

15.7.9 块级集群与NAS集群的融合猜想456

15.8 对象存储系统456

15.9 当前主流的集群文件系统架构分类与对比462

15.9.1 共享与非共享存储型集群462

15.9.2 对称式与非对称式集群463

15.9.3 自助型与服务型集群464

15.9.4 SPI与SFI型集群465

15.9.5 串行与并行集群466

15.9.6 集群/并行/分布式/共享文件系统各论467

15.9.7 集群NAS系统的三层架构468

15.9.8 实际中的各种集群拓扑一览468

15.10 带外共享SAN文件系统471

15.10.1 SAN共享文件系统471

15.10.2 针对NAS和SAN文件系统的并行化改造472

15.10.3 SAN FS实例分析473

15.11 集群的本质——一种自组自控轮回的Raid475

15.11.1 三统理论476

15.11.2 并行的不仅可以是文件478

15.11.3 集群底层与上层解耦479

15.11.4 云基础架构480

15.12 纯软Scale-Out SAN480

15.13 互联网运营商的特殊集群——NoSQL481

第16章 未雨绸缪——数据保护和备份技术485

16.1 数据保护486

16.1.1 文件级备份486

16.1.2 块级备份487

16.2 高级数据保护方法487

16.2.1 远程文件复制487

16.2.2 远程磁盘（卷）镜像487

16.2.3 快（块）照数据保护488

16.2.4 卷Clone516

16.2.5 Continuous Data Protect（CDP，连续数据保护）522

16.2.6 VSS公共快照服务566

16.2.7 快照、克隆、CDP与平行宇宙567

16.2.8 高帧率IO级数据录像568

16.3 数据备份系统的基本要件576

16.3.1 备份目标576

16.3.2 备份通路579

16.3.3 备份引擎581

16.3.4 三种备份方式585

16.3.5 数据备份系统案例一586

16.3.6 数据备份系统案例二587

16.3.7 NetBackup配置指南588

16.3.8 配置DB2数据库备份599

16.4 与业务应用相结合的快照备份和容灾606

第17章 愚公移山——大话数据容灾609

17.1 容灾概述610

17.2 生产资料容灾——原始数据的容灾611

17.2.1 通过主机软件实现前端专用网络或者前端公用网络同步612

17.2.2 案例：DB2数据的HADR组件容灾615

17.2.3 通过主机软件实现后端专用网络同步621

17.2.4 通过数据存储设备软件实现专用网络同步625

17.2.5 案例：IBM公司Remote Mirror容灾实施626

17.2.6 小结629

17.3 容灾中数据的刚步复制和异步复制630

17.3.1 同步复制例解630

17.3.2 异步复制例解631

17.4 容灾系统数据一致性保证与故障恢复机制632

17.4.1 数据一致性问题的产生632

17.4.2 对异步数据复制过程中一致性保证的实现方式634

17.4.3 灾难后的切换与回切同步过程645

17.4.4 周期性异步复制与连续异步复制646

17.5 四大厂商的数据容灾系统方案概述646

17.5.1 IBM公司的PPRC646

17.5.2 EMC公司的MirrorView、SanCopy和SRDF647

17.5.3 HDS公司的Truecopy649

17.5.4 NetApp公司的Snapmirror649

17.6 生产者的容灾——服务器应用程序的容灾650

17.6.1 生产者容灾概述651

17.6.2 案例一：基于symantec公司的应用容灾产品VCS①655

17.6.3 案例二：基于symantec公司的应用容灾产品VCS②658

17.7 虚拟容灾技术660

17.8 一体化先行军——爱数一体化备份存储柜660

17.8.1 爱数备份存储柜3.5产品架构分析661

17.8.2 爱数备份存储柜v3.5独特技术663

17.8.3 国产存储的方向665

17.9 Infortrend RR远程复制技术666

17.10 飞康RecoverTrac容灾管理系统667

17.11 带宽、延迟及其影响674

第18章 鬼斧神工——数据前处理与后处理677

18.1 数据存储和数据管理678

18.2 存储系统之虚实阴阳论678

18.3 Data Cooker各论679

18.3.1 Thin Provision/Over Allocation679

18.3.2 LUN Space Reclaiming（Unprovision/Deprovision，Get Thin）686

18.3.3 Tier（分级）/Migrating（迁移）689

18.3.4 Deduplication（重复数据删除）721

18.3.5 磁盘数据一致性保护及错误恢复736

第19章 过关斩将——系统IO路径及优化745

19.1 理解并记忆主机端IO路径架构图747

19.1.1 应用程序层748

19.1.2 文件系统层787

19.1.3 卷管理层795

19.1.4 层与层之间的调度员：IO Manager806

19.1.5 底层设备驱动层814

19.2 理解并记忆存储端IO路径架构图843

19.2.1 物理磁盘层843

19.2.2 物理磁盘组织层844

19.2.3 后端磁盘控制器/适配器层845

19.2.4 RAID管理层845

19.2.5 LUN管理层848

19.2.6 前端接口设备及驱动层856

19.2.7 缓存管理层856

19.2.8 数据前处理和后处理层865

19.2.9 存储系统处理一个IO的一般典型流程865

19.3 IO性能问题诊断总论866

19.3.1 所谓“优化”的含义867

19.3.2 如何发现系统症状868

19.3.3 六剂良药治愈IO性能低下868

19.3.4 面向SSD的IO处理过程优化873

19.4 小结：再论机器世界与人类世界874

第20章 腾云驾雾——大话云存储875

20.1 太始之初——“云”的由来876

20.1.1 观点1：云即设备876

20.1.2 观点2：云即集群877

20.1.3 观点3：云即IT系统877

20.1.4 观点4：云即服务877

20.1.5 云目前最主流的定义878

20.2 混沌初开——是谁催生了云878

20.2.1 一切皆以需求为导向878

20.2.2 云对外表现为一种商业模式879

20.3 落地生根——以需求为导向的系统架构变化880

20.3.1 云对内表现为一种技术架构880

20.3.2 云到底是模式还是技术882

20.3.3 公有云和私有云883

20.4 拨云见日——云系统架构及其组成部分885

20.4.1 物理支撑层885

20.4.2 基础IT架构层885

20.4.3 基础架构/集群管理层886

20.4.4 资源部署层886

20.4.5 中间件层886

20.4.6 应用引擎层887

20.4.7 业务展现与运营层887

20.5 真相大白——实例说云889

20.5.1 3Tera Applogic889

20.5.2 IBM Blue Could898

20.6 乘风破浪——困难还是非常多的903

20.6.1 云的优点903

20.6.2 云目前存在的问题904

20.7 千年之梦——云今后的发展905

20.7.1 云本质思考905

20.7.2 身边的各种云服务907

20.7.3 进化还是退化908

20.7.4 云发展展望908

20.7.5 Micro、Mini、Normal、Huge、Gird弹性数据中心909

20.7.6 弹性层的出现将会让数据中心拥有两套性能指标910

20.8 尘埃落定——云所体现出来的哲学思想911

20.8.1 轮回往复——云的哲学形态911

20.8.2 智慧之云——云的最终境界911

20.8.3 云在哲学上所具有的性质912

20.8.4 云基础架构的艺术与哲学意境912

20.8.5 纵观存储发展时代——云发展预测914

20.9 结束语917

附录1 存储系统问与答精华集锦919

附录2 IP硬盘——玩玩还是来真的？979

附录3 新技术将如何影响数据中心存储系统983

后记989