大数据技术与应用PDF|Epub|txt|kindle电子书版本网盘下载

大数据技术与应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据概述1

1.1 什么是大数据1

1.1.1 大数据的定义2

1.1.2 用3V描述大数据的特征3

1.1.3 广义的大数据6

1.2 大数据的结构类型7

1.3 大数据的发展8

1.3.1 硬件性价比提高与软件技术进步8

1.3.2 云计算的普及9

1.3.3 大数据作为BI的进化形式10

1.3.4 从交易数据分析到交互数据分析11

1.4 大数据技术的意义12

1.5 延伸阅读：得数据者得天下12

1.6 实验与思考：了解大数据及其在线支持14

第2章 大数据的行业应用17

2.1 奥巴马的竞选大数据17

2.2 大都市的智能交通18

2.3 互联网企业对大数据的运用20

2.4 互联网竞拍公司eBay22

2.4.1 超乎寻常的数据产生速度23

2.4.2 eBay的数据分析基础架构24

2.5 游戏分析公司Zynga25

2.5.1 社交游戏经济的重要指标25

2.5.2 提高病毒系数的方法26

2.5.3 数据驱动游戏26

2.5.4 三次点击法则26

2.6 延伸阅读：大数据正在改变汽车保险27

2.7 实验与思考：熟悉大数据应用28

第3章 大数据的基础设施31

3.1 云端大数据31

3.1.1 什么是云计算31

3.1.2 云计算的服务形式32

3.1.3 云计算与大数据33

3.1.4 云基础设施34

3.1.5 云平台35

3.2 计算虚拟化36

3.3 存储虚拟化（大数据存储）37

3.3.1 传统存储系统时代37

3.3.2 大数据时代的新挑战38

3.3.3 分布式存储39

3.3.4 云存储及存储虚拟化40

3.3.5 大数据存储的其他需求及特点41

3.4 网络虚拟化42

3.4.1 网卡虚拟化42

3.4.2 虚拟交换机42

3.4.3 接入层的虚拟化43

3.4.4 覆盖网络虚拟化43

3.4.5 软件定义的网络（SDN）44

3.4.6 对大数据处理的意义44

3.5 云环境基础架构的安全45

3.6 延伸阅读：用云数据提高农业产量并做出决策45

3.7 实验与思考：了解大数据的基础设施47

第4章 大数据技术基础50

4.1 技术进步与摩尔定律50

4.2 大数据的技术架构51

4.3 大数据的运用形式52

4.4 大数据运用模式的分类54

4.4.1 个别优化·批处理型55

4.4.2 个别优化·实时型56

4.4.3 整体优化·批处理型56

4.4.4 整体优化·实时型56

4.5 大数据的运用级别57

4.5.1 对过去／现状的把握57

4.5.2 发现模式57

4.5.3 预测58

4.5.4 优化58

4.6 大数据运用的真正价值59

4.7 相关的大数据技术59

4.7.1 神经网络60

4.7.2 自然语言处理61

4.7.3 语义检索61

4.7.4 链接挖掘62

4.7.5 A/B测试63

4.8 延伸阅读：高科技促使大数据互联网金融步入快车道63

4.9 实验与思考：熟悉大数据的技术基础67

第5章 Hadoop分布式架构69

5.1 什么是分布式系统69

5.2 什么是Hadoop70

5.2.1 Hadoop的由来70

5.2.2 Hadoop的优势72

5.2.3 Hadoop的发行版本72

5.2.4 发行版本众多的原因74

5.3 Hadoop架构元素74

5.4 Hadoop集群系统76

5.5 Hadoop开源实现76

5.6 Hadoop信息安全77

5.7 Hadoop考试认证与开源社区78

5.8 延伸阅读：有一家大数据公司声称要做地球的操作系统78

5.9 实验与思考：什么是Hadoop79

第6章 大数据管理81

6.1 大数据的数据处理基础81

6.2 大数据事务处理（OLTP）82

6.2.1 传统OLTP系统82

6.2.2 NoSQL83

6.2.3 NewSQL89

6.3 大数据分析处理（OLAP）93

6.3.1 OLAP与数据立方体93

6.3.2 分布式大规模批量处理（MapReduce/Hadoop）96

6.3.3 Hadoop HDFS分布式文件系统96

6.3.4 MapReduce计算模型97

6.3.5 MPP数据库97

6.3.6 分析型数据库的特征97

6.4 流数据管理（实时数据处理）98

6.5 自行开发流数据处理技术99

6.6 延伸阅读：“大数据时代预言家”提醒学校规避“数据独裁”100

6.7 实验与思考：了解大数据管理技术101

第7章 大数据分析104

7.1 数据分析的演变104

7.1.1 数据分析的商业驱动力104

7.1.2 数据分析环境的演变105

7.1.3 传统分析架构106

7.2 大数据分析平台107

7.2.1 敏捷计算平台107

7.2.2 线性扩展能力108

7.2.3 全方位、遍布式、协作性用户体验110

7.3 大数据与数据挖掘111

7.3.1 什么是数据挖掘112

7.3.2 数据挖掘解决的商业问题113

7.4 数据挖掘的高级分析方法114

7.4.1 分类115

7.4.2 聚类分析115

7.4.3 关联规则116

7.4.4 回归分析117

7.4.5 预测118

7.4.6 序列分析119

7.4.7 偏差分析119

7.5 数据挖掘项目的生命周期120

7.5.1 商业问题的形成120

7.5.2 数据收集120

7.5.3 数据清理和转换120

7.5.4 模型构建121

7.5.5 模型评估121

7.5.6 报告和预测122

7.5.7 应用集成122

7.5.8 模型管理122

7.6 大数据可视化122

7.6.1 数据可视化的运用123

7.6.2 可视化对认知的帮助124

7.6.3 七个数据类型125

7.6.4 七个基本任务127

7.6.5 数据可视化的挑战128

7.7 延伸阅读：什么是大数据分析做不了的？129

7.8 实验与思考：了解大数据分析技术130

第8章 人工智能与机器学习134

8.1 什么是人工智能134

8.1.1 人工智能的定义135

8.1.2 数据的相关性135

8.1.3 大数据中的因果关系136

8.2 机器学习及其研究138

8.2.1 什么是机器学习139

8.2.2 基本结构140

8.2.3 研究领域141

8.3 机器学习的分类141

8.3.1 基于学习策略的分类141

8.3.2 基于所获取知识的表示形式的分类143

8.3.3 按应用领域分类143

8.3.4 按学习形式分类144

8.4 延伸阅读：ZestFinance公司的金融风险平估144

8.5 实验与思考：了解人工智能，熟悉机器学习145

第9章 数据科学与数据科学家148

9.1 什么是数据科学148

9.2 数据分析生命周期模型149

9.2.1 模型概述149

9.2.2 阶段1：探索发现151

9.2.3 阶段2：数据准备153

9.2.4 阶段3：模型规划154

9.2.5 阶段4：模型建造155

9.2.6 阶段5：沟通结果156

9.2.7 阶段6：项目实施156

9.3 数据科学家157

9.3.1 大数据生态系统中的关键角色158

9.3.2 数据科学家所需的技能159

9.3.3 数据科学家所需的素质161

9.3.4 数据科学家的学习内容164

9.4 延伸阅读：基于技能的改善数据科学实践的方法165

9.5 实验与思考：了解数据科学，熟悉数据科学家169

第10章 开放数据的时代172

10.1 大数据时代的隐私问题172

10.1.1 隐私与创新173

10.1.2 社交化档案的是非174

10.1.3 消费者隐私权法案175

10.2 连接开放数据176

10.2.1 LOD运动177

10.2.2 对政府公开的影响178

10.2.3 创业型公司——综合气候保险179

10.3 数据市场的兴起180

10.3.1 Factual180

10.3.2 Windows Azure Marketplace180

10.3.3 Infochimps181

10.3.4 Public Data Sets On AWS181

10.4 不同的商业模式181

10.5 延伸阅读：美国几乎可监控网民所有的网络活动182

10.6 实验与思考：了解大数据时代的安全与隐私保护184

第11章 大数据发展与展望187

11.1 大数据时代的企业IT战略187

11.2 拥有原创数据的优势189

11.3 供应商企业的新商机：数据聚合商190

11.3.1 数据聚合商的作用191

11.3.2 谁能成为数据聚合商191

11.4 支付服务商向数据聚合商的演化192

11.4.1 VISA192

11.4.2 PayPal193

11.4.3 美国运通193

11.5 数据整合之妙：将原创数据变为增值数据194

11.6 大数据未来展望195

11.6.1 大数据的存储和管理195

11.6.2 传统IT系统到大数据系统的过渡196

11.6.3 大数据分析196

11.6.4 大数据安全197

11.7 延伸阅读：智能大数据分析或成热点198

11.8 课程实验总结199

11.8.1 实验的基本内容199

11.8.2 实验的基本评价201

11.8.3 课程学习能力测评201

11.8.4 大数据技术与应用实验总结202

11.8.5 实验总结评价（教师）203

参考文献204