机器学习与应用PDF|Epub|txt|kindle电子书版本网盘下载

机器学习与应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 基本概念与数学知识3

第1章 机器学习简介3

1.1机器学习是什么3

1.1.1一个简单的例子3

1.1.2为什么需要机器学习5

1.2典型应用7

1.2.1语音识别7

1.2.2人脸检测8

1.2.3人机对弈9

1.2.4机器翻译10

1.2.5自动驾驶11

1.3发展历程11

1.3.1历史成就11

1.3.2当前进展12

1.4关于本书13

参考文献15

第2章 数学知识17

2.1微积分和线性代数17

2.1.1导数17

2.1.2向量与矩阵19

2.1.3偏导数与梯度21

2.1.4雅克比矩阵22

2.1.5 Hessian矩阵23

2.1.6泰勒展开24

2.1.7行列式24

2.1.8特征值与特征向量25

2.1.9奇异值分解26

2.1.10二次型26

2.1.11向量与矩阵求导26

2.2最优化方法27

2.2.1梯度下降法27

2.2.2牛顿法28

2.2.3坐标下降法29

2.2.4拉格朗日乘数法30

2.2.5凸优化30

2.2.6拉格朗日对偶34

2.2.7 KKT条件36

2.2.8拟牛顿法37

2.2.9面临的问题38

2.3概率论39

2.3.1随机事件与概率39

2.3.2条件概率39

2.3.3随机变量40

2.3.4数学期望与方差41

2.3.5随机向量41

2.3.6最大似然估计42

参考文献43

第3章 基本概念44

3.1算法分类44

3.1.1监督信号44

3.1.2分类问题与回归问题45

3.1.3判别模型与生成模型47

3.1.4强化学习47

3.2模型评价指标48

3.2.1精度与召回率48

3.2.2 ROC曲线48

3.2.3混淆矩阵50

3.2.4交叉验证50

3.3模型选择50

3.3.1过拟合与欠拟合50

3.3.2偏差与方差分解51

3.3.3正则化52

参考文献54

第二部分 主要的机器学习算法与理论57

第4章 贝叶斯分类器57

4.1贝叶斯决策57

4.2朴素贝叶斯分类器58

4.2.1离散型特征58

4.2.2连续型特征59

4.3正态贝叶斯分类器59

4.3.1训练算法59

4.3.2预测算法60

4.4实验程序61

4.5源代码分析64

4.5.1主要数据结构64

4.5.2训练函数65

4.5.3预测函数68

4.6应用70

参考文献71

第5章 决策树72

5.1树形决策过程72

5.2分类与回归树73

5.3训练算法74

5.3.1递归分裂过程74

5.3.2寻找最佳分裂74

5.3.3叶子节点值的设定77

5.3.4属性缺失问题77

5.3.5剪枝算法78

5.4实验程序79

5.5源代码分析81

5.5.1主要数据结构81

5.5.2递归分裂84

5.5.3寻找最佳分裂90

5.5.4寻找替代分裂96

5.5.5变量的重要性99

5.5.6预测算法100

5.6应用103

参考文献103

第6章 k近邻算法104

6.1基本概念104

6.2预测算法104

6.3距离定义105

6.3.1常用距离定义105

6.3.2距离度量学习106

6.4实验程序107

6.5应用109

参考文献110

第7章 数据降维111

7.1主成分分析111

7.1.1数据降维问题111

7.1.2计算投影矩阵111

7.1.3向量降维114

7.1.4向量重构114

7.2源代码分析114

7.2.1主要数据结构114

7.2.2计算投影矩阵115

7.2.3向量降维117

7.2.4向量重构117

7.3流形学习118

7.3.1局部线性嵌入119

7.3.2拉普拉斯特征映射119

7.3.3局部保持投影122

7.3.4等距映射123

7.4应用124

参考文献124

第8章 线性判别分析125

8.1用投影进行分类125

8.2投影矩阵125

8.2.1一维的情况125

8.2.2推广到高维127

8.3实验程序128

8.4源代码分析131

8.4.1主要数据结构131

8.4.2计算投影矩阵132

8.4.3向量投影135

8.4.4向量重构136

8.5应用136

参考文献137

第9章 人工神经网络138

9.1多层前馈型神经网络138

9.1.1神经元138

9.1.2网络结构139

9.1.3正向传播算法140

9.2反向传播算法141

9.2.1一个简单的例子141

9.2.2完整的算法145

9.3实验程序149

9.4理论解释152

9.4.1数学性质152

9.4.2与神经系统的关系153

9.5面临的问题153

9.5.1梯度消失153

9.5.2退化154

9.5.3局部极小值154

9.5.4鞍点154

9.6实现细节问题154

9.6.1输入值与输出值154

9.6.2网络规模155

9.6.3激活函数155

9.6.4损失函数156

9.6.5权重初始化156

9.6.6正则化156

9.6.7学习率的设定156

9.6.8动量项156

9.7源代码分析157

9.7.1主要数据结构157

9.7.2激活函数160

9.7.3权重初始化163

9.7.4训练函数164

9.7.5预测函数177

9.8应用179

参考文献180

第10章 支持向量机182

10.1线性分类器182

10.1.1线性分类器概述182

10.1.2分类间隔182

10.2线性可分的问题183

10.2.1原问题183

10.2.2对偶问题184

10.3线性不可分的问题187

10.3.1原问题187

10.3.2对偶问题187

10.4核映射与核函数190

10.5 SMO算法193

10.5.1求解子问题193

10.5.2优化变量的选择196

10.6多分类问题197

10.7实验程序198

10.8源代码分析200

10.8.1求解算法201

10.8.2主要数据结构204

10.8.3求解器211

10.9应用222

参考文献223

第11章 线性模型225

11.1 logistic回归225

11.2正则化logistic回归228

11.2.1对数似然函数228

11.2.2 L2正则化原问题229

11.2.3 L2正则化对偶问题232

11.2.4 L1正则化原问题233

11.2.5实验程序234

11.3线性支持向量机236

11.3.1 L2正则化L1-loss SVC原问题236

11.3.2 L2正则化L2-loss SVC原问题237

11.3.3 L2正则化SVC对偶问题237

11.3.4 L1正则化L2-loss SVC原问题238

11.3.5多类线性支持向量机238

11.3.6实验程序240

11.4源代码分析241

11.4.1求解的问题241

11.4.2主要数据结构241

11.4.3求解器249

11.5 softmax回归262

11.6应用263

参考文献264

第12章 随机森林266

12.1集成学习266

12.1.1随机抽样266

12.1.2 Bagging算法267

12.2随机森林概述267

12.3训练算法267

12.4变量的重要性268

12.5实验程序269

12.6源代码分析271

12.6.1主要数据结构271

12.6.2训练算法273

12.6.3预测算法282

12.7应用282

参考文献283

第13章 Boosting算法284

13.1 AdaBoost算法简介284

13.2训练算法284

13.3训练误差分析286

13.4广义加法模型288

13.5各种AdaBoost算法290

13.5.1离散型AdaBoost290

13.5.2实数型 AdaBoost292

13.5.3 LogitBoost292

13.5.4 Gentle型AdaBoost294

13.6实现细节问题294

13.6.1弱分类器的选择295

13.6.2弱分类器的数量295

13.6.3样本权重削减295

13.7实验程序295

13.8源代码分析297

13.8.1主要数据结构297

13.8.2弱分类器300

13.8.3强分类器306

13.9应用——目标检测318

13.9.1 VJ框架的原理319

13.9.2模型训练321

参考文献322

第14章 深度学习概论324

14.1机器学习面临的挑战324

14.1.1人工特征325

14.1.2机器学习算法326

14.2深度学习技术326

14.3进展与典型应用328

14.3.1计算机视觉329

14.3.2语音识别331

14.3.3自然语言处理331

14.3.4计算机图形学332

14.3.5推荐系统332

14.3.6深度强化学习333

14.4自动编码器333

14.4.1自动编码器简介333

14.4.2去噪自动编码器334

14.4.3稀疏自动编码器334

14.4.4收缩自动编码器335

14.4.5多层编码器335

14.5受限玻尔兹曼机335

14.5.1玻尔兹曼分布335

14.5.2受限玻尔兹曼机336

14.5.3训练算法338

14.5.4深度玻尔兹曼机339

14.5.5深度置信网339

参考文献339

第15章 卷积神经网络347

15.1网络结构347

15.1.1卷积层348

15.1.2池化层351

15.1.3全连接层351

15.2训练算法352

15.2.1卷积层352

15.2.2池化层355

15.2.3随机梯度下降法356

15.2.4迁移学习357

15.3典型网络357

15.3.1 LeNet-5网络357

15.3.2 AlexNet网络358

15.3.3 VGG网络359

15.3.4 GoogLeNet网络360

15.4理论分析361

15.4.1反卷积运算361

15.4.2卷积层可视化362

15.4.3理论解释364

15.5挑战与改进措施365

15.5.1卷积层365

15.5.2池化层365

15.5.3激活函数366

15.5.4损失函数366

15.5.5网络结构366

15.5.6批量归一化370

15.6实际例子371

15.6.1 LeNet-5网络371

15.6.2训练自己的模型373

15.7源代码分析374

15.7.1 Caffe简介374

15.7.2数据层376

15.7.3卷积层376

15.7.4池化层378

15.7.5神经元层378

15.7.6内积层384

15.7.7损失层386

15.7.8网络的实现——Net类396

15.7.9求解器398

15.8应用——计算机视觉413

15.8.1人脸检测414

15.8.2通用目标检测416

15.8.3人脸关键点定位425

15.8.4人脸识别425

15.8.5图像分割428

15.8.6边缘检测429

15.8.7风格迁移432

15.8.8图像增强433

15.8.9三维视觉435

15.8.10目标跟踪436

15.9应用——计算机图形学437

15.9.1几何模型438

15.9.2物理模型439

15.9.3纹理合成440

15.9.4图像彩色化441

15.9.5 HDR442

15.10应用——自然语言处理444

15.10.1文本分类444

15.10.2机器翻译444

参考文献444

第16章 循环神经网络450

16.1网络结构450

16.1.1循环层450

16.1.2输出层451

16.1.3一个简单的例子452

16.1.4深层网络452

16.2网络的训练453

16.2.1一个简单的例子453

16.2.2完整的算法455

16.3挑战与改进措施457

16.3.1梯度消失457

16.3.2长短期记忆模型458

16.3.3门控循环单元459

16.3.4双向网络459

16.4序列预测问题460

16.4.1序列标注问题460

16.4.2连接主义时序分类461

16.4.3序列到序列学习465

16.5应用——语音识别467

16.5.1语音识别问题467

16.5.2隐马尔可夫模型468

16.5.3高斯混合模型474

16.5.4 GMM-HMM框架475

16.5.5深度模型475

16.6应用——自然语言处理478

16.6.1中文分词479

16.6.2词性标注480

16.6.3命名实体识别480

16.6.4文本分类481

16.6.5自动摘要483

16.6.6机器翻译483

16.7应用——机器视觉485

16.7.1字符识别485

16.7.2目标跟踪486

16.7.3视频分析488

参考文献490

第17章 生成对抗网络494

17.1随机数据生成494

17.2生成对抗网络简介495

17.2.1生成模型495

17.2.2判别模型496

17.3模型的训练496

17.3.1目标函数496

17.3.2训练算法497

17.3.3理论分析498

17.4应用与改进499

17.4.1改进方案500

17.4.2典型应用503

参考文献505

第18章 聚类算法506

18.1问题定义506

18.2层次聚类507

18.3基于质心的算法507

18.4基于概率分布的算法508

18.5基于密度的算法512

18.5.1 DBSCAN算法512

18.5.2 OPTICS算法514

18.5.3 Mean Shift算法516

18.6基于图的算法517

18.7算法评价指标518

18.7.1内部指标518

18.7.2外部指标518

18.8应用519

参考文献519

第19章 半监督学习521

19.1问题假设521

19.1.1连续性假设521

19.1.2聚类假设521

19.1.3流形假设521

19.1.4低密度分割假设521

19.2启发式算法522

19.2.1自训练522

19.2.2协同训练522

19.3生成模型522

19.4低密度分割523

19.5基于图的算法523

19.6半监督深度学习524

参考文献525

第20章 强化学习527

20.1强化学习简介527

20.1.1问题定义527

20.1.2马尔可夫决策过程528

20.2基于动态规划的算法532

20.2.1策略迭代算法532

20.2.2价值迭代算法534

20.3蒙特卡洛算法535

20.3.1算法简介535

20.3.2状态价值函数估计536

20.3.3动作价值函数估计537

20.3.4蒙特卡洛控制537

20.4时序差分学习538

20.4.1 Sarsa算法538

20.4.2Q学习539

20.5深度强化学习540

20.5.1深度Q网络541

20.5.2策略梯度算法544

20.6应用547

参考文献547

第三部分 工程实践问题551

第21章 工程实践问题概述551

21.1实现细节问题551

21.1.1训练样本551

21.1.2特征预处理552

21.1.3模型选择552

21.1.4过拟合问题552

21.2安全性问题553

21.2.1对抗样本553

21.2.2形成原因分析555

21.3实现成本问题556

21.3.1训练样本量556

21.3.2计算与存储成本556

21.4深度模型优化557

21.4.1剪枝与编码557

21.4.2二值化网络558

21.4.3卷积核分离562

参考文献563

附录A 各种机器学习算法的总结565

附录B 梯度下降法的演化关系（见第15章）569

附录C EM算法的推导（见第18章）570