统计学丛书 图灵数学 稀疏统计学习及其应用PDF|Epub|txt|kindle电子书版本网盘下载

统计学丛书 图灵数学 稀疏统计学习及其应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 引言1

第2章 lasso线性模型6

2.1引言6

2.2 lasso估计7

2.3交叉验证和推断10

2.4 lasso解的计算12

2.4.1基于单变量的软阈值法12

2.4.2基于多变量的循环坐标下降法13

2.4.3软阈值与正交基15

2.5自由度15

2.6 lasso解的唯一性16

2.7理论概述17

2.8非负garrote17

2.9 lq惩罚和贝叶斯估计19

2.10一些观点20

习题21

第3章 广义线性模型24

3.1引言24

3.2逻辑斯蒂回归模型26

3.2.1示例：文本分类27

3.2.2算法29

3.3多分类逻辑斯蒂回归30

3.3.1示例：手写数字31

3.3.2 算法32

3.3.3组lasso多分类33

3.4对数线性模型及泊松广义线性模型33

3.5 Cox比例风险模型35

3.5.1交叉验证37

3.5.2预验证38

3.6支持向量机39

3.7计算细节及glmnet43

参考文献注释44

习题45

第4章 广义lasso惩罚47

4.1引言47

4.2弹性网惩罚47

4.3组lasso50

4.3.1组lasso计算53

4.3.2稀疏组lasso54

4.3.3重叠组lasso56

4.4稀疏加法模型和组lasso59

4.4.1加法模型和backfitting59

4.4.2稀疏加法模型和backfitting60

4.4.3优化方法与组lasso61

4.4.4稀疏加法模型的多重惩罚64

4.5融合lasso65

4.5.1拟合融合lasso66

4.5.2趋势滤波69

4.5.3近保序回归70

4.6非凸惩罚72

参考文献注释74

习题75

第5章 优化方法80

5.1引言80

5.2凸优化条件80

5.2.1优化可微问题80

5.2.2非可微函数和次梯度83

5.3梯度下降84

5.3.1无约束的梯度下降84

5.3.2投影梯度法86

5.3.3近点梯度法87

5.3.4加速梯度方法90

5.4坐标下降92

5.4.1可分性和坐标下降93

5.4.2线性回归和lasso94

5.4.3逻辑斯蒂回归和广义线性模型97

5.5仿真研究99

5.6最小角回归100

5.7交替方向乘子法103

5.8优化-最小化算法104

5.9双凸问题和交替最小化105

5.10筛选规则108

参考文献注释111

附录A lasso的对偶112

附录B DPP规则的推导113

习题114

第6章 统计推断118

6.1贝叶斯lasso118

6.2自助法121

6.3 lasso法的后选择推断125

6.3.1协方差检验125

6.3.2选择后推断的更广方案128

6.3.3检验何种假设133

6.3.4回到向前逐步回归134

6.4通过去偏lasso推断134

6.5后选择推断的其他建议136

参考文献注释137

习题138

第7章 矩阵的分解、近似及填充141

7.1引言141

7.2奇异值分解142

7.3缺失数据和矩阵填充143

7.3.1 Netfix电影挑战赛144

7.3.2基于原子范数的矩阵填充146

7.3.3矩阵填充的理论结果149

7.3.4最大间隔分解及相关方法153

7.4减秩回归154

7.5通用矩阵回归框架156

7.6惩罚矩阵分解157

7.7矩阵分解的相加形式160

参考文献注释164

习题165

第8章 稀疏多元方法169

8.1引言169

8.2稀疏组成分分析169

8.2.1背景169

8.2.2稀疏主成分171

8.2.3秩大于1的解174

8.2.4基于Fantope投影的稀疏PCA176

8.2.5稀疏自编码和深度学习176

8.2.6稀疏PCA的一些理论178

8.3稀疏典型相关分析179

8.4稀疏线性判别分析182

8.4.1标准理论和贝叶斯规则182

8.4.2最近收缩中心183

8.4.3 Fisher线性判别分析184

8.4.4最佳评分188

8.5稀疏聚类190

8.5.1聚类的一些背景知识191

8.5.2稀疏层次聚类191

8.5.3稀疏K均值聚类192

8.5.4凸聚类193

参考文献注释195

习题196

第9章 图和模型选择202

9.1引言202

9.2图模型基础202

9.2.1分解和马尔可夫特性202

9.2.2几个例子204

9.3基于惩罚似然的图选择206

9.3.1高斯模型的全局似然性207

9.3.2图lasso算法208

9.3.3利用块对角化结构210

9.3.4图lasso的理论保证211

9.3.5离散模型的全局似然性212

9.4基于条件推断的图选择213

9.4.1高斯分布下基于近邻的似然概率214

9.4.2离散模型下基于近邻的似然概率214

9.4.3混合模型下的伪似然概率217

9.5带隐变量的图模型218

参考文献注释219

习题221

第10章 信号近似与压缩感知225

10.1引言225

10.2信号与稀疏表示225

10.2.1正交基225

10.2.2用正交基逼近228

10.2.3用过完备基来重构229

10.3随机投影与近似231

10.3.1 Johnson-Lindenstrauss近似231

10.3.2压缩感知232

10.4 l0恢复与l1恢复之间的等价性234

10.4.1受限零空间性质235

10.4.2受限零空间的充分条件235

10.4.3证明237

参考文献注释238

习题239

第11章 lasso的理论结果242

11.1引言242

11.1.1损失函数类型242

11.1.2稀疏模型类型243

11.2 lasso l2误差的界限244

11.2.1经典情形中的强凸性244

11.2.2回归受限特征值245

11.2.3基本一致性结果246

11.3预测误差的界250

11.4线性回归中的支持恢复252

11.4.1 lasso的变量选择一致性252

11.4.2定理11.3的证明256

11.5超越基础lasso259

参考文献注释260

习题261

参考文献264