Kinect应用开发实战 用最自然的方式与机器对话PDF|Epub|txt|kindle电子书版本网盘下载

Kinect应用开发实战 用最自然的方式与机器对话PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 准备篇2

引言 从科幻电影谈起2

第1章 自然人机交互技术漫谈10

1.1自然人机交互技术的发展10

1.1.1第六感设备：技术的组合创新10

1.1.2追影技术：摄像头也疯狂12

1.1.3虚拟现实：真实的体验场景13

1.1.4增强现实：真实与虚拟的叠加14

1.1.5多点触摸：信息就在指尖15

1.1.6语音识别：从ViaVoice到Siri16

1.1.7眼球跟踪：从霍金的座椅谈起17

1.1.8人脸识别：Photo DNA19

1.1.9体感操作：达·芬奇手术机器人20

1.1.10脑机界面：霍金座待的升级版20

1.2“你就是控制器”——Kinect宣言21

1.2.1 Kinect销售记录及命名来历21

1.2.2未来照进现实22

第二部分 原理篇26

第2章 揭开Kinect的神秘面纱——硬件设备解剖26

2.1两款Kinect传感器对比26

2.2 Kinect传感器的硬件组成28

2.2.1 Kinect的“心脏”——PS 1080 SoC30

2.2.2 Kinect的“三只眼”——投影机和两个摄像头32

2.2.3 Kinect的“四只耳朵”——麦克风阵列34

2.2.4会摇摆的“相控雷达”——传动马达35

2.2.5姿态控制——三轴加速度计36

2.2.6 USB接口及电源37

2.2.7 Kinect风扇控制38

2.3 Kinect相关技术规格38

2.3.1 Kinect近景模式39

2.3.2 Kinect放大镜40

2.4本章小结40

第3章Kinect工作原理大揭秘41

3.1 Kinect for Xbox 360的产品设计42

3.2基于“管道”的系统架构43

3.2.1骨骼跟踪45

3.2.2动作识别46

3.2.3人脸识别48

3.2.4语音识别49

3.3 Kinect眼里的三维世界50

3.3.1深度数据是Kinect的精髓51

3.3.2 2D视觉与3D视觉55

3.4深度图像成像原理56

3.4.1 ToF光学测距与结构光测量56

3.4.2 Light Coding技术57

3.4.3激光散斑原理58

3.4.4光源标定59

3.5从深度图像到骨骼图60

3.5.1动静分离，识别人体60

3.5.2人体部位分类62

3.5.3从人体部位识别关节63

3.5.4会“机器学习”的“Kinect大脑”65

3.5.5骨骼跟踪的精度和效率68

3.6创建你的Avatar70

3.6.1“有骨有肉”70

3.6.2泊松方程噪声滤除70

3.6.3粗糙变平滑、缺陷自动补齐71

3.7本章小结71

第三部分 基础篇74

第4章Kinect for Windows SDK导读74

4.1什么是Kinect SDK74

4.1.1 Kinect SDK的发展历程74

4.1.2 SDK v1.5的新特性75

4.1.3 SDK v1.5尚未提供的API76

4.1.4从底层进行封装76

4.2 Kinect for Windows体系架构78

4.3应用层API详解80

4.3.1 Kinect的核心NUI API80

4.3.2 Kinect Audio DMO82

4.3.3 Windows Speech SDK83

4.4数据流概述84

4.4.1彩色图像数据84

4.4.2用户分割数据85

4.4.3深度图像数据86

4.4.4如何获取数据流87

4.5骨骼跟踪89

4.5.1骨骼信息检索90

4.5.2主动跟踪和被动跟踪90

4.5.3骨骼跟踪对象选择91

4.6 NUI坐标转换92

4.6.1深度图像空间坐标93

4.6.2骨骼空间坐标93

4.6.3坐标变换93

4.6.4传感器阵列和倾斜补偿95

4.6.5地面测量95

4.6.6骨骼镜像95

4.7本章小结96

第5章Kinect用户交互设计的若干思考97

5.1 Xbox 360 Kinect Hub界面和Metro风格97

5.1.1什么是Metro风格97

5.1.2 Kinect Hub手势原型设计98

5.1.3“悬停选择”和“翻页控制”99

5.2体感游戏的优势及局限性100

5.2.1更多的自由度101

5.2.2关节点重叠的处理办法102

5.2.3情感因素和心理暗示102

5.2.4 Kinect体感操作的局限性及对策103

5.3用户交互的趋势和新特性104

5.3.1 Kinect使交互“柔软化”105

5.3.2用户交互设计也可能是一项专利106

5.4 Kinect“体感操作”交互设计的七条军规106

5.4.1控制手势集符合人类自然手势107

5.4.2让用户的肢体移动幅度尽可能小107

5.4.3操作界面的对象采用Metro风格109

5.4.4“确认操作”保持简单、一致109

5.4.5手势操作尽可能在同一个平面内110

5.4.6从三维的视角去看交互设计110

5.4.7配有简单明了的手势说明111

5.5本章小结112

第四部分 开发篇114

第6章 开发前的准备工作114

6.1开发Kinect应用所需的技能114

6.2系统要求115

6.3下载和安装Kinect SDK116

6.3.1 Kinect for Windows SDK v1.5118

6.3.2 Developer Toolkit118

6.3.3 Kinect快速开发工具箱119

6.3.4 XNA开发环境119

6.4加载驱动、检验及测试120

6.5配置开发环境122

6.6要点和故障排除122

6.7本章小结123

第7章Hello，Kinect！124

7.1一行代码的“Hello，Kinect!”124

7.1.1创建WPF工程124

7.1.2添加KinectDiagnosticViewer控件126

7.1.3编写一行代码127

7.1.4编译运行127

7.2控制台界面HelloKinectMatrix128

7.2.1创建Console工程128

7.2.2编写代码129

7.2.3运行效果130

7.3 KinectContrib快速工程模板130

7.4 KinectWpfViewers工具控件131

7.5本章小结132

第8章Kinect开发循序渐进133

8.1一个简单的编程模型133

8.1.1初始化、启用Kinect设备134

8.1.2彩色图像流事件处理136

8.1.3深度数据捕获138

8.1.4骨骼跟踪141

8.1.5关闭Kinect设备145

8.1.6 Kinect设备状态管理及异常处理145

8.2更专业的深度图146

8.2.1改进转换方法146

8.2.2事件处理148

8.3控制Kinect仰角148

8.3.1“你的塑身”游戏149

8.3.2垂直调整Kinect仰角150

8.4本章小结151

第9章Kinect深度数据测量技术及应用152

9.1什么是Kinect视角场152

9.2深度值与实际距离的对比153

9.3深度图像的直方图155

9.3.1直方图统计信息的价值156

9.3.2深度图像直方图的意义158

9.4 Kinect深度数据测量的应用159

9.4.1近景模式：自动锁屏工具159

9.4.2 Kinect视角场几何推导：测量人体身高163

9.4.3近距离探测：制作地形电子沙盘169

9.5本章小结170

第五部分 实例篇172

第10章用Kinect表演“变脸”172

10.1在人的面部变换脸谱172

10.2代码实现173

10.2.1 WPF工程、控件及初始化173

10.2.2骨骼跟踪176

10.2.3变脸及坐标变换178

10.3合理暂停骨骼跟踪181

10.4道具平滑跟随181

10.5调整幕布大小183

10.6练习作业184

第11章用Kinect唤起“红白机”的回忆185

11.1用身体控制马里奥185

11.2代码实现185

11.2.1 WPF工程、控件及初始化185

11.2.2模拟键盘输入工具类188

11.2.3肢体语言映射到键盘事件192

11.3副产品：PPT演示“空手道”193

11.4练习作业195

第12章用Kinect玩PC版的《水果忍者》197

12.1空气鼠标设计思路197

12.1.1找到离Kinect最近的那个人198

12.1.2兼容左手习惯和右手习惯199

12.1.3从骨骼坐标系到鼠标坐标系199

12.1.4模拟鼠标工具类200

12.1.5让“空气鼠标”移动自如202

12.1.6模拟鼠标左键事件203

12.2在PC中用Kinect玩《水果忍者》203

12.2.1核心代码示例203

12.2.2如何双手挥刀206

12.3更多游戏：《割绳子》206

12.4练习作业207

第13章 创建你的Kinect Hub Demo界面208

13.1 Metro风格界面设计208

13.2使用Kinect骨骼跟踪209

13.3使用Coding4Fun Kinect Toolkit开发加速器210

13.4悬停选择210

13.5本章小结213

第14章用Kinect导播天气预报214

14.1天气预报是这样炼成的214

14.1.1绘制幕布，定义前景图片214

14.1.2对象定义及初始化215

14.1.3实现“画中画”效果216

14.2一些优化的话题219

14.2.1使用Using及时回收资源219

14.2.2使用WriteableBitmap优化图片显示性能219

14.2.3多线程和“轮询模型”220

14.2.4使用中值滤波边缘去噪220

14.3 Kinect语音导播切换221

14.3.1引用Microsoft.Speech命名空间221

14.3.2音频数据流和语音识别引擎221

14.3.3语音识别事件223

14.4本章小结224

第15章 基于Kinect的家庭监控系统225

15.1通过Kinect进行目标探测225

15.2使用计算机视觉库226

15.2.1 Open CV程序库226

15.2.2 Emgu CV引用226

15.2.3保存快照227

15.2.4录制视频227

15.3目标人体探测和影像录制228

15.4扩展功能和更多应用场景231

15.5本章小结231

第16章“Kinect牌”梦境录音笔232

16.1 Kinect音频采集232

16.1.1使用音频数据流232

16.1.2“波束跟踪”信心值的另类用法233

16.2音频录制233

16.2.1 WAV文件233

16.2.2 WAVEFORMATEX结构体234

16.2.3梦境录音笔的实现234

16.3练习作业240

第六部分 进阶篇242

第17章 再谈姿态识别和手势识别242

17.1姿态和手势242

17.2动作与算法243

17.2.1如何设定动作集合243

17.2.2借鉴正则表达式和状态机244

17.2.3转换为几何三角问题245

17.3常见手势识别245

17.3.1挥手激活245

17.3.2悬停按钮246

17.3.3磁石悬停247

17.3.4划动手势247

17.3.5滑动解锁248

17.3.6推按钮249

17.3.7通用暂停249

17.4工具介绍250

17.4.1动作录制和识别GesturePak250

17.4.2手和手指的“空气多点触摸”251

17.5本章小结253

第18章Kinect在手术室的应用原型254

18.1原型设计254

18.2交互设计255

18.2.1“悬停选择”进行功能导航255

18.2.2“空气鼠标”的激活和隐藏256

18.2.3通过“划动”手势翻阅医学影像257

18.2.4放大、缩小医学影像病灶部位257

18.2.5“垂直摆动”翻阅病历258

18.2.6体感操作结合语音控制258

18.3体感操作的实现259

18.3.1基于SwipeGestureRecognizer259

18.3.2基于单个部位运动序列的轨迹分析匹配262

18.3.3基于多个部位姿态快照的状态机匹配266

18.4利用SDK v1.5的新特性280

18.4.1近景模式下的上半身骨骼跟踪280

18.4.2利用关节点朝向信息进行手势识别和三维操作280

18.4.3人脸识别用于手术登录验证283

18.4.4调试工具Kinect Studio283

18.5本章小结284

第19章Hello，Kinect 3D World!285

19.1点、面、云285

19.1.1像素和彩色图像帧285

19.1.2深度图像帧和点云285

19.1.3多Kinect设备的接入286

19.2 Kinect体感应用开发工具简介287

19.2.1软件开发平台XNA287

19.2.2游戏引擎Unity 3D288

19.2.3 3D场景重建工具ReconstructMe289

19.3本章小结289

第七部分 展望篇292

第20章 奇思妙想——Kinect效应292

20.1四旋翼飞行器的“导航雷达”292

20.2宠物看护机器人292

20.3空气吉他293

20.4倒车雷达系统294

20.5 Kinect购物车294

20.6魔术道具295

20.7本章小结295

第21章Kinect企业级应用296

21.1思维导图296

21.2体感操作应用297

21.2.1手术室297

21.2.2体育运动竞技研究297

21.2.3动作捕捉、CG动画制作298

21.2.4虚拟试衣镜298

21.2.5课堂299

21.2.6虚拟汽车展厅299

21.2.7管理你的银行账户300

21.2.8聋哑人的同声翻译300

21.3深度数据应用301

21.3.1老年人监护301

21.3.2康复训练301

21.3.3家庭监控系统302

21.3.4道路交通稽查302

21.3.5冰川消融研究303

21.3.6给宇航员称体重304

21.4实物3D建模应用304

21.4.1实物3D数字化304

21.4.2文物3D模型“数字敦煌”计划305

21.4.3 3D扫描和打印306

21.5机器人视觉与控制306

21.5.1地震搜救机器人307

21.5.2深海探测机器人307

21.5.3工程机械臂控制307

21.6本章小结308

第22章 下一代人机交互技术309

22.1下一代Kinect技术若干猜想309

22.2未来惊鸿一瞥310

第八部分 附录312

附录A Kinect SDK命名空间速查手册312

附录B推荐阅读及网络资源328

后记338

参考资料339