第一部分 深度学习算法概述
第1章 深度学习算法简介 2
1.1 神经网络发展简史 2
1.1.1 神经网络第一次兴起 3
1.1.2 神经网络沉寂期（20世纪80年代—21世纪） 4
1.1.3 神经网络技术积累期（20世纪90年代—2006年） 5
1.1.4 深度学习算法崛起（2006年至今） 8
1.2 深度学习现状 10
1.2.1 传统神经网络困境 10
1.2.2 深度多层感知器 12
1.2.3 深度卷积神经网络 14
1.2.4 深度递归神经网络 15
1.3 深度学习研究前瞻 16
1.3.1 自动编码机 17
1.3.2 深度信念网络 18
1.3.3 生成式网络最新进展 19
1.4 深度学习框架比较 20
1.4.1 TensorFlow 20
1.4.2 Theano 21
1.4.3 Torch 22
1.4.4 DeepLearning4J 23
1.4.5 Caffe 23
1.4.6 MXNet 24
1.4.7 CNTK 27
1.4.8 深度学习框架造型指导原则 27
1.5 深度学习入门路径 28
1.5.1 运行MNIST 28
1.5.2 深度学习框架的选择 29
1.5.3 小型试验网络 33
1.5.4 训练生产网络 33
1.5.5 搭建生产环境 34
1.5.6 持续改进 35
第二部分 深度学习算法基础
第2章 搭建深度学习开发环境 38
2.1 安装Python开发环境 38
2.1.1 安装最新版本Python 38
2.1.2 Python虚拟环境配置 39
2.1.3 安装科学计算库 40
2.1.4 安装最新版本Theano 40
2.1.5 图形绘制 40
2.2 NumPy简易教程 43
2.2.1 Python基础 43
2.2.2 多维数组的使用 51
2.2.3 向量运算 58
2.2.4 矩阵运算 60
2.2.5 线性代数 62
2.3 TensorFlow简易教程 68
2.3.1 张量定义 69
2.3.2 变量和placeholder 69
2.3.3 神经元激活函数 71
2.3.4 线性代数运算 72
2.3.5 操作数据集 74
2.4 Theano简易教程 77
2.4.1 安装Theano 77
2.4.2 Theano入门 78
2.4.3 Theano矩阵相加 79
2.4.4 变量和共享变量 80
2.4.5 随机数的使用 84
2.4.6 Theano求导 84
2.5 线性回归 86
2.5.1 问题描述 86
2.5.2 线性模型 88
2.5.3 线性回归学习算法 89
2.5.4 解析法 90
2.5.5 Theano实现 93
第3章 逻辑回归 100
3.1 逻辑回归数学基础 100
3.1.1 逻辑回归算法的直观解释 100
3.1.2 逻辑回归算法数学推导 101
3.1.3 牛顿法解逻辑回归问题 103
3.1.4 通用学习模型 106
3.2 逻辑回归算法简单应用 113
3.3 MNIST手写数字识别库简介 124
3.4 逻辑回归MNIST手写数字识别 126
第4章 感知器模型和MLP 139
4.1 感知器模型 139
4.1.1 神经元模型 139
4.1.2 神经网络架构 143
4.2 数值计算形式 144
4.2.1 前向传播 144
4.2.2 误差反向传播 145
4.2.3 算法推导 147
4.3 向量化表示形式 152
4.4 应用要点 153
4.4.1 输入信号模型 154
4.4.2 权值初始化 155
4.4.3 早期停止 155
4.4.4 输入信号调整 156
4.5 TensorFlow实现MLP 156
第5章 卷积神经网络 174
5.1 卷积神经网络原理 174
5.1.1 卷积神经网络的直观理解 174
5.1.2 卷积神经网络构成 177
5.1.3 卷积神经网络设计 191
5.1.4 迁移学习和网络微调 193
5.2 卷积神经网络的TensorFlow实现 195
5.2.1 模型搭建 197
5.2.2 训练方法 203
5.2.3 运行方法 208
第6章 递归神经网络 212
6.1 递归神经网络原理 212
6.1.1 递归神经网络表示方法 213
6.1.2 数学原理 214
6.1.3 简单递归神经网络应用示例 219
6.2 图像标记 226
6.2.1 建立开发环境 226
6.2.2 图像标记数据集处理 227
6.2.3 单步前向传播 229
6.2.4 单步反向传播 231
6.2.5 完整前向传播 234
6.2.6 完整反向传播 236
6.2.7 单词嵌入前向传播 239
6.2.8 单词嵌入反向传播 241
6.2.9 输出层前向/反向传播 243
6.2.10 输出层代价函数计算 245
6.2.11 图像标注网络整体架构 248
6.2.12 代价函数计算 249
6.2.13 生成图像标记 255
6.2.14 网络训练过程 258
6.2.15 网络持久化 265
第7章 长短时记忆网络 269
7.1 长短时记忆网络原理 269
7.1.1 网络架构 269
……