卷积神经网络-LeNet
理解channel：卷积操作完成后输出的 out_channels ，取决于卷积核的数量。此时的 out_channels 也会作为下一次卷积时的卷积核的 in_channels
C1 层功能解读：卷积核(filter)实际上就是小的特征模版(5×5 feature window)，卷积的作用就是用 特征模版在全图(input image)逐点计算每个点及其邻域 与该模版的符合度
S2 层功能解读：S2 层将 C1 层的 6 个特征图分别缩小 1 倍，在尺寸缩小的前提下，要保留 C1 层特 征图中的显著特征，这种保留分两个方面解读：位置、输出
C3 层功能解读：这一层将前层的 6 个特征按 16 种方式组合成 16 个组合卷积核(combined filters)， 用这种卷积核对前层的 6 个特征图，做卷积、加截距（偏差）、通过激活函数，获得 16 个新的特征 图，每个特征图对应一个组合卷积核所表达的组合特征
S4 层功能解读：S4 层将 C3 层的 16 个特征图分别缩小 1 倍，在尺寸缩小的前提下，要保留 C3 层 特征图中的显著特征。
C5 层功能解读：这一层将前层的 16 个特征按全参加的方式组合成 120 个组合卷积核(combined filters)，用这种卷积核对前层的 16 个特征图，做卷积、加截距、通过激活函数，获得 120 个新的 特征图（实际上只是一个特征值），每个特征值对应一个组合卷积核所表达的全图组合特征
F6 层功能解读：这一层将前层的 120 个神经元输出值按全连接方式得到本层的 84 个单元
F7 层功能解读：这一层将前层的 84 个神经元输出值按全连接方式得到本层的 10 个单元
代价函数：而网络学习的目的就是要通过修改网络权值，从而 降低这个代价值，使得网络输出尽量靠近对应的标签
Gradient Descent :
神经网络训练的目的就是选择合适的 θ使得代价函数取得极小
Cross Entropy Loss Function
是与Softmax网络相匹配的代价函数
基于信息熵的解释：
NiN块
一个卷积层后跟两个全连接层
步幅为1， 无填充， 输出形状跟卷积层输出一样
起到全连接层的作用
架构:
无全连接层
交替使用NiN块和步幅为2的最大池 化层，逐步减少高度和最大通道数
最后使用全局平均池化层得到输出，其输入通道数是类别数
