Classification: Probabilistic Generative Model 分类：概率生成模型
如果说对于分类问题用回归的方法硬解，也就是说，将其连续化。比如 \(Class 1\) 对应的目标输出为 1, \(Class 2\) 对应 -1。
则在测试集上，结果更接近1的归为\(Class 1\)，反之归为\(Class 2\)。
这样做存在的问题：如果有Error数据的干扰，会影响分类的结果。
还有就是，如果是多分类问题，则在各类之间增加了线性关系，比如认为 \(Class 3\) 比 $ Class 4$ 离 \(Class 1\) 更近，这是不对的。
另一种方法是，用\(if\)函数，不过这样的话，虽然分类更合理，但损失函数无法微分计算。
比较好的模型是概率生成模型，通过概率方式计算，（贝叶斯公式）。
其中\(P(C_1)\)和\(P(C_2)\)是先验概率。
高斯分布，最大似然估计
这里选用高斯分布（其他合理的分布也可以，比如对于二元分类来说，可以假设是符合 Bernoulli distribution（伯努利分布））。
从概率上讲，任何高斯分布都可以产生样本数据，但我们需要的是最大可能性的那种分布，求出它的期望 \(\mu\) 和协方差矩阵 \(\sum\)。
求解方法就是对 \(\mu\)和\(\sum\)分别关于\(L(\mu, \sum)\)求偏微分。
最后得到的结果不是很好，只有47%正确率，即使考虑更多的参数(Overfitting)，提升到7维，也只有54%。
如果说，给两个高斯分布相同的协方差矩阵（求加权平均值）的话，效果会好很多，达到了73%。因为分界线是直线，所以也把这种分类叫做线性模型。
此外，假设每一个维度用概率分布模型产生出来的几率是相互独立的，所以可以将 \(P(x|C_1)\)拆解，可以认为每个 \(P(x_k|C_1)\)产生的概率都符合一维的高斯分布。
也就是此时P(x|C1)的高斯分布的协方差是对角型的（不是对角线的地方值都是0），这样就可以减少参数的量。但是结果显示这种做法不好。
这种假设所有的feature都是相互独立产生的分类叫做 Naive Bayes Classifier（朴素贝叶斯分类器）。
后验概率
经过一系列数学推导后，最后在形式上转换为了 \(w · x + b\)，然后再套一个\(sigmoid\)函数就得到了最后的结果。
所以，在训练时可以直接去求w和b，这在形式上和回归模型又统一了。
