逻辑回归和线性回归

基本结构

决定好坏

更新方法

Reason

如果是交叉熵，距离target越远，微分值就越大，就可以做到距离target越远，更新参数越快。而平方误差在距离target很远的时候，微分值非常小，会造成移动的速度非常慢，这就是很差的效果了

生成模型和判别模型

训练集数据量很小的情况；因为判别方法没有做任何假设，就是看着训练集来计算，训练集数量越来越大的时候，error会越小。而生成方法会自己脑补，受到数据量的影响比较小。 对于噪声数据有更好的鲁棒性（robust）。 先验和类相关的概率可以从不同的来源估计。比如语音识别，可能直观会认为现在的语音识别大都使用神经网络来进行处理，是判别方法，但事实上整个语音识别是 Generative 的方法，DNN只是其中的一块而已；因为还是需要算一个先验概率，就是某句话被说出来的概率，而估计某句话被说出来的概率不需要声音数据，只需要爬很多的句子，就能计算某句话出现的几率。

直观上理解
如何理解生成模型和判别模型呢，我们以生活中的一个实例来看一下，我们如何来判断一个人所讲的语言呢？如果我们详细的学习了所有语言相关的内容，当听到一个人所讲的话时，就可以决定它是属于哪一种，这样的做法就是生成式方法；而如果我们并没有仔细的学习每一门语言，只是学习了如何区分不同语言的方法，这样的做法就是判别式方法。
判别式方法是说 我更像哪个 而但对于生成式方法而言是知道了什么是什么…
常见的生成模型和判别模型有哪些呢？
这个，自然是难不住你了。

生成模型：HMM 朴素贝叶斯
判别模型：逻辑回归 SVM CRF 最近邻 一般的神经网络

Softmax

强化差距

一个逻辑回归的输入可以来源于其他逻辑回归的输出，这个逻辑回归的输出也可以是其他逻辑回归的输入。把每个逻辑回归称为一个 Neuron（神经元），把这些神经元连接起来的网络，就叫做 Neural Network（神经网络）。