最近在看机器学习的内容，买了西瓜书，TF 实战 Google深度学习框架。还是从大神的视频开始看吧，在网易云课堂上有视频，然后又找到下面的笔记，合起来看比较好。

贺完结！CS231n官方笔记授权翻译总集篇发布 - 智能单元 - 知乎专栏  

https://zhuanlan.zhihu.com/p/21930884

网上果然资源多，又找到这个

* UFLDL(Unsupervised Feature Learning and Deep Learning)教程 吴恩达（Andrew Ng）

http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B

https://www.coursera.org/learn/machine-learning

http://open.163.com/special/opencourse/machinelearning.html

参见

cs229 斯坦福机器学习笔记（一）-- 入门与LR模型

https://blog.****.net/dinosoft/article/details/34960693

1。Linear Regression线性回归

闵可夫斯基距离：更一般的距离公式而已，p=2时是欧拉距离，p=1就是曼哈顿距离。

计算cost function时，直观上看，两个距离类似。绝对值差大时，欧拉距离也大，但是不要忽略前面的求和符号。（例如两组差值，每组两个样本，第一组绝对值差为1，3，第二组是2，2。绝对值求和一样，但平方差就同了。）根据Probabilistic interpretation解释，欧拉距离求出来的是likelihood最大。

求解回归方程方法：

1）gradient descent 梯度下降法：batch gradient descent（同时进行更新）和stochastic gradient descent（increment gradient descent）

2）normal equations：结论。（在线性代数的复习课件cs229-linalg有说明，即把y投影到X）

3）Newton method（Fisher scoring）和拟Newtonmethod

2。Logistic Regression逻辑回归

附录

cost function的概率解释

cs229 斯坦福机器学习笔记（二）-- LR回顾与svm算法idea理解

https://blog.****.net/dinosoft/article/details/46493845

Note that often the coefficient w0 is omitted from the regularizer, because its inclusion causes the results to depend on the choice of origin for the target variable (Hastie et al., 2001), or it may be included but with its own regularization coefficient (we shall discuss this topic in more detail in Section 5.5.1).

L1正则化容易产生稀疏解，从概率上来讲，属于贝叶斯规则化方法（将高斯先验概率引入到参数中计算MAP（极大后验）估计（而不是极大似然估计）”，（机器学习中使用正则化防止过拟合是什么原理？））。

以下内容来自PRML前三章，好像西瓜书上也有类似图。