AI相关知识点汇总（持续更新）
目录
一、人工智能学习思维导图
二、算法小结
1、梯度下降
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。下文对梯度下降法做一个完整的总结。
参考文章：https://www.cnblogs.com/pinard/p/5970503.html
2、DDPG确定性策略梯度
从DDPG这个名字看，它是由D（Deep）+D（Deterministic ）+ PG(Policy Gradient)组成。DDPG参考了DDQN的算法思想，通过双网络和经验回放，加一些其他的优化，比较好的解决了Actor-Critic难收敛的问题。因此在实际产品中尤其是自动化相关的产品中用的比较多，是一个比较成熟的Actor-Critic算法。
参考文章：https://www.cnblogs.com/pinard/p/10345762.html
3、 朴素贝叶斯
在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法，比如决策树,KNN,逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数Y=f(X)Y=f(X),要么是条件分布P(Y|X)P(Y|X)。但是朴素贝叶斯却是生成方法，也就是直接找出特征输出Y和特征X的联合分布P(X,Y)P(X,Y),然后用P(Y|X)=P(X,Y)/P(X)P(Y|X)=P(X,Y)/P(X)得出。
参考文章：https://www.cnblogs.com/pinard/p/6069267.html
4、极大似然估计
极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。
参考文章： https://blog.****.net/zengxiantao1994/article/details/72787849
5、SVM支持向量机
支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。
参考文章：http://www.blogjava.net/zhenandaci/category/31868.html
6、马尔可夫链
马尔科夫链是指数学中具有马尔科夫性质的离散事件随机过程。在其每一步中，系统根据概率分布可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。
参考文章：https://blog.****.net/tMb8Z9Vdm66wH68VX1/article/details/82056982
7、逻辑斯蒂回归（Logistic Regression）
在线性感知器算法中，我们使用了一个f(x)=x函数，作为激励函数，而在逻辑斯蒂回归中，我们将会采用sigmoid函数作为激励函数，所以它被称为sigmoid回归也叫对数几率回归（logistic regression），需要注意的是，虽然它的名字中带有回归，但事实上它并不是一种回归算法，而是一种分类算法。它的优点是，它是直接对分类的可能性进行建模的，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题，因为它是针对于分类的可能性进行建模的，所以它不仅能预测出类别，还可以得到属于该类别的概率。除此之外，sigmoid函数它是任意阶可导的凸函数。
参考文章1：https://www.jianshu.com/p/b2714426c971
参考文章2：https://blog.****.net/zouxy09/article/details/20319673
8、卷积神经网络（CNN，Convolutional Neural Networks）
卷积神经网络（CNN，Convolutional Neural Networks）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络指的是该网络使用了卷积（Convolution）这种数学运算。卷积是一种特殊的线性运算。卷积网络是指至少在网络中一层使用卷积运算来替代一般的矩阵乘法运算的神经网络。
参考文章1： https://www.cnblogs.com/skyfsm/p/6790245.html
参考文章2：https://www.zybuluo.com/hanbingtao/note/485480
9、最小二乘法
最小二乘法同梯度下降类似，都是一种求解无约束最优化问题的常用方法，并且也可以用于曲线拟合，来解决回归问题。最小二乘法实质就是最小化“均方误差”，而均方误差就是残差平方和的1/m(m为样本数)，同时均方误差也是回归任务中最常用的性能度量。
参考文章：https://www.cnblogs.com/wangkundentisy/p/7505487.html
10、凸优化
简单的说，优化问题中，目标函数为凸函数，约束变量取值于一个凸集中的优化问题称为凸优化，举个简单例子，设S为凸集，f(x)为S上凸函数，则问题min f(x) s.t. x属于S为一个凸优化。
参考文章：https://cloud.tencent.com/developer/news/335461
11、线性回归
最简单的线性回归就是直接利用一条直线拟合二维平面上的一系列点，目的是利用这条直线概括所有训练集中样本的散布规律或趋势，最终用于新样本点的预测。二维平面上直线方程的一般形式为y=ax+b，使用训练集中的数据以某种方式训练该模型后，就可以确定方程中的两个参数a,b的最优值。后面如果观察到了新的样本xi，就可以带入上面学习到的公式计算y的值了。
参考文章：https://www.cnblogs.com/Belter/p/8487002.html
12、多项式回归
在上一篇的一般线性回归中，使用的假设函数是一元一次方程，也就是二维平面上的一条直线。但是很多时候可能会遇到直线方程无法很好的拟合数据的情况，这个时候可以尝试使用多项式回归。多项式回归中，加入了特征的更高次方（例如平方项或立方项），也相当于增加了模型的*度，用来捕获数据中非线性的变化。添加高阶项的时候，也增加了模型的复杂度。随着模型复杂度的升高，模型的容量以及拟合数据的能力增加，可以进一步降低训练误差，但导致过拟合的风险也随之增加。
参考文章：https://www.cnblogs.com/Belter/p/8530222.html
13、岭回归与Lasso回归
使用多项式回归，如果多项式最高次项比较大，模型就容易出现过拟合。正则化是一种常见的防止过拟合的方法，一般原理是在代价函数后面加上一个对参数的约束项，这个约束项被叫做正则化项（regularizer）。在线性回归模型中，通常有两种不同的正则化项：
- 加上所有参数（不包括θ0θ0）的绝对值之和，即l1l1范数，此时叫做Lasso回归；
- 加上所有参数（不包括θ0θ0）的平方和，即l2l2范数，此时叫做岭回归.
参考文章：https://www.cnblogs.com/Belter/p/8536939.html
14、 神经网络和反向传播算法
参考文章：https://www.zybuluo.com/hanbingtao/note/476663
15、长短时记忆网络(Long Short Term Memory Network, LSTM)
长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。
参考文章：https://zybuluo.com/hanbingtao/note/581764
16、递归神经网络
递归神经网络可以把一个树/图结构信息编码为一个向量，也就是把信息映射到一个语义向量空间中。这个语义向量空间满足某类性质，比如语义相似的向量距离更近。也就是说，如果两句话（尽管内容不同）它的意思是相似的，那么把它们分别编码后的两个向量的距离也相近；反之，如果两句话的意思截然不同，那么编码后向量的距离则很远。
参考文章：https://zybuluo.com/hanbingtao/note/626300
17、高斯分布（正态分布）
正态分布（Normal distribution）又名高斯分布（Gaussian distribution），是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。
参考文章：https://blog.****.net/hhaowang/article/details/83898881
三、人工智能论文合集
人工智能论文汇总：https://blog.****.net/Sakura55/article/details/81876092
四、相关主页网址
1、OpenCV (Open Source Computer Vision Library) 官网地址：https://opencv.org/
2、中国计算机视觉论坛，地址：http://www.cvchina.net/
3、July，个人博客，专注面试、算法、机器学习。地址：https://blog.****.net/v_JULY_v/
4、周志华，个人主页，地址：http://cs.nju.edu.cn/zhouzh/index.htm
5、中科院机器视觉课题组，官网地址：http://vision.ia.ac.cn/zh/index_cn.html
6、*大学的支持向量机库libsvm项目网址：https://www.csie.ntu.edu.tw/~cjlin/libsvm/
7、斯坦福大学计算机视觉主页，地址：http://vision.stanford.edu/index.html