机器学习 复习二（神经网络和支持向量机）

**函数：

反向传播算法BP:

基于梯度下降策略：由于负梯度方向是函数值下降最快的方向，因此梯度下降法就是沿着负梯度方向搜索最优解。
学习速率：控制着算法每一轮迭代中的更新步长， 太大则容易震荡，太小则收敛速度又会过慢常设置为 η=0. 1.
全局最小与局部最小：跳出局部极小方法
随机梯度下降：在计算梯度时加入了随机因素.于是即便陷入局部极小点?，它计算出
的梯度仍可能不为零3 这样就有机会跳出局部极小继续搜索
模拟退火：模拟退火在每一步都 以一定的概率接受 比当前解更差的结果，从而有助
于 "跳出"局部极小 . 在每步i主代过程中 接受"次优解"的概率要随着
时间的推移而逐渐降低 从而保证算法稳定

BFP网络

径向基函数作为隐层神经元***函数，而输出层则是对隐层神经元输出的线性组合.

深度学习

无监督学习
预训练+微调

卷积神经网络CNN：

计算步骤

1. 批量数据
2. 前向传播得到损失函数
3. 反向传播计算梯度
4. 更新参数

应用：分类classffication 搜索Retrieval 检测dection 分割Segmentation
卷积神经网络组成：
输入层 卷积层 **函数 池化层 输出层
关键：
filter改变原始输入（特征提取）得到特征图
stride步长
pad=1加上一圈0，利用边缘信息
权值共享：即让一组神经元使用柑同的连接权.节省训练开销

pooling/下采样：找一个窗口特征压缩

支持向量机

在样本空间中找到一个划分超平面、将不同类别的样本分开


最大间隔划分超平面：使得r最大

核函数：通过核函数映射到高位空的，使得线性不可分变成线性可分。核函数需要时半正定矩阵

软间隔：允许支持向量机在一些样本出错
支持向量回归：

C是正则化参数