机器学习与数学基础2

2.统计学与概率论基础

(1)基本概念

  • 概率:对随机事件不确定性的度量。
  • 概率与频率
  • 古典概率与条件概率
    条件概率:
    机器学习与数学基础2
  • 全概率公式与贝叶斯公式

机器学习与数学基础2
机器学习与数学基础2

  • 随机变量:并不是变量,它们是将(样本空间中的)结果映射为真值的函数。

  • 联合分布与边缘分布
    联合分布:机器学习与数学基础2
    条件分布:
    机器学习与数学基础2

  • 随机变量独立性
    机器学习与数学基础2

  • 期望与方差
    机器学习与数学基础2
    机器学习与数学基础2
    机器学习与数学基础2

3.优化方法基础

(1)基本概念

  • 向量:一个n维向量是由n个实数组成的数组。
    机器学习与数学基础2

  • 向量空间:所有的向量构成的集合称为n维向量空间。

  • 多元函数:以n维向量为自变量的函数称为n元函数。

  • 极值
    机器学习与数学基础2

  • 矩阵及其正定性
    机器学习与数学基础2
    机器学习与数学基础2

  • 梯度与黑塞矩阵
    机器学习与数学基础2
    机器学习与数学基础2

(2)函数的凹凸性
机器学习与数学基础2
机器学习与数学基础2
(3)梯度下降法
机器学习与数学基础2
机器学习与数学基础2
机器学习与数学基础2
(4)牛顿法
机器学习与数学基础2
机器学习与数学基础2
机器学习与数学基础2