深度学习和计算机视觉中的基础数学知识(二)

2.2 概率论及相关基础知识

2.2.1 条件概率和独立

2.2.2 期望值、方差和协方差

  • 期望值 深度学习和计算机视觉中的基础数学知识(二)
    变量值与对应概率求和得到期望值。

  • 方差(结果的离散程度)
    深度学习和计算机视觉中的基础数学知识(二)
    展开形式
    深度学习和计算机视觉中的基础数学知识(二)

  • 协方差(多维变量的离散程度和相关系数)
    深度学习和计算机视觉中的基础数学知识(二)

  • 协方差矩阵
    深度学习和计算机视觉中的基础数学知识(二)

  • 相关系数矩阵
    深度学习和计算机视觉中的基础数学知识(二)

2.2.3 熵

深度学习和计算机视觉中的基础数学知识(二)

2.2.4 最大似然估计

  • 似然函数
    深度学习和计算机视觉中的基础数学知识(二)
    对数似然函数(实际中常用)
    深度学习和计算机视觉中的基础数学知识(二)

2.2.5 KL散度

  • 相对熵
  • 深度学习和计算机视觉中的基础数学知识(二)
  • H(P,Q)H(P,Q) 交叉熵深度学习和计算机视觉中的基础数学知识(二)

2.2.6 KL和MEL的联系

深度学习和计算机视觉中的基础数学知识(二)
深度学习和计算机视觉中的基础数学知识(二)