机器学习算法的基础知识

1、评估指标

预测值
0 1
实际 0 TN FP
1 FN TP
  • accuracy=TN+TPTN+TP+FP+FNaccuracy = \frac{TN+TP}{TN+TP+FP+FN}
  • precision=TPTP+FPprecision= \frac{TP}{TP+FP}
  • recall=TPTP+FNrecall= \frac{TP}{TP+FN}
  • F1=2(pre+rec)pre+recF1= \frac{2*(pre+rec)}{pre+rec}
  • ROC曲线:XFPR=FPFP+TNYTPR=TPTP+FNX轴:FPR=\frac{FP}{FP+TN};Y轴:TPR=\frac{TP}{TP+FN}

2、偏差与方差(过拟合与欠拟合)

Error=Bias+VarianceError=Bias+Variance

  • ErrorError:整个模型的准确度
  • BiasBias:模型在样本上的输出与真实值之间的误差(即模型本身的精度)
  • VarianceVariance:每次输出结果与模型输出期望之间的误差(即模型的稳定性)
    机器学习算法的基础知识

3、正则化(解决过拟合)

机器学习算法的基础知识

  • L1正则化产生稀疏特征
  • L2产生更多特征但都会接近于0

4、梯度下降算法(算法优化方式)

机器学习算法的基础知识

5、数据不平衡

机器学习算法的基础知识