数据挖掘、机器学习与深度学习
数据挖掘
KDD（knowledge discovery in database）
输入数据 - 数据预处理（特征选择、规范化、降低维数、数据提升） - 分析挖掘 - 处理（模式识别、可视化） - 形成可用信息
机器学习
- 多领域交叉学科：概率论、统计学、逼近论、凸分析、计算复杂性理论
相较于数据挖掘，机器学习更加注重算法的设计，实现计算机自动从数据中学习规律
分五大类：
- 监督学习
- 无监督学习
- 半监督学习
- 迁移学习
- 增强学习
传统的机器学习算法：线性回归模型、logistic回归模型、k-临近算法、决策树、随机森林、支持向量机、人工神经网络、EM算法、概率图模型
深度学习
应用于图像识别。语音识别、自然语言处理
loss 的局部极值问题对于深层网络的影响可以忽略不计；