资源：

• Bilibili BV1JE411g7XF
• http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html

Machine Learning 2020, Hung-yi Lee

我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。

已经有人记了笔记（很用心，强烈推荐）：
https://github.com/Sakura-gh/ML-notes

本节对应笔记：https://sakura-gh.github.io/ML-notes/ML-notes-html/2_Regression-Case-Study.html

本节内容综述

1. 先是举了“Pokemon”的CP值线性回归的例子，告诉大家深度学习的一般思路：建模、定义用于优化的损失函数loss、梯度下降；
2. 改变我们的 model ，会取得更好的效果吗？个人理解为对数据做了简单的特征工程/数据增强：训练数据很少，所以把特征由$(x_{cp})$(xcp​)变为$(x_{cp}, x_{cp}^2, x_{cp}^3, x_{cp}^4, x_{cp}^5)$(xcp​,xcp2​,xcp3​,xcp4​,xcp5​)后，直接过拟合。
3. 再复杂化问题：加入物种的判断，以及加入其他特征（HP值、高度值等），但是 Testing Error 很高（过拟合，测试数据表现不佳），此时可以使用正则 Regularization 。

小细节

线性回归的损失函数 is convex

正则化中的参数很重要

如图，是关于 Pokemon 例子的对比；此外，无需考虑 bias 的正则，因为其与平滑程度无关。