训练集，测试集，验证集、一些对机器学习术语的掌握
训练集用于训练模型，然后经过几次迭代后使用测试集测试模型，要保证训练集和测试集是分开的，不能在训练集中混入测试数据。
但是尽管这样，但是模型还是会在测试集中学习到东西导致过拟合的发生，也就是测试结果效果特别好。
所以选择将数据集划分成三个：训练集、测试集、验证集
样本：
有标签样本：特征+标签
无标签样本
模型：
训练时给出特征和标签，让模型学习特征并逐渐与标签建立联系。
测试时不给出标签，让模型自己去将测试样本归类，然后与真实标签比较，看正确率
特征和标签的选择：
合适的特征应该可量化，美观不是实用特征，可以使用样式和颜色这样的具体来表现
用户喜欢的鞋子不能做标签，应该选择用户点击鞋子的次数，可量化才可选择作为特征或者标签
损失：
L2损失就是平方损失Loss^2
MSE 就是平方损失和然后平均
虽然 MSE 常用于机器学习，但它既不是唯一实用的损失函数，也不是适用于所有情形的最佳损失函数。
每一种损失函数都不是所有模型都实用，要根据不同模型选择合适的损失函数，或者自己设计损失函数
学习率
学习率过大也不行，像之前遇到过的问题，如果发现训练损失稳定在某个值不下降，那么就要减小batch_size，减小学习率，这样让模型从样本中学习更多信息
这个金发学习率就是调参中找到的最好的
小批量SGD：
特征工程：原始数据转换成特征矢量，也就是模型需要的特征表示形式，这个过程需要大量时间
映射分类值：得到一个词汇表
对于像street_name这种特征不唯一的，如果使用1，2,3这样来标记街道，那么如果一个房子处于两个街道的交界处呢？那就需要两个标记，这样一个特征就需要的是两个值，所以这种数组的编码形式不能满足。
我们一般采用独热码，当是那个街区时，就标记为1，否则标记为0，多个街区就用向量表示：[0,0,0,1,0,…,0]
良好的特征选取：
数据清理：
1、缩放特征值
2、处理极端离群值
3、分箱
将房屋按维度进行划分，一座城市划分几个维度，那么这就是分箱，分箱之后，就可以使用独热编码来表示维度这个特征
4、清查
特征组合：
对非线性问题的处理
L2正则化：
简单来说，就是lambda值越大，导致原来权重w大的现在会更加拉大差距
合理的lambda值可以使特征的权重保持在理想的范围内，即这些数据都是有效数据
L2正则化对权重较大的特征影响大
分类：
指定阈值
正负分类
计算准确率
精确率和召回率，这个类比于手写签名识别中的错误错误接受率和错误拒绝率
精确率和召回率会因为阈值设定的不同而此消彼长选择准确率还是选择精确率和召回率作为判断标准，因为具体案例不同而有区别：
训练模型中的案例及做法：
1、梯度消失，使用RELU
2、梯度爆炸，使用BatchNormalization，给予大的权重一个惩罚项，
dropout
嵌套embedding :协同过滤的目的
感觉embedding应该翻译为嵌入，将坐标嵌入到一维坐标轴上，或者多维空间中
分类输入数据
使用嵌入来解决巨型输入矢量的问题
就是通过矩阵乘法来降低权重个数
嵌套其实就是把多维的一个特征向量降维，一个特征映射到低维向量