数据挖掘--学习笔记（一）
数据挖掘–学习笔记（一）
数据挖掘基本流程：
- 定义目标
- 获取数据
- 数据探索
- 数据预处理
· 数据清洗 - 去掉脏数据
· 数据集成 - 集中
· 数据变换 - 规范化
· 数据规约 - 精简 - 挖掘建模（分类、聚类、关联、预测）
- 模型评价与发布
一、定义目标
首先要明确我们的任务的目标是什么，也就是自己的任务/项目的目标是什么。比如：个性化推荐、判断西瓜甜不甜等。
二、获取数据
获取数据又叫数据选取，我们需要根据任务的目的，选择数据集。或者从实际中构造自己需要的数据。
三、数据探索
主要探索数据的特征的等相关信息，便于对数据作出分析：
- 探索类别特征,查看每个类别特征有多少种类
- 探索数值特征,离散化方式
- 去除大多数是同一值的特征
- 处理时间型特征
详见：数据探索方法汇总
四、数据预处理
1）数据清理：忽略元祖、人工填写缺失值、使用属性的中心度量填充、给定同一类所有样本的属性均值或中位数填充、最可能的值填充。
详见：数据清理
2）数据集成：实体识别、冗余和相关分析(卡方检验，相关系数，协方差等，用spss比较方便)
详见：数据集成
3）数据规约：维规约(小波变换和主成分分析，最常用)、数量规约(较小的数据替代原始数据)、数据压缩(有损无损两种，尤其对于图像视频等多媒体常用)
详见：数据规约
4）数据变换和数据离散化：数据变换:光滑，属性构造，聚集，规范化，离散化和概念分层。
详见：数据变化和数据离散化
五、挖掘建模
根据机器学习模型优缺点，选择适宜本任务的最佳模型。其中一种方式是对每个模型都进行训练，再统计测试数据的误差，选择误差最小的模型。
另外，还需要调整模型的参数，使得模型表现尽可能最优。主要方法有手动调优、网格搜索、随机搜索以及基于贝叶斯的参数调优方法。
六、模型评价与发布
分析的对象主要是模型的优缺点(或者叫模型的评估)，客观公正的评判自己的作品(能有高手帮忙最好啦)能清醒自己的认知。改进就是从分析当中来。
详见：模型评估方法汇总