二、物联网大数据之数据挖掘--数据挖掘的流程
1.数据挖掘一般流程
1.1 业务需求分析
业务需求分析是机器学习算法工程的第一步，是整个项目的基础，也是整个流程当中最重要的环节，主要体现在以下几个方面：
- 业务是否适合用机器学习算法来解决。
- 业务目标是否明确，是否单一，是否有其他关联目标。
- 业务目标的主次关系，因果关系，流程关系。
- 业务承担对象。
1.2 获取数据
获取数据：获取业务相关数据，用于机器学习项目建模，训练，调参，优化等。
- 本地存储数据
- html页面数据
- 爬虫数据
- 数据库数据
- 集群数据
- 各类数据格式数据
1.3 数据预处理
数据预处理主要是针对数据本身，业务需求，以及算法需求对原始数据进行的一系
列操作。比如：
- 异常值
- 缺失值
- 标准化
- 方差缩放
- 特征二值化
1.4 特征工程
特征工程是指从原始数据转换为特征向量的过程。特征工程是机器学习中最重要的 起始步骤，会直接影响机器学习的效果，并通常需要大量的时间。典型的特征工程 包括数据清理、特征提取、特征选择等过程。
1.5 模型选择和训练
在此阶段，主要是选择和应用各种建模技术，同时对它们的参数进行校准以达到最 优值。通常对于同一个数据挖掘问题，会有多种数据建模技术。一些技术对数据格 式有特殊的要求。因此，常常需要返回到数据准备阶段。实际操作如下：
- 选择建模技术（Model）：确定数据挖掘算法和参数，可能会利用多个算法；
- 评估方案设计（Cost Function）：设计某种测试模型的质量和有效性的机制；
- 模型训练（Trainng）：在准备好的数据集上进行数据挖掘算法训练，得到一个或多个模型；
- 模型调参和优化：根据评估方案，确定算法与预期效果的差距，并进行相应的优化。
1.6 模型评估
模型评估是机器学习工程当中比较核心的环节之一，在模型训练完成之后，模型的 质量如何，是否还需要继续迭代，是否已经满足业务需要，都依靠模型评估结果。 因此需要选择一个能反映预测能力的评估指标（evaluation metric）。
常用评估标准
1.7 模型部署
具体地包括：
- 实施计划：对在业务运作中部署模型作出计划；
- 监控和维护计划：如何监控模型在实际业务中的使用情况，如何维护该模型；
- 作出最终报告：项目总结，项目经验和项目结果；
- 项目回顾：回顾项目的实施过程，总结经验教训，对数据挖掘的运行效果做一个预测。