Machine Learning算法分类及其开发流程
一、数据类型
1、离散型数据
由记录不同类别个体的数目所得到的数据,又称计数数据,所有这些数据全部都是整数,而且不能再细分,也不能进一步提高它们的精确度。
2、连续型数据
变量可以在某个范围内取任一数,即变量的取值可以是连续的,如:长度、时间、质量值等,这类整数通常是非整数,含有小数的部分。
注:只要记住,离散型数据是区间内不可分的,连续型数据是区间内可分的。
二、机器学习算法分类
1、监督学习(预测)——>特征值+目标值
监督学习(Supervised learning),可以由输入数据中学到或建立一个模型,并依此模式推测新的结果。输入数据是由输入特征值和目标值所组成。函数的输出可以是一个连续的值(成为回归),或者是输出是也有限个离散值(称作分类)。
分类:k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络
回归:线性回归、岭回归
标注:隐马尔可夫模型
注:分类:目标值是离散型;回归:目标值是连续型
(1)分类问题概念及应用说明
概念:分类是监督学习的一个核心问题,在监督学习中,当输出变量取有限个离散值时,预测问题变为分类问题。最基础的是二分类问题,即判断是非,从两个类别中选择一个作为预测的结果。
分类在于根据其特性将数据“分门别类”,所以在许多领域都有广泛的应用:
- 在银行业务中,构建一个客户分类模型,按客户贷款风险的大小进行分类
- 图像处理中,分类可以用来检测图像中是否有人脸出现,动物类别等
- 手写识别中,分类可以用于识别手写的数字
- 文本分类,这里的文本可以实新闻报道、网页、电子邮件、学术论文
(2)回归问题概念及应用说明
概念:回归是监督学习的另一个重要问题。回归用于预测输入变量和输出变量之间的关系,输出是连续型的值。
回归再多领域也有应用:
房价预测:根据某地历史房价数据,进行一个预测
金融信息:每日股票值
2、无监督学习 ——> 特征值
无监督学习(Unsupervised learning),可以由输入数据中学到或建立一个模型,并依次模式推测新的结果。输入数据是由输入特征值所组成。
聚类:k-means
3、两者比较
三、机器学习的工作流程
总的来说,分为数据收集、数据处理、模型构建、模型测试评估、投入使用(模型部署与整合)、迭代优化等。对于数据处理部分也叫特征工程,有的时候会分成数据清洗和特征工程。
1、获取原始数据
- 途径:(1)公司本身的数据(2)合作共享的数据(3)购买的数据
2、通过原始数据明确需要做什么。建立模型:根据数据类型划分应用种类
3、特征工程:(特征预处理)※
4、找到合适的算法进行预测(分类&回归)
5、模型的评估,用来判定效果(模型:算法+数据)
6.1上线使用,注意上线使用一般是以API的形式提供给使用者
6.2如果评估不合格,就需要换算法,调参数,完了再次进行特征工程对特征进行处理