数据挖掘与机器学习、统计学和OLAP之间,主要有什么关系?
数据挖掘、机器学习、深度学习之间的概念,还是有很大区别的,数据挖掘,也可以叫数据深层采集,数据勘探,利用各种技术与统计方法,将大量的历史数据,进行整理分析,归纳与整合。
数据挖掘为找寻隐藏在数据中的有用信息,如趋势、特征及相关的一种过程,也是从数据当中挖掘出知识。
数据挖掘并不属于一个单一领域,而是许多学科综合而成,其包括机器学习、统计学习、数据库、领域知识及模式识别等领域,接下来我们一起聊聊它们彼此间的差别、关系和影响。
数据挖掘与统计学
统计学,搜集、展示、分析及解释数据的科学,统计分不是方法的集合,而是处理数据的科学。
数据挖掘,大部分核心功能的实现都以计量和统计方法作为支撑。这些核心功能包括聚类、估计、预测、关联分组以及分类等。统计学、数据库和人工智能共同构成数据挖掘技术的三大支柱。许多成熟的统计方法构成了数据挖掘的核心内容。如回归分析、判别分析、聚类分析、探索性数据分析、列联分析等统计方法,一直在数据挖掘领域发挥着巨大的作用。
因此,若是硬要去区分数据挖掘和统计学的差异其实是没有太大意义的。数据挖掘技术中的CART、CHAID或模糊计算等等理论方法,也都是由统计学者根据统计理论所发展衍生,换另一个角度看,数据挖掘有相当大的比重,是由高等统计学中的多变量分析所支撑。但是为什么数据挖掘的出现会引发各领域的广泛注意呢?主要原因在相较于传统统计分析而主,数据挖掘有以下几项特性:
1.处理大量实际数据更强,且无须太专业的统计背景去使用数据挖掘的工具。
2.数据分析的趋势是从大型数据库抓取所需数据并使用专属计算机分析软件,数据挖掘的工具更符合企业需求。
3.数据挖掘和统计分析应用上的差别,毕竟数据挖掘目的是方便企业终端用户使用而非给统计学家检测用的。
数据挖掘与机器学习
机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法,因为学习算法中涉及了大量的统计学理集结,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的、行之有效的学习算法。很多推论问题属于无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。
机器学习已经有了十分广泛的应用,例如:数据挖掘、计算机视觉、自然语言处理、生物特征识别、语音、手写识别和机器人运用。
数据挖掘与数据库联机分析处理(OLAP)
OLAP是对制式化、关联性低的数据进行分析,以供决策人员参考。数据挖掘本质上与统计分析及OLAP有所不同。统计分析仅能针对较少量的数据,就数据的关联性或统计学上不同的目标加以分析,而OLAP,则是一般数据仓库所采用的分析报告,可以针对制式化以及关联性较低的数据加以分析。OLAP工具是从过去数据中得知结果,但无法像数据挖掘一样告诉你结果发生的原因。
人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
数据统计分析和数据挖掘有何区别?
http://www.duozhishidai.com/article-11047-1.html
数据挖掘的聚类算法和优势
http://www.duozhishidai.com/article-12942-1.html
如何通过自学,成为数据挖掘“高手”?
http://www.duozhishidai.com/article-9796-1.html
数据分析与数据挖掘的区别和联系?
http://www.duozhishidai.com/article-9800-1.html
构建一个数据挖掘模型,主要分为哪几步?
http://www.duozhishidai.com/article-9719-1.html