三分钟了解实时流式大数据分析
三分钟了解实时流式大数据分析
大家好,今天为大家介绍华为云实时流计算服务CS,希望通过本次分享,大家能对华为云实时流计算服务的服务能力和业务场景有所了解。
我们先了解一下实时流计算背景。下面列举的是流数据普遍产生的四个方面:一、日志;二、物联网,也就是传感器或者边缘设备所产生的数据;三、车联网,也就是车辆行驶过程中或者车载系统所产生的数据;四、StreamingML。流数据普遍产生,但并没有充分产生价值。那么什么是实时流计算呢?实时流是指计算框架按事件逐条实时处理,one-by-one的数据流。计算,是指数学运算数据分析,算法模型执行等。实时流计算是指实时处理当下正在发生的流数据,逐条大数据分析或运行机器学习算法。
以上这幅图是一个事件时间和执行时间的曲线。相对于事件时间,也就是事件发生的时间来说,执行时间也就数据处理时间有一个延迟。目前技术发展加速度不断上升,人的耐心程度在下降,而大数据增速在不断上升。所以实时流计算需要快速驱动业务,最大限度挖掘数据价值。
以上这幅图就是时间和数据价值的曲线。我们可以看到距当下时间越近,每GB所产生的价值越高,几乎是呈一个指数型的函数,因此大数据AI越实时越有价值。当前的开源流数据的框架许多包括APACHE STORM、Aakka、kafka等等,但是目前主流的框架主要是Apache Spark和Flink, 实时流计算服务,正是基于这两种框架。
那么实时流到底是什么?实时流计算服务(Cloud Stream Service, 简称CS)提供实时处理流式大数据的全栈能力, 简单易用, 即时执行Stream SQL或自定义作业。无需关心计算集群, 无需学习编程技能。完全兼容Apache Flink和Spark API。华为云实时流计算服务主要提供如下功能:1.StreamingML :提供多种流式机器学习方法对数据进行实时分析与预测,用户仅需编写SQL调用相关函数便可实现数据统计,异常检测,实时聚类,时间序列分析等场景;2.地理位置分析:提供地理位置分析函数对地理空间数据进行实时分析,用户仅需编写SQL便可实现例如偏航检测,电子围栏等地理分析场景;3.CEP SQL:提供基于Match Recognize的模式匹配检测,帮助业务人员使用SQL实现基于复杂事件规则的异常检测业务。典型应用场景如欺诈检测、车辆异常行为检测、工业设备异常运行状态检测等;4.可视化:提供多种图表类型实时展示作业数据输出,用户可以通过API网关服务*访问作业数据,接入自定义工作流中。应用场景包括易用、低时延、高吞吐的实时流分析;物联网行业应用,即物联网设备或边缘设备,上传数据到数据接入服务(DIS)或者其他云存储服务,CS直接从DIS读取数据,实时分析数据流(故障检测、数据清洗、统计分析、指标预警等等),实时把流分析结果持久化或推送告警通知等。
想要学习更多实时流相关内容及如何使用吗,现在进入华为云学院(https://edu.huaweicloud.com/courses/) 即可免费学习最新课程《华为云实时流计算服务》,快速了解低时延、高吞吐、高可靠的分布式实时流计算服务!
转载于:https://blog.51cto.com/13988201/2343617