物联网通用支撑平台之数据支撑平台设计

       系统实时监测的时序数据和业务相关结构化数据通过MQTT消息服务集群实现上云,并通过规则引擎转存到时序数据库、关系数据库、内存数据库等数据服务集群,也可以通过规则引擎进行消息分发,直接推送数据到业务集群和AI集群。视频数据及相关文件数据通过视频接入服务上云,再转存到对象服务集群中,业务集群和AI集群依据需要从对象存储服务获取文件资源。

物联网通用支撑平台之数据支撑平台设计

       视频资源上云前,先需要从消息队列服务中获取关联设备的视频资源存储路径,再实现视频资源推流上云,完成上云操作后,需要再次向消息队列写入视频存储时间、状态及视频具体存储资源路径等内容。

       消息队列集群通过可视化配置规则引擎能够筛选、处理、转发/存储消息到外部数据源,实现消息数据流转至关系数据库Web 服务等,或者通过数据桥接转发到Kafka、RabbitMQ等第三方消息队列或其他消息队列节点。同时将客户端上下线状态,订阅关系,离线消息、消息内容,消息抵达后发送的消息回执等操作记录到各种数据库中。

      对带有时间标签的环境态势、设备态势等时序队列数据采用时序数据库存储;对于用户信息、设备类型等结构化业务数据采用关系型数据库存储;对于系统运维部署信息、业务运维逻辑信息等热点数据采用内存数据库存储。

      数据支撑集群具有快速数据建模、高效数据写入、高效数据查询等能力,并提供可视化的运营维护交互界面,实现系统配置、数据导入、数据导出、容量规划、容错备灾、数据库监控等功能,为业务应用提供简单易用、性能优越的大数据支撑平台。

数据应用管理:

实现数据聚合、归一化、集中式管理,提供对外数据服务接口。

物联网通用支撑平台之数据支撑平台设计

【1】产品定义,实现产品定义,实现产品命名、类型、属性、事件、服务、联网方式、入网协议等设置,基于产品创建设备实例,明确实例的实例编号、认证信息、扩展标识等内容。

【2】设备接入,确保设备接入信息满足安全认证要求接入平台,依据接入协议对上行信息进行规约解析,生成平台物模型支持的属性、事件、服务信息,并按映射关系刷新数据。

【3】设备管理,设备数据实时刷新,支持图表方式可视化显示,设备的各个属性详细信息以历史数据曲线展示。支持设备按项目、地域(坐标信息)、预设标识等分组管理,和支持排序、刷选、查询等交互操作。

【4】资源管理,实现数据源、视频、配置、日志等系统资源综合管理

【5】联动引擎,系统提供云端配置场景联动规则、告警规则,每个规则涵盖触发条件、执行条件、执行指令等配置可以实现各个采集数据的绑定。

【6】数据流转,设置流转的触发条件、数据类型,数据项,执行条件,指定流转的目的地或服务接口,为设备维运、GIS地图、数据报表、消息队列、AI算法、第三系统等业务应用提供数据源。

【7】数据仓库,实时记录业务数据,提供数据备份和还原支持,提供对外的数据服务接口。