宜信开源的Wormhole流处理平台,让大数据流式开发更轻量、更便捷、更可靠

速点链接加入高手战队：http://www.dajiangtai.com/course/112.do

Wormhole是什么

Wormhole 面向大数据流式处理项目的开发管理运维人员，致力于提供统一抽象的概念体系，直观可视化的操作界面，简单流畅的配置管理流程，基于 SQL 即可完成的业务逻辑开发方式，并且屏蔽了流式处理的底层技术细节，极大的降低了数据项目管理运维门槛，使得大数据流式处理项目的开发管理运维变得更加轻量敏捷可控可靠。

Wormhole由宜信开源，能够非常方便的与DBus整合，作为DBus的下游分发系统或者流处理系统来使用，以下是架构图

为什么会有Wormhole

在小公司，我们往往全部定制各种job来解决流处理或者批处理问题，例如全部自己写MR，Flink app，Spark app。随着公司规模的扩大，业务范围不断拓展，数据需求不断增加，有两个问题摆在我们面前：

（1）全部定制流处理、批处理程序成本太高且不便于管理

（2）很多流处理，批处理程序可以被抽象为标准的模板，通过改变参数来服用，可以节约大量开发资源，便于统一管控

在整个大背景下，Wormhole产生了，他的产生和Hive产生为了解决写复杂MR的初衷是一致的，只不过它是更加上层的抽象。

Wormhole主要特性

支持可视化，配置化，SQL 化开发实施流式项目

支持指令式动态流式处理的管理，运维，诊断和监控

支持统一结构化 UMS 消息和自定义半结构化 JSON 消息

支持处理增删改三态事件消息流

支持单个物理流同时并行处理多个逻辑业务流

支持流上 Lookup Anywhere，Pushdown Anywhere

支持基于业务策略的事件时间戳流式处理

支持 UDF 的注册管理和动态加载

支持多目标数据系统的并发幂等入库

支持多级基于增量消息的数据质量管理

支持基于增量消息的流式处理和批量处理

支持 Lambda 架构和 Kappa 架构

支持与三方系统无缝集成，可作为三方系统的流控引擎

支持私有云部署，安全权限管控和多租户资源管理