数据库管理越来越复杂,更简洁统一的解决方案在哪里?

现在有各种各样的数据管理系统来存储与管理数据:关系型数据库、NoSQL数据库,文档数据库、Key-value数据库,对象存储系统等等。形态多样的数据管理系统为企业组织在管理数据上带来便利的同时,随之而来的是管理与充分利用这些数据系统存储的数据的难题。

数据分析师想要分析某一种数据管理系统的数据,为了对不同数据源进行联合查询,那么就得在应用程序逻辑中使用不同的客户端去连接不同的数据源,整个分析过程架构复杂,编程入口多,系统集成困难,这对于涉及海量数据的数据分析师而言这样的分析过程十分痛苦。

今天 Gitee 推荐的这款开源项目就是针对解决这个问题而生,它就是数据虚拟化引擎 openLooKeng。

项目名称:openLooKeng

项目作者:openLooKeng

开源许可协议:Apache-2.0

项目地址:https://gitee.com/openlookeng/hetu-core

 

项目简介

openLooKeng是一种"开箱即用"的引擎,支持在任何地点(包括地理上的远程数据源)对任何数据进行原位分析。它通过SQL 2003接口提供了所有数据的全局视图。openLooKeng具有高可用性、自动伸缩、内置缓存和索引支持,为企业工作负载提供了所需的可靠性。

openLooKeng用于支持数据探索、即席查询和批处理,具有100+毫秒至分钟级的近实时时延,而无需移动数据。openLooKeng还支持层次化部署,使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力,涉及远程数据的查询可以达到接近“本地”的性能。

数据库管理越来越复杂,更简洁统一的解决方案在哪里?

 

应用场景

  • 高性能的交互式查询场景
  • 跨源异构的查询场景
  • 跨域跨DC的查询场景
  • 计算存储分离的场景
  • 快速进行数据探索的场景

数据库管理越来越复杂,更简洁统一的解决方案在哪里?

 

项目特性

  • 专为海量数据设计的内存计算框架

openLooKeng 具有 SQL on Hadoop 的分布式处理架构,采用了存储与计算分离的设计理念,可方便的实现计算或存储节点的水平扩展。

  • ANSI SQL2003语法的支持

用户使用openLooKeng语法进行查询时,无论底层数据源是RDBMS还是NoSQL 或者其他数据管理系统,借助openLooKeng的Connector框架,数据可以依然存放在原始的数据源中,从而实现数据“0搬迁”的查询。

  • 多种多样的数据源 Connector

openLooKeng针对这些数据管理系统开发了多种多样的数据源Connector,包括RDBMS,NoSQL,全文检索数据库。openLooKeng可以通过这些多样的Connector方便的获取到数据源数据,从而进一步进行基于内存的高性能联合计算。

  • 跨域跨DC的DataCenter Connector

通过这个新Connector可以连接到远端另外的openLooKeng集群,从而提供在不同数据中心间协同计算的能力。 

  • 高性能的查询优化技术

openLooKeng在内存计算框架的基础上,还利用动态过滤、算子下推等多种查询优化技术来满足高性能的交互式查询的需要。

 

参与共建

openLooKeng 目前也在期待广大对大数据感兴趣的开发者们一起加入到 openLooKeng 开源社区中,如果你想要看看它的代码长什么样,那么就点击后面的链接去项目主页看看吧:https://gitee.com/openlookeng/hetu-core