数据中台技术

数据联邦(Federation)是目前比较成熟的企业数据集成方法之一,目标就是集成企业内部各类异构数据库,可以有一个统一访问的入口。现在,联邦技术能够统一地访问任何信息存储中以任何格式(结构化的和非结构化的)表示的任何数字信息。现在,通过各种 IBM 产品 — 包括 DB2® UDB(和 DB2 Relational Connect)、DB2 DataJoiner® 和 IBM Enterprise Information Portal(EIP),还有最新发布的 Information Integrator — 可以使用这些联邦技术。实现方式:

缺点:查询速度慢,不支持频繁查询。

数据迁移:异构数据库之间的数据转移

数据归档:(data archiving)是将不再经常使用的数据移到一个单独的存储设备来进行长期保存的过程。数据备份和数据归档软件之间的不同,类似于恢复(备份软件做的工作)和检索(归档软件做的工作)之间的不同。 也就是说,归档做的事情侧重不一样,主要是把数据分门别类的存放好,方便检索。现在很多互联网应用每天产生大量的数据,但数据过一段时间可能就很少访问了。随着数据越来越多,需要将冷数据分离,归档。

数据治理:包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力

数据同步一般的技术: 消息中间价、ETL、流式计算Flink分布式同步、还有基于binlog的cannal、kettle图形化界面数据同步、

数据中台技术

 

postgres_fdw模块提供外部数据封装器的功能,PostgreSQL通过 它可以访问存储在外部的 PostgreSQL服务器上的数据。

wal:计算机科学中,预写式日志(Write-ahead logging,缩写 WAL)是关系数据库系统中用于提供原子性和持久性(ACID属性中的两个)的一系列技术。在使用WAL的系统中,所有的修改在提交之前都要先写入log文件中。