2019云栖大会会议概要
2019云栖大会会议概要[数|智]
【前言】该文为笔者参加2019年云栖大会其中几场重要会议的总结,参考阿里云部分内容和网上总结的一些知识,部分来自云栖大会ppt,如有不妥,告知即删。
1. 云栖大会核心
- 数字*:*成立大数据局。
- 万物互联:5G技术的兴起,使万物智联新世界。
- 云原生:基于云原生的技术和管理方法,可以更好地把业务生于“云”或迁移到云平台,从而享受“云”高效和持续的服务能力。
- 实时化:实时数据飞速增长。
- Fast Data:流数据与批数据融合,采用实时的方式处理。
2. 市场与技术发展趋势
2.1 市场趋势
-
非结构化数据:指数据结构不规则或不完整,没有预定义的数据模型。包括办公文档,文本,音频,视频,html等
-
云边一体化:云计算+边缘计算
边缘计算指的是在边缘设备端处理数据。 -
云边端一体化:如:IOT,自动驾驶,视频直播等
-
Big Data (Volume数据量大, Variety种类和来源多样化, veracity数据质量, velocity数据增长速度快, value数据价值密度相对较低)
-
Fast Data (Volume, Intelligence varity, realtime data, realtime compute, cloud edge integrated, value)
2.2 技术趋势
-
HTAP: 是混合 OLTP 和 OLAP 业务同时处理的系统,2014年Garnter公司给出了严格的定义:混合事务/分析处理(HTAP)是一种新兴的应用体系结构,它打破了事务处理和分析之间的“墙”。它支持更多的信息和“实时业务”的决策。
-
软硬件一体化:RDMA(远程直接数据存取),Open-Channel SSD NVM 3DX Point
-
云边一体化:云计算+边缘计算;如:iot产品
-
Serverless:不代表再也不需要服务器了,而是说:开发者再也不用过多考虑服务器的问题,计算资源作为服务而不是服务器的概念出现
3. 从阿里技术生态圈看行业方向
3.1 数字*架构体系“1+2+2+N”
-
架构体系实践:浙政钉|浙里办
只有大数据没有业务支撑相当于巨大的垃圾场,只有大的业务支撑,合理利用大量数据才能发挥它们的最大价值
3.2 云原生
- laas (Infrastructure as a service)基础设置即服务
- Pass (platform as a service)平台即服务
- Saas (Software as a service)软件即服务
3.3 实时数仓
-
对实时数仓的要求:
无处不在的流数据,快速发掘数据价值,计算引擎批流融合的趋势 -
实时数仓设计挑战:
实时,准确,高可用,低延迟(ms),高并发,灵活 -
实时数仓的构建难点:
云原生架构的兼容性(多租户管理,扩展性)
数据存储组织的复杂度(多系统存储维护开销,数据可见性问题) -
阿里实时数仓架构
3.4 阿里新产品发布
-
AnalyticDB for MySQL 3.0
云原生架构,性能大幅提升,MySQL更兼容,读写强一致,弹性扩缩,数据更可靠 -
AnalyticDB for PG 推出Greenplum 6.0版
HTAP混合负载,更多新特效,更简单易用 -
Data Lake Analytics 推出一键建仓
更简单易用,更低的成本,更稳定高效 -
时序数据库-InfluxDB版正式发布
数据高可靠,更完整的生态,更稳定的内核 -
DataWorks V3.0 New Releases全新发布
全域数据集成,智能数据开发,数据服务构建,数据应用开发,数据综合治理 -
机器学习平台PAI全新发布
让调度更容易,让算法模型交易更容易,与开源生态对接更容易 -
MaxCompute V3.0大数据智能云数仓发布
打破数据量与成本线性相关,上云、开放和生态兼容,开启智能计算时代 -
E-MapReduce V4.0发布
大数据生态升级,EMR敏捷版本发布,基础能力升级 -
Realtime Compute实时计算云原生版本发布
开放,易用,增值,免费 -
Interactive Analytics新一代实时交互式分析发布
MaxCompute加速,构建实时数仓,支持实时数仓和MaxCompute的联邦查询 -
GraphCompute&GraphStudio 图计算引擎+开发套件发布
1-3个数量级性能领先,简单直观的建模与查询,阿里经济体内50+场景支持 -
阿里云Elasticsearch V2.0发布
增强版ES,Logstash as a Service,阿里的NLP分词器,智能运维Eyou -
开放搜索OpenSerch V2.0发布
源于阿里经济体的场景化一站式高质量的智能搜索服务
4. 现在&未来
- 实时化,智能化是大势所趋
- 阿里技术生态 + 行业影响力
- 前端的重要性
- 交流与学习