案例解读 | 数据处理时，你都陷入过哪些耗时巨大的「坑」？

点击上方“蓝字”可以关注我们哦

时至今日，数据意味着所有东西，无论是个人的，还是工作上的。我们生活中的方方面面，都已经转换成了这些“0”和“1”的组合。我们如今对数据的依赖是前所未有的，而且肯定还会越来越重，尤其是随着IoT的爆炸式发展。因此，数据处理随着延时递增价值递减，即越实时越有价值。

那么，流计算框架如何在云上提供实时计算能力？如何通过大数据分析比拼各自深度运营的能力？如何依据自己的业务，在众多的实时计算技术中做出选择？

第八届中国数据库技术大会（DTCC2017）在北京国际会议中心召开，从5月11日—13日，为期3天，大会共设定2大主场和21个技术专场。

为了解决以上提出来的诸多疑问，我们特设专场5： 实时计算技术专场，邀请到了来自华为、京东、小米等数据处理方面的技术专家，为我们分享一些关于数据处理方面的实战经验。

专场5： 实时计算技术

5月11日 下午13:30-18:00

杨旭钧 

Bloom Software联合创始人&CTO

下一代实时流数据处理平台介绍

5月11日下午13:30-14:20

演讲简介：

新一代流数据处理技术介绍 ：Google DataFlow架构介绍；Google DataFlow应用场景介绍；AWS KInesis 架构介绍；AWS kinesis应用场景介绍；SnappyData架构介绍；SnappyData应用场景介绍；三个流处理平台综合对比分析；总结。

时金魁 

华为杭州研究院主任工程师

Flink技术栈及其适用场景

5月11日下午14:20-15:10

演讲简介：

数据处理随着延时递增价值递减，即越实时越有价值。流计算框架比拼的就是低延时、高吞吐以及流之上的丰富特性，以满足实际业务需要。这里向大家介绍Flink的各个组成部分，深入浅出了解其内在机制原理。以便清晰如何用Flink解决实际业务场景。大数据和云计算密不可分，Flink如何在云上提供实时计算能力，这里会简要介绍流计算在云上的两种形态。

刘麒赟 

Testin云测公司技术总监

基于实时大数据OLAP引擎Druid实现的AB测试平台实践

5月11日下午15:10-16:00

演讲简介：

今天正处于互联网发展的下半场，流量红利日渐消失，此时玩家们需要比拼各自深度运营的能力，而AB测试正是能够迅速提高产品运营效率的一把利器。AB测试本质上是基于数据分析的一种方法论，而且它往往会需要在大量的历史数据上进行多维度的数据分析，而这也恰恰是实时OLAP引擎Druid所擅长的。本演讲将会从AB测试原理、Druid项目技术剖析以及AB测试平台技术实践这几个方面来分享testin公司在相关领域的实践和经验。主要技术点：Druid，实时OLAP，AB测试。

朱健 

京东商城大数据技术专家

大数据实时处理架构实践

5月11日下午16:20-17:10

演讲简介：

当今互联网早已不是蛮荒生长的时代，各大公司也在自己的领域深耕细作，伴随着市场的成熟，如何提供更好的服务、更快的数据决策，成为竞争的关键点。实时计算技术作为其中的一项关键技术，开始在业界广泛流行。如何依据自己的业务，在众多的实时计算技术中做出选择，如何处理实时计算中遇到的各种问题，保证数据的效率和正确，成为所有人都要面对的极具挑战的工作。本次分享将会从实时计算的业务要求出发，结合具体的一个基于spark streaming的实践例子，总结大数据实时处理架构设计上需要处理的几个关键问题，同时基于此对实时计算技术提出一些要求。

张震 

小米软件工程师

Kudu架构介绍及其在小米的应用实践

5月11日下午17:10-18:00

演讲简介：

数据处理系统Kudu是Cloudera在15年9月开源的分布式数据存储引擎，其结合了Hbase和HDFS的优势，可以同时提供高效的随机访问以及数据扫描能力。Kudu支持数据的实时插入和分析，为实时的OLAP计算提供了另外一种选择。小米是Kudu在中国最早的一批用户，目前内部已经有较大规模的业务在使用，并且在不断探索新的应用场景。本次演讲将会介绍Kudu的大致技术架构，新版本的新增功能，以及未来的开发计划。同时会介绍Kudu在小米计算架构中所扮演的角色，分享一些Kudu在实际使用中的经验，希望可以促进Kudu在中国的发展和使用。

5月11日大会议程预告

扫码查看，大会3天完整议程