大数据与云计算技术周报（第143期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：Spark、hadoop

、Flink、MongoDB、HDFS、容器、AL。全是干货，希望大家喜欢！！！

1Spark

Hive和Spark SQL作为Map-Reduce模型的分布式执行引擎，其执行过程首先就涉及到如何将输入数据切分成一个个任务，分配给不同的Map任务。在本文中，我们就来讲解Hive和Spark SQL是如何切分输入路径的

2Hadoop

本文将分享携程Hadoop跨机房架构实践，包含Hadoop在携程的发展情况，整个跨机房项目的背景

3Tair

HotRing是Tair团队的创新性纯内存KV存储引擎设计。其引擎吞吐性能可达600M ops/s，与目前最快的KVS系统相比，可实现2.58倍的性能提升。

4MongoDB

本文从MongoDB 4.2的Change Stream内部实现解析watch、resume token操作，通过与Tailing Oplog出Change Stream的改进，并以Mongo shell为例，分别对整个实例、DB、Collection级别的订阅操作。

大数据与云计算技术周报（第143期)

5HDFS

字节跳动应用 HDFS 已经非常长的时间了，经历了 7 年的发展，目前已直接支持了十多种数据平台，间接支持了上百种业务发展。从集群规模和数据量来说，HDFS 平台在公司内部已经成长为总数几万台服务器的大平台，支持了 EB 级别的数据量。本文详细讲解了字节跳动 EB 级 HDFS 实践。

https://www.iteblog.com/archives/9755.html

大数据与云计算技术周报（第143期)

6Flink

本文由网易 Java 技术专家吴良波分享，主要内容为 Apache Flink 在网易的实践。

7HBase

本文主要介绍了HBase自带的性能测试工具——PerformanceEvaluation的使用，并给出了HBase随机/顺序读写场景下P999延时情况的测试案例和报告

8容器

本文由来自证券行业的实践专家介绍当前证券行业容器云平台项目的现状和趋势，如何进行技术路线、产品的选型，以及容器云设计的难点和运维要点。内容全面详细，可供即将或正在规划容器云平台项目的证券行业及其他行业同行参考借鉴。

9特征

本文业务角度分享了风控业务中构建关系特征的一些实践经验，包括数据源分析，关系网络和特征的构建，特征性能的评估以及线上方案的落实。

10AI

图神经网络已经成为深度学习领域最热门的的方向之一.但是很多图神经网络研究的主要是同质图,并不适合于实际生活中广泛存在的异质图. 因此,一些工作尝试建立异质图神经网络来更好的分析异质图.

11开心一刻

十行代码九个警告八个错误竟然敢说七日精通六天学会五湖四海也不见如此三心二意之项目经理简直一等下流。

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞