Split的逻辑切分

分类: 文章 • 2022-11-07 20:13:51

文字概述
获取到读取到的数据，对数据进行逻辑切分，切分的大小是128M.
这里的128 与HDFS数据块的128没有任何关系
HDFS 128 是存储层面的数据切分
split128 是计算层面的128，只不过数据恰好相等。
两个128相同的原因是，一个集成程序能够正好计算一个数据块。

图片流程
Split的逻辑切分