Lucene 索引文件的生成(二十三)之fdx&&fdt&&fdm
从本篇文章开始介绍用于描述存储域(存储域的概念见文章索引文件之fdx&&fdt&&fdm)的索引文件.fdx、.fdt、.fdm的生成过程,直接给出流程图:
图1:
从图1中可以看出,生成完整的索引文件.fdx、.fdt、.fdm的过程分布在两个阶段:索引阶段、flush阶段。这也解释了为什么在文章文档提交之flush(三)的图5中,其他索引文件都是"生成"、而索引文件.fdx、.fdt、.fdm则是"更新",注意的是那篇文章中是基于Lucene 7.5.0,故不存在索引文件.fdm。
索引阶段
处理存储域的域值信息
图2:
图2中Document
指定是索引阶段的一篇待处理的文档,我们集合一个例子来加以介绍:
图3:
当开始处理一篇文档(Document)时,我们需要记录对存储域的域值,图1的例子中有两篇文档,在执行了流程点处理存储域的域值
之后,域值信息将被写入到一个字节数组bufferedDocs[ ]数组(在源码中bufferedDocs其实是一个对象,它用来将数据写入到字节数组buffer[ ]中,为了便于介绍,所以我们直接认为bufferedDocs是一个字节数组)中,域值信息中包含两类信息:
-
FieldNumAndType:该信息是域的编号跟域值的值类型的long类型的组合值,组合公式为:域的编号域值的值类型,也就是说long类型的FieldNumAndType,低3位用来存储域值的值类型,高61位用来存储域的编号
-
域的编号是一个从开0开始的递增值,每种域名有唯一的一个编号,根据域名来获得一个域的编号,例如图3中域名”content“是第一个被处理的域名,所以该域的编号为0,同理域名”attachment“、"author"的编号分别为1、2。
-
域值的值类型共有以下几种,例如图3中第54行的域值的值类型是STRING类型,第56行的域值的值类型是NUMERIC_INT类型
- STRING:固定值:0x00,域值为String类型
- BYTE_ARR:固定值:0x01,域值为字节类型
- NUMERIC_INT:固定值:0x02,域值为int类型
- NUMERIC_FLOAT:固定值:0x03,域值为float类型
- NUMERIC_LONG:固定值:0x04,域值为longt类型
- NUMERIC_DOUBLE:固定值:0x05,域值为double类型
-
以图3中第56行的域为例,域名"author"的域的编号为2,域值"3"的值类型为NUMERIC_INT,那么组合后
-
-
Value:该信息包含了域值被编码成字节后的值以及占用的字节数量length
对于图3的例子,这两篇文档中存储域的域值写入到bufferedDoc[ ]数组后,如下所示:
图4:
图3中文档0有四个域信息,但是域名"attachment"的域的属性为"STORE.NO",那么域值就不会别写入到bufferedDoc[ ]数组中,这会导致在搜索阶段,当文档0满足某个查询条件后,我们无法获得文档0中域名"attachment"的域值。
bufferedDoc[ ]数组中的内容将被写入到索引文件.fdt中:
图5:
图5中,每个Doc字段就描述了一篇文档的所有域存储域的域值信息。
看这里:https://www.amazingkoala.com.cn/Lucene/Index/2020/1015/170.html