12、学习Lucene3.5索引之分词原理解析
1.分词基本流程解析
2.Tokenizer分类（Tokenizer：主要负责接收字符流Reader，将Reader进行分词操作）
3.TokenFilter分类（将分好词的语汇单元，进行各种各样的过滤）
4.TokenStream中需要保存的数据（TokenStream：分词器做好处理之后得到的一个流，这个流中存储了分词的各种信息，可以通过TokenStream有效的获取分词单元）
1.分词基本流程解析
2.Tokenizer分类（Tokenizer：主要负责接收字符流Reader，将Reader进行分词操作）
3.TokenFilter分类（将分好词的语汇单元，进行各种各样的过滤）
4.TokenStream中需要保存的数据（TokenStream：分词器做好处理之后得到的一个流，这个流中存储了分词的各种信息，可以通过TokenStream有效的获取分词单元）