Lucene的3.5自定义有效载荷

Question

与Lucene索引工作，我有一个标准的文档格式，看起来是这样的：

Name: John Doe 
Job: Plumber 
Hobby: Fishing 

我的目标是一个有效载荷附加到将举行工作领域有关管道的其他信息，例如*链接到管道文章。我不想把有效载荷放在其他地方。最初，我找到了一个涵盖我想要做的事情的例子，但它使用了Lucene 2.2，并没有更新来反映令牌流api中的更改。 经过一番更多的研究，我想出了这个小怪物为这个领域构建自定义标记流。

public static TokenStream tokenStream(final String fieldName, Reader reader, Analyzer analyzer, final String item) { 
     final TokenStream ts = analyzer.tokenStream(fieldName, reader) ; 
     TokenStream res = new TokenStream() { 
      CharTermAttribute termAtt = addAttribute(CharTermAttribute.class); 
      PayloadAttribute payAtt = addAttribute(PayloadAttribute.class); 

      public boolean incrementToken() throws IOException { 
       while(true) { 
        boolean hasNext = ts.incrementToken(); 
        if(hasNext) { 
         termAtt.append("test"); 
         payAtt.setPayload(new Payload(item.getBytes())); 
        } 
        return hasNext; 
       } 
      } 

     }; 
     return res; 
    } 

当我使用令牌流并遍历所有结果时，在将它添加到字段之前，我看到它成功地将术语和有效负载配对。在流上调用reset（）之后，我将它添加到文档字段并索引文档。但是，当我打印出文档并使用Luke查看索引时，我的自定义标记流没有完成剪切。字段名称显示正确，但来自标记流的术语值不会显示，也不会显示成功附加有效内容。

这使我2个问题。首先，我是否正确使用了令牌流，如果是的话，为什么它不会在我将其添加到域时进行标记？其次，如果我没有正确使用流，是否需要编写我自己的分析器。这个例子使用Lucene标准分析器拼凑在一起生成令牌流并写入文档。我希望尽可能避免编写我自己的分析器，因为我只希望将有效载荷附加到一个字段！

编辑：

调用代码

TokenStream ts = tokenStream("field", new StringReader("value"), a, docValue); 
     CharTermAttribute cta = ts.getAttribute(CharTermAttribute.class); 
     PayloadAttribute payload = ts.getAttribute(PayloadAttribute.class); 
     while(ts.incrementToken()) { 
      System.out.println("Term = " + cta.toString()); 
      System.out.println("Payload = " + new String(payload.getPayload().getData())); 

     } 
     ts.reset(); 

Answer 1

这是很难说为什么有效载荷不会被保存，其原因可能在使用您所提出的方法的代码所在。

最方便的方式来设置有效载荷是在TokenFilter - 我认为，采用这种方法会给你更清洁的代码，进而正确地使您的方案工作。我认为在Lucene源代码中查看一些这种类型的过滤器是最具说明性的，例如， TokenOffsetPayloadTokenFilter。您可以在test for this class中找到应该如何使用它的示例。

也请考虑一下，如果没有更好的地方来存储这些超链接比在有效载荷。有效载荷对于例如提高取决于他们的位置或原始文档的格式的一些术语，词性......他们的主要目的是为了影响如何执行搜索，所以它们通常数值，有效的填充，以减少索引大小。

Answer 2

我可能失去了一些东西，但是...... 你不需要自定义标记生成附加信息的Lucene的文件关联。只是存储是一个未分析的领域。

doc.Add(new Field("fname", "Joe", Field.Store.YES, Field.Index.ANALYZED)); 
doc.Add(new Field("job", "Plumber", Field.Store.YES, Field.Index.ANALYZED)); 
doc.Add(new Field("link","http://www.example.com", Field.Store.YES, Field.Index.NO)); 

然后，您可以像任何其他字段一样获取“链接”字段。

另外，如果你确实需要一个自定义的标记生成器，那么你肯定会需要一个定制的分析来实现它，同时为建立索引和搜索。