tokenizer分词,tokenizer分词器

在Lucene中，一个标准的分析器Analyzer由两部分组成，一部分是分词器，被称为Tokenizer另一部分是过滤器，被称为TokenFilter一个分析器Analyzer往往由一个分词器和多个过滤器组成这里所说的过滤器，和检索时用的过滤器；如果你指的用指定字符串分割原字符串，可用下面的spl