Tokenizer是什么,tokenizertokenize

quottokenizerquotquotngram_tokenizerquotquottypequotquotnGramquot，quotmin_gramquotquot1quot，quotmax_gramquotquot1quot，quottoken_charsquot