nlptokenizer的简单介绍

Tokenizer是NLPpipeline的核心组件之一Tokenizer的目标是将文本转换为模型可以处理的数据模型只能处理数字，因此Tokenizer需要将文本输入转换为数字输入通常。