tokenizerbert的简单介绍

EntitySynonymMapper就像乐团的调音师，处理同义词，确保在用户输入中的变化不会影响到对话的准确理解配置文件中的DIETClassifier则是意图分类的指挥棒，它结合多种特征生成器，如BertTokenizer支持中文分词的rasa_chinese和JiebaTokenizer，以及Sparse和Dense featurizers，共同打造强大的意图识别能力对话。

有 BertTokenizerFast 和 BertTokenizer， BertTokenizerFast 更快，因为使用了 tokenizer 库因为 tokenizer 库基于 RUST 所以多线程更好而 BertTokenizer 基于 python 的所以，我们使用 BertTokenizerFast from transformers import BertTokenizerFast 如果是做分类等问题，那么，tokenizer 并不会带来什么。

情况是 我用 add_tokens方法 添加自己的新词后，BertTokenizerfrom_pretrainedmodel一直处于加载中原因 有说是词典太大，耗时hours才加载出来我也没有真的等到过暂时的解决办法参考于。