tokenizers,berttokenizer

原因有说是词典太大，耗时hours才加载出来我也没有真的等到过暂时的解决办法参考于；在过去的几周里，我们对transformers和tokenizers库进行了一些改进，目的是让从头开始训练新的语言模型变得更加容易；Tokenizers是HuggingFace开发的一个高效的文本分词库，用