token转不出去u怎么回事的简单介绍

这种方法能够生成合适的大小的词汇表，能够学习有意义的tokens并处理unknowntoken的问题BPEBytePairEncoding是一种简单的压缩算法，于2015年在论文NeuralMachineTranslationofRareWordswithSubwordUnit