token生成器,token如何生成和验证

数据预处理包括语料介绍和数据集构建数据集包含个训练样本和4000个测试样本，每个样本包含上下两句对联使用Vocab方法构建词典，通过split操作处理文本，并为训练和测试集构建数据加载器数据集构建过程包括定义tokenizer建立词表转换为Token序列进行padding处理以及构造mask向量等步