Bert模型相关(增加至6个标点)

在以前工作的基础上,为了提高模型的普适性,又将模型的三种标点增加到六种标点,包括:逗号、句号、问号、冒号、感叹号、顿号。
将数据集处理为txt时,对应关系如下:
Bert模型相关(增加至6个标点)
处理后的数据集如下:
句子之间以空格分离
Bert模型相关(增加至6个标点)
之后的工作和三个标点的完全相同,再次 训练模型,得到以下结果:
Bert模型相关(增加至6个标点)
在小学生高年级上的测试结果:
Bert模型相关(增加至6个标点)

在小学生低年级上的测试结果:
Bert模型相关(增加至6个标点)