小学生作文数据集处理(二)
1、源数据集介绍
找到的数据集都是doc格式,为了方便变成处理,将数据集进行合并,并处理为txt格式,在合并的过程中,只保留作文的正文部分,比如:作文标题、评语、作者、指导教师等相关信息都删除。
在原来的doc格式中存在大量的空格,不规则字符等 ,也需要一一删除,比如空白框,???等:
需要整合的数据集如下:
2、数据集整理
将以上作文数据整合为两个txt,一个低年级.txt,和一个高年级.txt,其中衡量标准是,日记等相对表达简单的作文归为低年级,而比较优秀的好句、好短、范文等归为高年级。
在每个txt中一行表示一段。
3、下一步计划
下一步还需要将整理出来的数据集进行数据清洗,因为txt中仍然存在空格、不规则字符等。