NLP实践(新闻文本分类)-赛题理解及思路

赛题理解及赛题思路

赛题理解

数据获取

这次比赛是天池NLP入门级的比赛,操作和往常一样。先报名,再拿数据。
NLP实践(新闻文本分类)-赛题理解及思路
注意一下标准。

赛题思路

由于赛题给出的数据是匿名化的,因此我们无法使用分词等操作提取关键词来简单预测,我们可以使用的是对文本提取特征的分类器或者是深度学习分类器,综合我们有如下思路:

  • 思路1:TF-IDF + 机器学习分类器:直接使用TF-IDF对文本提取特征,并使用分类器进行分类。在分类器的选择上,可以使用SVM、LR、或者XGBoost。

  • 思路2:FastText:FastText是入门款的词向量,利用Facebook提供的FastText工具,可以快速构建出分类器。

  • 思路3:WordVec +
    深度学习分类器:WordVec是进阶款的词向量,并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRNN或者BiLSTM。

  • 思路4:Bert词向量:Bert是高配款的词向量,具有强大的建模学习能力。

我们后续将一一实现。

另外希望自己能够把这次比赛坚持下去