2018达观杯文本智能处理竞赛复盘打榜（一）

【任务1 - 数据初识】时长：1天

首先我们下载数据
导入pandas包

import pandas as pd 
from sklearn.model_selection import train_test_split

设置路径，导入数据

root_path = 'D:/CS/datawhale/new_data' 
train = pd.read_csv('%s/%s' % (root_path, 'train_set.csv')) 
train.head()

可以看到数据共分为“id”、“article”、“word_seg”、“class”这四个字段。

看一下概要信息

train.info()


<class 'pandas.core.frame.DataFrame'>
RangeIndex: 102277 entries, 0 to 102276
Data columns (total 4 columns):
id          102277 non-null int64
article     102277 non-null object
word_seg    102277 non-null object
class       102277 non-null int64
dtypes: int64(2), object(2)
memory usage: 3.1+ MB

可以看出，数据没有缺失值。
将训练集拆分为训练集和验证集，按8：2划分

x= train.drop(['class'],axis=1) 
y=train['class'] 
x_train,x_test,y_train,y_test =train_test_split(x,y,test_size=0.2,random_state=0) 
print(len(x_train))
print(len(y_test))

训练集和验证集的数量：
81821
20456

小白刚开始学，第一天就这样啦。