#Paper Reading# TabNet: Attentive Interpretable Tabular Learning
论文题目: TabNet: Attentive Interpretable Tabular Learning
论文地址: https://arxiv.org/abs/1908.07442
论文发表于: arXiv 2019
论文大体内容:
本文主要提出了TabNet模型,能够高效地在tabular数据上完成分类/回归的任务,且具可解释性。本文提出的模型是用DNN的方式获得树模型的可解释性,且超越树模型的效果。
Motivation:
tabular数据一般都使用树模型去处理,怎么用DNN去实现树模型的效果,并也能获得模型的可解释性,是打破DNN黑盒子的一个方法。
Contribution:
TabNet有以下特性:
①直接使用raw feature,不需要手动feature selection,能够end2end生成;
②sequential attention去进行feature selection,而且是instance-wise(每个样本不一样);
③tabnet在分类和回归任务比其它模型效果好,且具可解释性,
包括每个特征当前的特征重要性(局部可解释性),每个特征对label的影响(全局可解释性)
④是第一个用于tabular数据的自监督学习模型;
1. DNN模型实现树模型的功能
①通过mask(feature selection);
②FC+ReLU,再加起来,最后过一层softmax,则可以得到如右图的分界;
2. TabNet的整体框架
3. 输入的feature:f ∈ R^(B*D),B是batch_size,D的feature的维度;
4. Feature transformer:包含4层,其中2层是共享的,2层是每一步独立的;
5. split:产出2个信息:d[i]和a[i],d[i]是用于输出预测结果的,a[i]是用于给后续的attention做输入的;
6. Attention transformer:产出M[i],代表Mask;
7. 最终产出结果
8. 自监督学习的做法:(类似用word2vec产出embedding,再进行找相似)
9. 可解释性的计算(特征重要性)
ηb衡量第b个样本输出的重要性,M衡量特征重要性;
实验
本文做的实验比较多,主要关注下面几个点:
①效果与其它模型比,是否更好;
②特征选择是否能实现;
③在自监督学习上的表现;
10. Dataset
人工数据集;
Poker Hand;
Higgs Boson;
KDD数据集;
Adult Census Income;
等等;
11. Baseline
Lasso;
xgboost;
lightgbm;
catboost;
MLP;
等等;
12. Metric
ACC;
MSE;
AUC;
等等;
13. 实验结果
参考资料:
[1] https://github.com/dreamquark-ai/tabnet
[2] https://github.com/google-research/google-research/tree/master/tabnet
[3] https://zhuanlan.zhihu.com/p/126755362
以上均为个人见解,因本人水平有限,如发现有所错漏,敬请指出,谢谢!