GLUE: 自然语言理解的标杆
官网: https://gluebenchmark.com/leaderboard
自然语言处理领域在各个子任务上都有相应的榜单和标杆数据集，但放眼望去，General Language Understanding Evaluation (GLUE) 又是其中最为突出和亮眼的。不仅是因为数据规范，体量庞大，更是因为它同时集合了多个子任务，全方位考验模型的能力。几乎所有近年来的大型预训练模型都以在 GLUE 上实现 SOTA 为目标，可见其权威性和领导力。
| 数据集 | 全称 | 领域 | 简介 | 体量 |
|---|---|---|---|---|
| CoLA | The Corpus of Linguistic Acceptability | Single-sentence Classification | 判断一个句子是否语法正确，二分类任务 | 10,657 sentences |
| SST-2 | The Stanford Sentiment Treebank | Single-sentence Classification | 判断一条电影评论积极或消极，二分类任务 | 11,855 sentences |
| STS-B | Semantic Textual Similarity Benchmark | Text Similarity | 使用 1~5 的整数来表示两个句子的语义相似度，既能看作回归任务，也能看作五分类任务 | 8,628 sentence pairs |
| QQP | Quora Question Pairs) | Pairwise Text Classsification | 判断两个句子是否语义相同，二分类任务 | > 400,000 sentence pairs |
| MRPC | Microsoft Research Paraphrase Corpus | Pairwise Text Classsification | 判断两个句子是否语义相同，二分类任务 | 5,800 sentence pairs |
| RTE | Recognizing Textual Entailment) | Pairwise Text Classsification | 判断两个句子是否能够推断/对齐，二分类任务 | - |
| MNLI | Multi-Genre Natural Language Inference | Pairwise Text Classsification | 判断两个句子语义上的 entailment/contradiction/neutral，三分类任务 | 433,000 sentence pairs |
| WNLI | Winograd Natural Language Inference | Pairwise Text Classsification | 判断两个句子的语义相似性，二分类任务 | 635 sentence pairs |
| QNLI | Question Natural Language Inference | Relevance Ranking | 前身是SQuAD1.0，给定问题，从给定的文段中挑选出包含答案的 Top 1 选项，二分类任务 | >100,000 sentence pairs |
墙内的朋友暂时没有办法查看榜单分布，在这里转载一下：(最近更新 2020/05/27)