GLUE: 自然语言理解的标杆
官网: https://gluebenchmark.com/leaderboard
自然语言处理领域在各个子任务上都有相应的榜单和标杆数据集,但放眼望去,General Language Understanding Evaluation (GLUE) 又是其中最为突出和亮眼的。不仅是因为数据规范,体量庞大,更是因为它同时集合了多个子任务,全方位考验模型的能力。几乎所有近年来的大型预训练模型都以在 GLUE 上实现 SOTA 为目标,可见其权威性和领导力。
数据集 | 全称 | 领域 | 简介 | 体量 |
---|---|---|---|---|
CoLA | The Corpus of Linguistic Acceptability | Single-sentence Classification | 判断一个句子是否语法正确,二分类任务 | 10,657 sentences |
SST-2 | The Stanford Sentiment Treebank | Single-sentence Classification | 判断一条电影评论积极或消极,二分类任务 | 11,855 sentences |
STS-B | Semantic Textual Similarity Benchmark | Text Similarity | 使用 1~5 的整数来表示两个句子的语义相似度,既能看作回归任务,也能看作五分类任务 | 8,628 sentence pairs |
QQP | Quora Question Pairs) | Pairwise Text Classsification | 判断两个句子是否语义相同,二分类任务 | > 400,000 sentence pairs |
MRPC | Microsoft Research Paraphrase Corpus | Pairwise Text Classsification | 判断两个句子是否语义相同,二分类任务 | 5,800 sentence pairs |
RTE | Recognizing Textual Entailment) | Pairwise Text Classsification | 判断两个句子是否能够推断/对齐,二分类任务 | - |
MNLI | Multi-Genre Natural Language Inference | Pairwise Text Classsification | 判断两个句子语义上的 entailment/contradiction/neutral,三分类任务 | 433,000 sentence pairs |
WNLI | Winograd Natural Language Inference | Pairwise Text Classsification | 判断两个句子的语义相似性,二分类任务 | 635 sentence pairs |
QNLI | Question Natural Language Inference | Relevance Ranking | 前身是SQuAD1.0,给定问题,从给定的文段中挑选出包含答案的 Top 1 选项,二分类任务 | >100,000 sentence pairs |
墙内的朋友暂时没有办法查看榜单分布,在这里转载一下:(最近更新 2020/05/27)