AMiner 会议论文推荐第六期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

IJCAI 2020 论文推荐

CP-NAS: Child-Parent Neural Architecture Search for 1-bit CNNs

神经架构搜索（NAS）通过生成应用程序自适应的神经体系结构被证明是许多任务的最佳方法之一，但仍受到高计算成本和内存消耗的挑战。同时，具有二值化权重和**的1-bit卷积神经网络（CNN）显示了其在资源受限的嵌入式设备中的潜力。一种自然的方法是使用1-bit CNN来利用NAS在统一框架中的优势来减少NAS的计算和内存成本。
为此，将Child-Parent（CP）模型引入可区分的NAS，以在全精度模型（Parent）的监督下搜索二元化体系结构（Child）。在搜索阶段，Child-Parent模型使用由Child模型和Parent模型精度产生的指标来评估性能，放弃潜力较小的操作。在训练阶段，引入内核级CP损失来优化二值化网络。大量实验表明，所提出的CP-NAS在CIFAR和ImageNet数据库上均达到了与传统NAS相当的精度。通过二值化的权重和**，它在CIFAR-10上的准确性达到 95.27 ％，在ImageNet上达到64.3％，并且搜索速度比现有技术快了30％。

论文链接：https://www.aminer.cn/pub/5eafe7e091e01198d3986547?conf=ijcai2020

NeurIPS 2020 论文推荐

Supervised Contrastive Learning

交叉熵是在图像分类模型的监督训练中使用最广泛的损失函数。
在本文中，作者提出了一种新颖的训练方法，该方法在跨不同体系结构和数据扩充的监督学习任务中始终优于交叉熵。作者修改了批处理的对比损失，最近已证明在自我监督的环境中，这种对比损失对于学习强大的表示非常有效。因此，所提方法能够比交叉熵更有效地利用标签信息。属于同一类别的点的群集在嵌入空间中合并在一起，同时将不同类别的样本群集推开。除此之外，作者还利用了大批量尺寸和归一化嵌入等关键成分，这些都已证明对自我监督学习有利。
在ResNet-50和ResNet-200上，文中所提方法的交叉熵性能均超过1％，在使用AutoAugment数据增强的方法中，新的技术水平达到了78.8％。损失也显示出对自然损坏的鲁棒性在校准和精度的标准基准上有明显的好处。与交叉熵相比，该方法的监督对比损失对于诸如优化程序或数据增强之类的超参数设置更为稳定。

论文链接：https://www.aminer.cn/pub/5ea2b8c391e01167f5a89e2d?conf=neurips2020

EMNLP 2020 论文推荐

Beyond Instructional Videos: Probing for More Diverse Visual-Textual Grounding on YouTube

从未标记的网络视频中进行预训练，已经迅速成为在许多视频理解任务中实现高性能的事实手段。通过预测视觉内容与自动语音识别（ASR）标记之间的基础关系来学习特征。但是，先前的预训练工作仅限于教学视频，而我们希望该领域相对“容易”，因为教学视频中的说话者通常会引用所描述的文字对象/动作。由于教学视频仅占网络多样化视频内容的一小部分，那么可以在更广泛的语料库上训练类似的模型吗？如果可以，哪些类型的视频是“固定的”，哪些不是？
作者研究了多样化的YouTube8M语料库，首先通过人群标签验证了它包含许多非教学视频。作者预训练了YouTube8M上的代表性模型，并研究了它的成功和失败案例。结果发现视觉文本基础确实可以在以前未开发的视频类别中实现，并且在更多样化的集合上进行预训练仍然可以得到泛化到非教学领域和教学领域的表征。

论文链接：https://www.aminer.cn/pub/5eaaa1d691e011fa9e15eb00?conf=emnlp2020

想要查看更多精彩会议论文合集，请移步AMiner顶会