HPCA 2020近日召开，中科院詹剑锋团队AI基准测试套件亮相大会

会议之眼A类、CCF A类会议，第26届IEEE高性能计算机体系结构国际研讨会HPCA 2020（High-Performance Computer Architecture）于美东时间2020年2月22日至26日在美国加利福尼亚州圣地亚哥举行。

 

Tutorial简介

会议第一天为Tutorial环节，本届大会共有两场Tutorial，分别是中科院詹剑锋团队的BenchCouncil AIBench-特定于敏捷域的基准测试方法和AI基准套件，以及IBM带来的量子计算编程。然而，受此次新冠病毒疫情的影响，中科院团队将使用远程会议系统进行演示。

虽然是Tutorial，但此次中科院所发布的AIBench实力不输正式会议论文，由于某些原因未能被正常接收，对AI测试框架感兴趣的朋友一定不能错过！
BenchCouncilAIBench教程连接：http://www.benchcouncil.org/AIBench_hpca_20/index.html

 

BenchCouncil
 

enchCouncil中文名为国际开放基准委员会，是一个非营利性国际基准组织，其宗旨是促进开源芯片，人工智能和大数据技术的标准化、基准化、评估、孵化和推广。

 

AIBench背景

特定领域的软硬件协同设计令人鼓舞，因为它可以更轻松地提升任务效率。特定领域的基准测试也可加快流程，因为它不仅提供了相关的设计输入，还提供了相应的指标和工具。不幸的是，与传统工作相比，诸如大数据，人工智能和互联网服务等现代工作在代码大小，部署规模和执行路径方面的负载程度很大，从而带来了严重的基准测试挑战。

基于以上背景，AIBench应运而生。AIBench是首个与多个行业伙伴合作的具有行业规模的端到端AI基准测试套件。
AIBench官网：http://www.benchcouncil.org/AIBench/index.html
AIBench论文：http://www.benchcouncil.org/file/AIBench-TR-0217.pdf

 

AIBench框架

首先，作者提出了一个高度可扩展，可配置和灵活的基准框架，其中包含多个松散耦合的模块，例如数据输入，突出的AI问题域，在线推理，离线培训和自动部署工具模块。

数据输入模块负责将数据输入其他模块。数据集来自公共网站和合作伙伴的具有代表性的现实数据。数据模式旨在维护现实世界中的数据特征，从而减轻机密性问题。基于数据模式，进一步提供了一系列数据生成器，以支持大规模数据生成，例如用户或产品信息。为了涵盖广泛的数据特征，作者考虑了多种数据类型，例如结构化，半结构化，非结构化以及不同的数据源，例如表格，图形，文本，图像，音频，视频。同时整个框架集成了各种开源数据存储系统，并支持大规模数据生成和部署。

 

16种突出的问题域

为了涵盖Internet服务中广泛的突出AI问题域，作者彻底分析了三种主要Internet服务（包括搜索引擎，社交网络和电子商务）中的核心方案，如下表所示。总共确定了16种代表性的AI问题域。

 

16个问题域分别是分类、图像生产、文本到文本翻译、图片到文字、图像到图像、语音识别、脸部嵌入、3D人脸识别、目标检测、推荐、视频检测、图像压缩、3D对象重建、文字摘要、空间变压器、学习排名。

 

AIBench基准

作者针对这些AI问题领域实现了十六个组件基准，并进一步介绍了跨不同组件基准的十二个基本计算单元，作为微观基准。在AIBench框架的基础上，作者设计并实现了第一个具有基础电子商务搜索业务模型的端到端Internet服务AI基准（与阿里巴巴合作的E-commerce AI）。它涵盖了行业规模的电子商务提供商的主要模块和关键路径。该应用程序基准重用了AIBench框架中的十个组件基准，接收查询请求并执行个性化的搜索，推荐和广告，并与AI推理和训练集成在一起。数据以匿名形式保留现实世界的数据特征。同时作者还提供了数据生成器来生成指定规模的数据。

AIBench的基准测试不仅基于TensorFlow和PyTorch等主流深度学习框架来实施，而且还基于Pthreads等传统编程模型来进行apple-to-apple的比较。PS: 后续更多学习资料免费分享！