在机器学习领域,模型算法的发展往往归功于学术界与产业界的相关竞赛。以计算机视觉任务为例,在2009年的CVPR会议上,李飞飞实验室正式发布了ImageNet数据集。此后,从2010年到2017年,共举办了8届ILSVRC(ImageNet Large Scale Visual Recognition Challenge)比赛,包括图像分类、目标检测和目标定位单元。它见证了AlexNet、ResNet等当前应用极为广泛的经典模型的诞生。当前在ImageNet这样具有超过1000万张图片、超过2万个类的数据集中,计算机的图像分类水平已经超过了人类。
本书关注的是模型优化与压缩,在这方面,随着近几年学术界和产业界的关注,业界也推出了相关的竞赛,供参赛者验证自己的模型优化方案,与同行进行竞赛,从而推动技术进步。
最为典型的竞赛是低功耗计算机视觉竞赛。它始于2015年,早期名为Low Power Image Recognition Challenge(LPIRC),2020年被更名为Low Power Computer Vision Challenge(LPCVC),旨在推动低功耗计算机视觉模型技术的发展,涵盖计算机视觉中的图像分类、目标检测、图像分割等常用领域。
2015—2017年的竞赛赛道不限定硬件平台,且参赛队伍较少,从2018年开始,出现了在特定硬件平台上的赛道,即Online Track。
在2018年的Online Track图像分类赛道中,参赛者被要求在Google Pixel 2智能手机的CPU单核模式下实时运行ImageNet图像分类模型,处理速度需要达到30ms/image。
在2019年的Online Track图像分类赛道中,参赛者被要求在Google Pixel 2智能手机的CPU单核模式下实时运行ImageNet图像分类模型,处理速度需要达到10ms/image,检测模型则要求达到100ms/image。
在2020年的Online Track图像分类赛道中,参赛者被要求在Google Pixel 4智能手机的CPU单核模式下实时运行ImageNet图像分类模型,处理速度需要达到10ms/image。目标检测赛道的参赛方被要求在Google Pixel 4智能手机的CPU单核模式下实时运行COCO检测模型,处理速度需要达到30ms/image。
比赛组委会根据往年比赛的最优结果和Google MobileNet系列模型来确定帕累托边界,用于评价和比较不同的参赛方案。2018—2023年比赛赛题如表2.3所示。
表2.3 2018—2023年比赛赛题
注:2022年没有举办该比赛。