本文来自公众号学术头条,AI科技评论获授权转载,如需转载请联系原公众号。
我们对60多个顶级国际会议的最佳论文和高引论文进行了分析,惊讶的发现只有10%的最佳论文最后成了真正的高引论文。是评奖委员会选错了吗?不同研究领域的最佳论文和高引论文又有什么特点呢?数据表明SIGGRAPH、SIGSPATIAL以及硬件等会议更“靠谱”(MAP值普遍大于0.5);也有很多会,比如人工智能会议NIPS、CHI、CVPR、KDD、AAAI、ACL、IJCAI等会议的高引论文往往无缘最佳论文。来查查你的会议表现吧:https://aminer.cn/bestpaper
奖项是计算机领域每个学术会议的重头戏,每个会议的最佳论文奖可谓是学术界的顶级奖项之一。一篇最佳论文的评选标准往往包括论文的原创性、创新性、深度、质量、技术得分、领域内的潜在影响力等各种标准,被评选为最佳论文也就意味着得到了大会评审人和组织方的最大认可。
如果说最佳论文是会议组织方与同行评审给出的最优奖励,那么论文的引用次数则可以看作是大众研究者给予的客观评价。
引用次数一般被用作衡量一篇论文重要性的粗略指标,一篇高引论文好比高居“山顶”。那么高引论文与最佳论文有直接的关系吗?最佳论文的引用量是否就一定高呢?
这是一个值得探讨的问题,因为它可以映射出学术评价的众生相。
我们通过MAP(Mean Average Precision),一种评价会议评选最佳论文准确度的指标 ,计算出该会议年度的MAP得分,客观地反映了高引论文与最佳论文的关系。
其中#bestpapers表示前n篇引用量最高的论文中包含最佳论文的个数,n为从1到3。
按照MAP多年的平均值来看,FPGA的MAP均值为0.3704,说明了该会议多年来评选出的最佳论文引用量排行都居于高位。作为FPGA领域最具影响力、历史最悠久的学术会议,FPGA国际大会始终引领着整个FPGA工业界的技术创新。
在有数据显示的1996至2018年的18年间,FPGA 1999的MAP值为1.0,该年度评选出的5篇最佳论文全部排在当年论文引用量的前六位;FPGA 2000的 MAP值为0.8889,该年度评选出的3篇最佳论文全部位于当年论文引用量的前十位。
按照MAP每一年的数值来看,CVPR 2016 的MAP得分为0.6111。最佳论文得主《Deep Residual Learning for Image Recognition》一文,正位居于CVPR近五年来高引论文榜首,该文的引用量高达26356次。
出自FAIR “AI天才”何恺明的《Deep Residual Learning for Image Recognition》,最早发表于2015年,在当年ImageNet 大规模视觉识别挑战赛(ILSVRC)中击败谷歌、英特尔荣获第一,成为举世闻名的152层深度残差网络ResNet-152;2016年该文再次获得CVPR最佳论文奖。
这篇论文中提出的ResNets目前已经成为计算机视觉领域的流行架构,同时也被用于机器翻译、语音合成、语音识别和AlphaGo的研发。
可以看出,该文的优秀程度从获奖次数还是引用次数上都得到了充分体现,而它的影响力自然不言而喻。
ICML2018的MAP分值也为0.6111。最佳论文《Obfuscated Gradients Give a False Sense of Security:Circumventing Defenses to Adversarial Examples》,目前的引用量为426,在2018年ICML发表论文中引用量排于首位。
在这篇论文中,研究人员发现,针对对抗性样本的防御通常使用混淆梯度,这造成了一种虚假的安全感,实际上这种防御很容易被绕过。该研究描述了三种防御混淆梯度的方法,并展示了哪些技术可以绕过防御,这些发现可以帮助那些依赖混淆梯度来防御的组织强化他们当前的方法。在该文中,作者还评估了ICLR 2018接受的9篇论文,并测试了它们面对对抗样本的稳健性。实验结果证实,在8篇有关对抗样本的防御机制的论文中,有7篇的防御机制都抵挡不住论文提出的新型攻击技术,防御水平有限。
KDD 2012的MAP值为 0.2778。当年的最佳论文获得者《Searching and mining trillions of time series subsequences under dynamic time warping》,目前的累计引用量为622,在2012年KDD发表的论文引用量排行中位居第二。
该文主要为了解决time series问题中子序列相似度搜索里面的计算瓶颈问题。作者指出在本文完成之前,尚未有任何time series的子序列搜索研究能够拓展到trillion级别的数据,并且传统的time series子序列问题都是用较为易于计算的欧式距离算法来检测相似度,而本文则提出一个反直觉的论点:在大型数据集上,使用DTW算法实际上要比简单的ED(欧氏距离)算法来的要快速,并且在比之前所有实验里用到的数据加起来还大的数据集上验证了自己的观点。
ICRA2012 MAP得分是0.2778。最佳论文《SeqSLAM:Visual route-based navigation for sunny summer days and stormy winter nights》累计引用量为507,位居ICRA2012发表论文引用量排行第二。
SeqSLAM由澳大利亚IEEE fellow Michael Milford与Gordon Fraser Wyeth提出,是当时第一个在极端环境变化下还能实现基于视觉的定位系统。SeqSLAM的提出具有里程碑式的意义,不论是从思路还是验证结果,或是从论文引用量还是后续顶会都有对于这个系统的继续研究。
AAAI2004 MAP分值为0.1111。《Learning and inferring transportation routines》荣获当年最佳论文,该文的累计引用量为964,在AAAI 2004发表论文引用量排行第三。
最佳论文因其重要的研究价值和较大名气,往往会成为众多研究者的重点关注对象。从以上数据可以看出,最佳论文的引用次数相对较高,它与论文引用次数看似成正相关。
下面的例子则正好相反,最佳论文未必都是引用量最高的论文。
在2009年至2015年的七年间,NeurIPS的MAP平均值为0.0873。除了NeurIPS2011的MAP值为0.6111,最佳论文《Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials》高居当年的论文引用量排行榜首,引用量为1503次;其他6年的MAP值均为0,从我们目前的评价算法来看,也就意味着当年会议评选出的最佳论文准确度为零。
NeurIPS2012发表的《ImageNet Classification with Deep Convolutional Neural Networks》一文,作者Alex Krizhevsky是神经网络之父Hinton的学生,自2012年发表至今累计引用量高达44218次,实属经典之作。而当年被评为最佳论文的《Discriminative Learning of Sum-Product Networks》与《Structure estimation for discrete graphical models:Generalized covariance matrices and their inverses》,他们的引用量均只有一百多。
《ImageNet Classification with Deep Convolutional Neural Networks》中提出的大名鼎鼎的AlexNet,在2012年的ImageNet比赛中荣获冠军,其官方提供的数据模型,准确率达到57.1%,top 1-5 达到80.2% ,与传统方法相比,AlexNet 体现出了极大的优势,可以说是近年来深度学习浪潮的开山之作。也正是在那年之后,更多更深的神经网络被提出,比如优秀的vgg、GoogleLeNet等。
自然语言处理的顶会ACL,在有数据统计的18年里,ACL的MAP平均值为 0.0463。其中ACL 2003年的MAP值为0.6111,ACL 2002年与2005年的MAP值均为0.1111;其他15年中ACL的MAP值均为0。
其中,位于ACL 2001年高引论文榜首的《BLEU:a method for automatic evaluation of machine translation》一文,引用量高达9433次,而当年的最佳论文《Fast decoding and optimal decoding for machine translation》、《Immediate-head parsing for language models》分别为320与390。
再来看看ICCV ,在有数据显示的1998年至2015年的九年里,ICCV的MAP平均值为0.0123。除了2003年最佳论文获得者《Detecting Pedestrians Using Patterns of Motion and Appearance》排在当年的论文引用量第三位,引用量为2715次,其他8年里ICCV的MAP值均为0。
其中,发表于1999年的《Object Recognition from Local Scale-Invariant Features 》一文,引用量高达17307次。荣获ICCV最佳论文的《Euclidean Reconstruction and Reprojection Up to Subgroups》与《A Theory of Space Carving Object Recognition from Local Scale-Invariant Features》,他们的引用量均不到一百。
对于最佳论文来说,为什么这些科研突破都收获了会议的最高奖励,却无法跻身高引论文榜首?还有很多会议都存在这种情况,高居“山顶”的论文往往都不是最佳论文。也许很难明白这其中的原因究竟是什么?但这并不代表最佳论文的质量或者是影响力就差。
据《自然》杂志所作的一项报告解释了一部分原因。比如,许多关于研究方法的论文“成为了一种标准引用,好让其他科学家明白作者在做的是什么样的研究”;另一种就是很多真正的基础性发现(比如爱因斯坦的狭义相对论)很快进入了课本或者被当作耳熟能详的术语,不需要添加引用就能直接纳入正文,因此造成了他们的引用次数低于其应得水平。
另外,引用次数中也充满了其他干扰因素。比如,论文引用的总量增加了,但发表时间早的论文有更多的时间来累积引用量。某些领域的学者更倾向于频繁地引用他人的研究成果,某些领域则不然。而且,并非所有领域发表的论文数量都是一样的。
虽然以引用次数评价一篇论文质量的高低还存在种种不足,但这种 “排名”依然有其价值,至少这些高引论文经受起了“时间和群众的考验”。他们从庞大的学术文献中脱颖而出,他们所提出的方法结论往往都具有里程碑的意义,在其所在的领域都存在巨大的潜在影响力,为后来的研究者提供了学习参考的典范。
同时,它至少可以提醒我们科学知识的本质:为了取得激动人心的科学进步,研究人员依赖于相对默默无闻的论文来描述他们的实验方法、数据和成果。
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI
CVPR 2021本周正式召开啦,作为计算机视觉领域最重要的学术会议,大会的最佳论文自然是领域学者们关注的重要风向标。
就在上周,CVPR官方公布了入围的32篇最佳论文候选名单,其中华人一作占据了16篇,国内北大、腾讯、商汤等学校机构上榜。
那么最终哪些论文摘得荣誉呢?今天凌晨,也就是大会首日,官方公布了结果:
其中最佳论文奖和最佳学生论文奖1篇,最佳学生论文提名3篇,最佳论文提名2篇。
在这7篇文章里,有4篇是华人一作,我们还看到了熟悉的大神何恺明 的名字。
GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields
这篇论文来自德国蒂宾根大学 的两位学者。
摘要:
这篇文章提出,将复合三维场景表示纳入生成模型,会导致更可控的图像合成。将场景表示为复合生成神经特征场,能使我们能够从背景中解开一个或多个对象以及单个对象的形状和外观,同时从非结构化和非定位的图像集合中学习,而无需任何额外的监督。
本文将这种场景表示与神经渲染pipeline相结合,可以生成快速逼真的图像合成模型。实验所证明的,该模型能够解开单个物体,并允许在场景中平移和旋转它们,并改变相机视角。
论文地址:https://arxiv.org/abs/2011.12100
源代码:https://github.com/autonomousvision/giraffe
今年何恺明获得了最佳论文提名,这篇论文就是:
Exploring Simple Siamese Representation Learning
摘要:
在本文中,作者发现,Simple Siamese网络即使不使用以下任何一种方式,也可以学习有意义的表示:(i)负样本对,(ii)大batch,(iii)动量编码器。
实验表明,坍塌解决方案确实存在于损失和结构上,但停止梯度操作在防止崩塌方面发挥着至关重要的作用。作者给出了停止梯度含义的假设,并进一步展示了验证它的概念验证实验。
“SimSiam”方法在ImageNet和下游任务上取得了有竞争力的结果。作者希望这个简单的baseline将激励人们重新思考SimSiam架构在无监督表示学习中的作用。
另外,何恺明表示,不久后将提供论文代码。
本文的第一作者是Xinlei Chen,本科毕业于浙江大学,之后在卡内基梅隆大学获得博士学位,现在与何恺明一样同在Facebook AI研究院工作。
论文地址:https://arxiv.org/abs/2011.10566
源代码:https://github.com/facebookresearch/simsiam
另一篇获得提名的是来自明尼苏达大学的两位学者。
Learning High Fidelity Depths of Dressed Humans by Watching Social Media Dance Videos
摘要:
学习穿戴人体几何的一个关键挑战在于,ground truth数据的可用性有限,这导致3D人体重建在应用于现实世界图像时的性能下降。
本文通过利用新的数据资源来应对这一挑战:一些社交媒体舞蹈视频,这些视频跨越了不同的外观、服装风格、表演和身份。每段视频都描绘了一个人身体和衣服的动态运动,同时缺乏3D ground truth几何。
为了利用这些视频,作者提出了一种使用局部变换的新方法,将人预测的局部几何形状从图像扭曲到另一个图像的局部几何。这种方法是端到端可训练的,从而产生高保真深度估计,预测忠实于输入真实图像的精细几何形状。实验证明,该方法在真实和渲染图像上都优于最先进的人类深度估计和人类形状恢复方法。
论文地址:https://arxiv.org/abs/2103.03319
Task Programming: Learning Data Efficient Behavior Representations
作者来自加州理工和西北大学。
摘要:
要进行专业领域知识的深入分析,通常是准确注释训练集是必需的,但从领域专家那里获得这些既繁琐又耗时。这个问题在自动行为分析中非常突出。
为了减少注释工作量,本文提出了TREBA:一种基于多任务自监督学习的注释-行为分析样本高效轨迹嵌入方法。该方法中的任务可以由领域专家通过“任务编程”的过程高效地进行工程化。通过交换数据注释时间来构建少量编程任务,可以减少领域专家的总工作量。
本文在两个领域的三个数据集中给出了实验结果指出,该方法减少了多达10倍的注释负担,而不影响与SOTA方法相比的准确性。
值得一提的是,论文第一作者Jennifer J. Sun目前就读于加州理工学院,本科就读于多伦多大学,GPA是4.0。
论文地址:https://arxiv.org/abs/2011.13917
源代码:https://github.com/neuroethology/TREBA
Less is More: CLIPBERT for Video-and-Language Learning via Sparse Sampling
论文来自北卡大学教堂山分校。
这篇文章主要研究了视频问答(VQA)问题。
作者提出了一个通用框架ClipBERT,通过使用稀疏的采样,在每个训练步骤中只使用一个或几个视频中稀疏的采样短片,从而为视频和语言任务提供负担得起的端到端学习。
论文地址:https://arxiv.org/abs/2102.06183
源代码:https://github.com/jayleicn/ClipBERT
Binary TTC: A Temporal Geofence for Autonomous Navigation
论文来自英伟达和加州大学圣芭芭拉分校。
本文研究的问题与自动驾驶技术有关,即接触时间(TTC),这是物体与观察者平面碰撞的时间,是路径规划的有力工具,它可能比场景中物体的深度、速度和加速度提供信息更多。
TTC有几个优点,包括只需要一台单目、未校准的相机。然而,每个像素的回归TTC并不简单,大多数现有方法对场景进行了过度简化的假设。本文通过一系列更简单的二元分类来估计TTC来应对这一挑战。这是第一个能偶以足够高的帧速率提供TTC信息的方法。
论文地址:https://arxiv.org/abs/2101.04777
Real-Time High-Resolution Background Matting
论文来自华盛顿大学。
这篇文章提出了一种实时高分辨率替换视频背景的方法,能够在4K分辨率下以30fps运行。
主要挑战是计算高质量的阿尔法哑光,保留头发级别的细节,同时实时处理高分辨率图像。为了实现这一目标,作者使用两个神经网络;一个基网络计算低分辨率的结果,该结果再通过第二个在选择性补丁上以高分辨率运行的网络来改进。
与之前方法相比,该方法可以产生更高的质量结果,同时在速度和分辨率方面都显著提高。
该项目代码在GitHub上已经收获3.7k星。
论文地址:https://arxiv.org/abs/2012.07810
源代码:https://github.com/PeterL1n/BackgroundMattingV2
除了最佳论文相关奖项外,今年大会还颁发了PAMITC奖,包括Longuet-Higgins奖、年轻研究者奖以及首届Thomas Huang纪念奖。
获得Longuet-Higgins奖 的两篇论文分别是:
《Real-time human pose recognition in parts from single depth image》
《Baby talk: Understanding and generating simple image descriptions》
获得年轻研究者奖 的是来自FAIR的Georgia Gkioxari和来自MIT的Phillip Isola。
去年计算机视觉领域先驱学者黄煦涛 去世,为了纪念他,CVPR决定从今年开始颁发Thomas Huang纪念奖。
第一届Thomas Huang纪念奖 的获奖者是MIT计算机教授Antonio Torralba,今年他共有4篇论文入选CVPR。
由于受新冠疫情影响,今年的CVPR仍在线上以虚拟会议形式举行。
今年CVPR共有7039篇有效投稿,接收论文1661篇。
在CVPR召开之际,各大科技公司也陆续晒出了自己成绩单,谷歌 发布超过70篇,Facebook 发布了52篇。
国内科技公司近年来在CVPR上发表的论文也与国外巨头看齐,如商汤 发表66篇、华为 诺亚方舟实验室发表30篇,旷视 发表22篇,腾讯优图 发表20篇,快手 发表14篇。
当然,本届CVPR相关的workshop和turotial等活动还在进行,感兴趣的读者可访问下方链接持续关注~
参考链接:http://cvpr2021.thecvf.com/node/141http://cvpr2021.thecvf.com/node/329
相关问答
是顶级的sci。sci一区是泛指一大类期刊。里面有很多高水平杂志,也有很多一般水平杂志,cvpr是顶尖级的,国内外很多教授穷其一生都无法在其上面发表哪怕一篇文...
最高级别的sciCVPR是计算机视觉领域最高级别的会议(CCFA类会议),收录的论文代表了计算机视觉领域的最新发展方向和最高研究水平。cvpr录用标准相当严格,通...
级别相当于顶级SCI期刊论文级别同等甚至更高。CVPR的全称是InternaltionalConferenceonComputerVisionandPatternRecogintion...
张磊,1998年硕士毕业于西北工业大学系统工程专业,2001年获得西北工业大学控制理论与工程专业博士学位。2001到2002年于香港理工大学做副研究员,2003到2006年于...
...创始人是曹旭东,毕业于清华大学,曾先后任职于微软亚洲研究院和商汤科技,有近百人研发团队管理经验、产品落地经验,对无人驾驶环境感知,高精地图,驾驶决策...
扫描二维码回复“顶会”,即可获取报名方式,28天养成读论文+复现的好习惯,干货训练营等你来加入!课程形式本次训练营采用直播+社群交流的方式,带你从零攻...
随着以AlphaGo为代表的人工智能开始走近人们的日常生活,再叫上程序猿们令人无法不心动的超高待遇,CS当之无愧成为了现如今最炙手可热的专业,没有之...
这不是CNN的拿手好戏么。CNN深度学习网络主要用来提取图像的特征,如果想看最新的论文,在ICMLCVPRMICCAI都可以找到。原来的特征提取算法基于图像的梯度场,而...
阿里巴巴达摩院成立于2017年10月11日,致力于探索科技未知,以人类愿景为驱动力,开展基础科学和创新性技术研究,2017年马云曾经宣布,要在未来3年之内,投入100...
对我来说Ai是个新鲜事物,灌水的本事都没有,特别羡慕那些能灌水的假学究真学者,生活在现代社会,你不懂点AI的话题好像都不好意思跟人聊天,好在身边一大帮跟我...