机器之心原创
作者：汪汪
今天，《科学》杂志封面刊登了一篇重磅研究：人工智能终于能像人类一样学习，并通过了图灵测试。（论文见文末，回复「12 」可下载论文PDF格式。）
这个人工智能像你一样学习写字
假设你从来没有见过菠萝。有一天，有人送了你一个菠萝。尽管你这辈子只见过这一个菠萝，但你只用一眼就看出了菠萝的特征。第二天，你去水果店，很快就能从一堆苹果、葡萄、柚子中认出菠萝来。你甚至还能在纸上画出菠萝的简笔画。
这种「仅从一个例子就形成概念」的能力对人来说很容易。然而，尽管人工智能近年来取得了长足的进步，但要让机器做到这一点，却难于上青天，因为目前的人工智能通常需要从大量的数据中进行学习，你得让它看成千上万张菠萝的图片才行。
不过，这个事实或许从今天开始改变了。今天，一篇人工智能论文登上了《科学》杂志的封面，为人们带来了人工智能领域的一个重大突破：三名分别来自麻省理工学院、纽约大学和多伦多大学的研究者开发了一个「只看一眼就会写字」的计算机系统。（论文Human-level concept learning through probabilistic program induction 见文末，或回复12 可下载pdf格式。）
《科学》杂志封面
只需向这个系统展示一个来自陌生文字系统的字符，它就能很快学到精髓，像人一样写出来，甚至还能写出其他类似的文字——更有甚者，它还通过了图灵测试。下面就是机器和人写出的字符。你猜哪些是机器写出来的？傻傻分不清了吧？
机器的作品是1,2；2,1；1,1
这三名研究者分别是纽约大学数据科学中心的Brenden Lake，多伦多大学计算机科学与统计学系的Ruslan Salakhutdinov和麻省理工学院大脑与认知科学系的Joshua Tenenbaum。他们创造的AI系统能够迅速学会写陌生的文字，从某种意义上说明它领悟到了字符的本质特征（也就是字符的整体结构），同时还能识别出非本质特征（也就是那些因书写造成的轻微变异）。
三名研究者从左到右分别是：Ruslan Salakhutdinov, Brenden Lake和Joshua B. Tenenbaum。图/Alain Decarie/The New York Times
人类的概念具有极大的弹性，因此，尽管许多概念的边界十分模糊，但我们依然能进行明确的分类。这三位研究者声称，他们的系统就抓住了这种弹性。该系统能模仿人类的一个特殊天赋——从少量案例中学习新概念。它所根植的计算结构叫做概率程序（probabilistic program），还可能有助于对人类获得复杂概念的过程进行建模。
Joshua B. Tenenbaum是麻省理工学院大脑与认知科学系的教授，他说：「目前的人工智能领域大都聚焦在对模式进行分类。但是，这种类型的智能所缺少的不是分类或识别的能力，而是思考。所以，尽管我们研究的只是手写字符，但依然大言不惭地使用『概念』这种词。因为我们能用字符来研究更加丰富和复杂的概念。我们能理解字符的来历和构件，也能理解如何用不同的方式来使用字符，并造出新的字符来。」
通过「图灵测试」
这篇论文的第一作者Brenden Lake曾在Tenenbaum的团队中获得认知科学博士学位，如今他是纽约大学的博士后。根据Lake的介绍，他们在论文中分析了三个核心原则。这些原则都很通用，既可以用在字符上，也可以用在其他的概念上：
组合性（compositionality）：表征是由更简单的基元构建而成。
因果性（causality）：模型表征了字符生成的抽象因果结构。
学会学习（learning to learn）：过去的概念知识有助于学习新的概念。
研究者对这个AI系统进行了几项测试。
测试1：研究者向它展示了它从未见过的书写系统（例如藏文）中的一个字符例子，并让它写出同样的字符。这里并不是让它复制出完全相同的字符，而是让它写出9个不同的变体，就像人每次手写的笔迹都不相同一样。例如，在看了一个藏文字符之后，算法挑选出该字符用不同的笔迹写出来的例子，识别出组成字符的笔画，并重画出来。
测试2：研究者向系统展示了一个陌生书写系统中的几个不同的字符，并让它创造出一些相似的字符。
测试3：研究者让它在一个假定的书写系统中创造出全新的字符。
与此同时，人类被试也被要求做同样的事情。最后，研究者要求一组人类裁判（来自亚马逊土耳其机器人，Amazon Mechanical Turk）分辨出哪些字符是机器写的，哪些是人类写的。结果，裁判的正确率仅为52%，和随机的结果差不多。于是，机器通过了所谓的视觉图灵测试。
红圈标出的是机器的作品
传统的机器学习系统（比如手机上的语音识别算法）在某些分类任务上的表现很好，但它们首先需要大量的数据集来进行训练。相比之下，人类只需要少量的例子就能抓住某个概念的精髓。这种「一次性学习」正是研究者希望他们的系统能模拟的能力。
学会如何学习
三位研究者采用的方法是「贝叶斯程序学习」（BPL，Bayesian Program Learning），能让计算机系统对人类认知进行很好的模拟。传统的机器学习方法需要大量的数据来训练，而这种方法只需要一个粗略的模型，然后使用推理算法来分析案例，补充模型的细节。
在这篇论文中，研究者的模型只规定了字符由笔画组成，笔画由抬高笔触来区分，而笔画又由更小的子笔画组成，子笔画用笔尖速度为零的点来区分。
有了这个初始模型之后，研究者向AI展现了人类手写文字的方式，包括笔画顺序等，让系统学习连续的笔画和子笔画之间的统计关系，以及单个笔画所能容忍的变异程度。这个系统从未在它所分析的书写系统上进行过任何训练，它只是推理出了人类写字的一般规律。
Tenenbaum说：「每个星期，我们似乎都能读到机器在人脸识别、语音识别方面与人类旗鼓相当的新闻。但是，对我这种研究心智的科学家来说，机器学习和人类学习之间的鸿沟是巨大的。我们希望弥合这个鸿沟，这是我们的长期目标。」
各方评价
剑桥大学的信息工程教授Zoubin Ghahramani说：「我认为这对人工智能、认知科学和机器学习是一个重大的贡献。深度学习目前已取得了重要的成功，这篇论文非常清醒地表明了深度学习的局限性，因为深度学习需要大量的数据，并且在这篇论文所描述的任务上表现很差。这篇论文也展现了实现类人机器学习的重要方法。」
也有一些人对「人工智能超越人脑」这种说法持谨慎态度。艾伦人工智能研究所的Oren Etzioni说：「我对『超人的表现』这种说法非常谨慎。当然，这个算法确实超过一般人的表现，除了达斯汀·霍夫曼。」（指霍夫曼主演的《雨人》电影。）
与深度学习优势互补
多伦多大学和谷歌的人工智能先驱Geoffrey Hinton说这个研究「令人印象非常深刻」。他说，这个模型能通过视觉图灵测试，这很重要，「是一个不错的成就。」Hinton是深度学习的奠基者。深度学习近年来取得了举世瞩目的成就，被广泛应用在许多领域，例如语音翻译、图像识别等，还用在谷歌的图像搜索和Facebook的人脸识别上，获得了巨量的数据以供学习。
Geoffrey Hinton
然而，这篇新论文说「贝叶斯程序学习」在某些方面比深度学习的表现更好。三位作者和Hinton都礼貌地表明，这两种方法在不同的任务上各领风骚，假如能彼此借鉴，一定能互相弥补。如果能建出一个混血系统，说不定能有更大的提升。在数据量巨大但较混乱的情况下，深度学习能发挥优势；而在数据量少而清晰的情况下，贝叶斯学习占领上风。
Hinton说，这篇论文最令人兴奋的成果或许是能让那些宣称智能计算机系统的学习方式与人类完全不同的批评者闭嘴，因为他们的主要论据正是计算机不能从单个例子中形成概念。
未来
在未来，这种机器学习的技术能够完成很多任务，例如读懂手语、提升语音识别软件的性能等。运用这种方法，或许只用向计算机展示一张人脸照片，它就能从任何角度识别出这个人。它甚至有可能用来制定军事行动计划。
当然，尽管这个成果很重要，但它对人工智能领域来说只是一个小小的起点，不代表未来的机器学习都必须采用这种方法。正如它颠覆了「计算机如何理解概念」这个课题一样，在这个日新月异的领域中，极有可能下个月就出现一种新方法，将它甩在后面飞扬的尘土中。
参考：
Brenden M. Lake1, Ruslan Salakhutdinov, Joshua B. Tenenbaum. Human-level concept learning through probabilistic program induction. Science 11 December 2015: Vol. 350 no. 6266 pp. 1332-1338.
Larry Hardesty. Computer Drawings fool human judges, pass “Visual Turing Test”. MIT News
John Markoff. A Learning Advance in Artificial Intelligence Rivals Human Abilities. nytimes
Researchers create an artificial intelligence model that learns, and draws, just like you. Torstar News Service
Dave Gershgorn. Computers are closer to copying the way human learn. Popsci.
以下是论文
◆◆回复12 下载pdf
©本文由机器之心原创编译，转载请联系本公众号获得授权。
✄------------------------------------------------
加入机器之心（全职记者/实习生）：hr@almosthuman.cn
投稿或寻求报道：editor@almosthuman.cn
广告&商务合作：bd@almosthuman.cn
↓↓↓点击「阅读原文 」查看机器之心网站，获取更多精彩内容。
来源：计算机视觉联盟
本文约6400字 ，建议阅读8分钟。
本文介绍了2020年发表的人工智能（AI）论文。
几周前，我发表了一篇文章，里面有要在2020年阅读的人工智能（AI）论文。如果你把所有额外的阅读建议都算进去，总共有27篇文章。
文章网址：
https://towardsdatascience.com/ai-papers-to-read-in-2020-ac0e4e91d915
然而，这份清单还远未完成。许多如宝石般的文章被遗漏或只是简单地提到。在这篇文章中，为了你的阅读乐趣，我列出了今年阅读人工智能论文的十条建议（以及其他一些进一步的阅读建议）。
在这个列表中，我主要关注那些在不提出新架构的情况下推动最新技术的文章，这些文章不包含最新的YOLO或ResNet变体；相反，主要包括了损失公式、理论突破、新优化器等方面的最新进展。
对于文章的前半部分，我将重点介绍计算机视觉和NLP，因为这些是我最熟悉的主题，并从一两个经典技术开始。对于每一篇论文，我都会总结其主要贡献，并列出阅读理由。最后，我在每一篇文章的结尾都给出了关于这个主题的具体阅读建议，并将其与其他最新进展或类似想法联系起来。
1.GloVe (2014)Pennington, Jeffrey, Richard Socher, and Christopher D. Manning. “Glove: Global vectors for word representation.” 2014年自然语言处理方法会议（EMNLP）论文集。
论文链接：
https://www.aclweb.org/anthology/D14-1162.pdf
虽然现在的社区主要关注神经网络，但许多早期的结果是通过更简单的数学方法获得的。GloVe是从经典算法出发的，它是基于减少单词共现矩阵维数的单词嵌入模型。与以前的方法不同，GloVe使用隐式表示法，使其可以扩展为大规模文本语料库。
理由1：如果你从自然语言处理（NLP）入手，这是一本很好的读物，可以帮助你了解单词嵌入的基本知识以及它们的重要性。
理由2：以前并不是所有的东西都是基于Transformers的，阅读早期的作品是一个很好的方法去找到一个“被遗忘的想法”，该想法可以使现有技术进一步发展。
Transformers：
http://papers.nips.cc/paper/7181-attention-is-all-you-need
理由3：许多作者在后来扩展了本文中提出的许多概念。如今，词嵌入已成为自然语言处理（NLP）中的主要内容。
进一步阅读：在同一时期，Google发布了Word2Vec，另一个著名的语义向量生成模型。不久之后，这些想法被生物学界采纳，作为表示大蛋白和基因序列的方法。而现在BERT是词汇表征和语义理解的主导方法。
Word2Vec:
https://arxiv.org/abs/1301.3781
BERT:
https://arxiv.org/abs/1810.04805
2.AdaBoost (1997)Freund, Yoav; Schapire, Robert E (1997). “A decision-theoretic generalization of on-line learning and an application to boosting”.
论文链接：
https://www.sciencedirect.com/science/article/pii/S002200009791504X
经典的机器学习模式根本就不灵活，大多数公式都有显著的局限性，这使得它们无法扩展到越来越复杂的任务中。
首先解决这个问题的办法之一是将现有的最佳模式进行投票整合。1997年，Freund和Schapire提出了AdaBoost算法，这是一种元启发式学习算法，能够将许多“弱”模型运用到“强”分类器中。
简而言之，该算法迭代地训练多个分类器，并将每个训练样本重新加权为“简单”或“困难”，随着训练的进行，这套系统会通过更多地关注较难分类的样本来进化。该算法非常有效，但是遇到复杂的问题也很容易过度拟合。
理由1：可以说，神经网络是弱分类器（神经元/层）的集合，然而神经网络文献的发展是独立于整体的。读一篇关于这个主题的论文可能会对为什么神经网络工作得这么好产生一些见解。
理由2：许多新手把传统的机器学习方法视为过时和“软弱”的，在几乎所有事情上都偏爱神经网络。AdaBoost是一个很好的例子，说明经典的机器学习并不是很弱，而且与神经网络不同的是，这些模型具有很强的可解释性。
理由3：有多少报纸是从一个赌徒的故事开始的，他因为一次又一次输给朋友的骑马赌博而受挫？我也真希望我敢写这样的论文。
进一步阅读：其他流行的集成方法包括随机森林分类器、梯度提升技术和广受好评的XGBoost软件包，它以赢得数次机器学习竞赛而闻名，同时相对容易使用和调整。这个家族中最新加入的是微软的LightGBM，它适用于大规模分布的数据集。
随机森林分类器：
https://en.wikipedia.org/wiki/Random_forest
梯度提升技术：
https://en.wikipedia.org/wiki/Gradient_boosting
XGBoost软件包：
https://github.com/dmlc/xgboost
LightGBM：
https://github.com/microsoft/LightGBM
3.Capsule Networks (2017)Sabour, Sara, Nicholas Frosst, and Geoffrey E. Hinton. “Dynamic routing between capsules.” 神经信息处理系统的研究进展。
论文链接：
https://arxiv.org/abs/1710.09829
神经网络文献从感知器模型开始，到卷积神经网络（CNN）。下一个飞跃是一个备受争议的话题，其中建议之一就是由Sara Sabour，Nicholas Frosst和图灵奖获得者Geoffrey Hinton提出的Capsule Network。
理解胶囊网络的一个简单方法是用“胶囊”代替“目标检测器”。每层“目标检测器”都试图识别图像中的相关特征，以及它的姿态（方向、比例、倾斜等），通过叠加探测器，可以导出物体的鲁棒表示。
从本质上讲，胶囊并不像cnn那样将本地信息聚合到高级功能中，取而代之的是，它们检测目标部分并按层次组合它们以识别更大的结构和关系。
理由1：作为科学家，我们都应该寻找下一个重大事件。虽然我们不能说胶囊网络将是下一个摇滚明星，但我们可以说他们试图解决的问题是相关的，并且对于所有相关问题，最终会有人回答。
理由2：本文提醒我们CNN并不完美，它们对旋转和缩放不变。尽管我们使用数据增强来缓解这种情况，但俗话说，没有一种创可贴能治愈一个男人。
理由3：在深度学习成为主流之前，许多目标检测方法都依赖于识别易于发现的“目标部分”并针对数据库/本体执行模式匹配。Hinton和他的团队正在做的是使这种早期方法现代化，这就是为什么我们都应该不定期阅读经典。
进一步阅读：在过去的一年中，Attention机制引起了很大注意，尽管它没有尝试替代或增加卷积，但确实为全局推理提供了一条途径，这是现代网络中众多Aquiles脚跟之一。
4.Relational Inductive Biases (2018)Battaglia, Peter W., et al. “Relational inductive biases, deep learning, and graph networks.” arXiv preprint arXiv:1806.01261 (2018).
论文链接：
https://arxiv.org/pdf/1806.01261.pdf
这篇文章总结了深层思维团队相信的深度学习下一个重要技术：图神经网络（GNNs）。
用作者自己的话说：
(…)。我们认为，组合泛化必须是人工智能实现类人能力的首要任务，结构化表示和计算是实现这一目标的关键。正如生物学合作使用自然和培养一样，我们反对在“手工工程”和“端到端”学习之间的错误选择，而是提倡一种从两者互补优势中获益的方法。我们将探讨如何在深度学习架构中使用关系归纳偏差来促进对实体、关系和组合规则的学习。
旁注：归纳偏差是学习算法对数据所做的所有假设。例如，线性模型假设数据是线性的。如果一个模型假设数据有一个特定的关系，它就有一个关系归纳偏差。因此，图是一种有用的表示。
理由1：目前的CNN模型是“端到端”的，这意味着它们使用的是原始的，大部分是未经处理的数据。特征不是由人类“设计”的，而是由算法自动“学习”的。我们大多数人都被教导特征学习会更好。在本文中，作者提出了相反的观点。
理由2：早期的人工智能文献大多与计算推理有关，然而计算直觉占了上风。NN不会对输入进行仔细考虑；它们会产生一种相当精确的数学“预感”。图形可能是一种将这种差距与直觉推理联系起来的方法。
理由3：组合问题可以说是计算机科学中最关键的问题，大多数都处于我们认为可处理或可能的边缘。然而，我们人类可以自然地、毫不费力地推理。图神经网络是答案吗？
进一步阅读：GNNs是一个令人兴奋和不断发展的领域。从图论中，我们知道几乎任何事物都可以被建模为一个图。谢尔盖·伊万诺夫（Sergei Ivanov）在2020年ICLR会议上发表了大量参考文献，列出了GNN的新趋势。
2020年图机学习的主要趋势：
https://towardsdatascience.com/top-trends-of-graph-machine-learning-in-2020-1194175351a3
5.Training Batch Norm and Only BatchNorm (2020)Frankle, Jonathan, David J. Schwab, and Ari S. Morcos. “Training BatchNorm and Only BatchNorm: On the Expressive Power of Random Features in CNNs.” arXiv preprint arXiv:2003.00152 (2020).
论文链接：
https://arxiv.org/abs/2003.00152
你相信在CIFAR-10上，仅ResNet-151的批处理标准化层就可以达到+60%的精确度吗？换句话说，如果你将所有其他层锁定在它们的随机初始权值，并训练网络50个左右的周期，它的性能将比随机的好。我不得不把这篇论文复制出来亲眼看看，“魔力”来自于经常被遗忘的批次范数的γ和β参数：
批处理标准化操作的完整定义。γ和β是两个可学习的参数，可在标准化发生后允许图层缩放和移动每个激活图。
理由1：这是一个疯狂的想法，值得一读。开箱即用的想法总是受欢迎的。
理由2：你可能会问自己批归一化层如何学习，并且你可能会想知道为什么有人会关心这一点。对于数据科学中的许多事情，我们认为批归一化是理所当然的，我们相信这只会加速训练。但是，它可以做得更多。
理由3：这篇文章可能会激起你的兴趣，让你看看所有的公共层都有哪些参数和超参数。
进一步阅读：大多数课程教导批归一化层是针对所谓的内部协方差转移问题。最近的证据表明情况并非如此（https://arxiv.org/abs/1805.11604），相反，作者认为BN层使整体损失情况更为平滑。另一个巧妙的想法是彩票假说，它也是由弗兰克尔等人提出的。
彩票假说：
https://arxiv.org/abs/1803.03635
6.Spectral Norm (2018)Miyato, Takeru, et al. “Spectral normalization for generative adversarial networks.” arXiv preprint arXiv:1802.05957 (2018).
论文链接：
https://arxiv.org/abs/1802.05957
在GAN文献中，Wasserstein损失改善了训练GANs的几个关键挑战，然而它规定梯度必须有一个小于或等于1的范数（1-Lipschitz）。损失的最初作者建议将权重裁剪为[-0.01，0.01]，以此来增强小梯度。作为响应，也有人提出了更干净的解决方案，使用频谱范数作为约束权重矩阵以生成最多单位梯度的平滑替代方法。
Wasserstein损失：
https://arxiv.org/abs/1701.07875
理由1：标准化是一个比较大的话题，许多特殊属性可以通过专门的标准化和精心设计的激活函数来实现。
理由2：除了作为一个标准，它也是一个正则化，这是神经网络设计中经常被忽视的话题。除了dropout，读一篇关于该问题的成功论文让人耳目一新。
dropout:
https://en.wikipedia.org/wiki/Dropout_(neural_networks)
进一步阅读：标准化技术的其他最新进展是组标准化和自适应实例标准化技术，前者以小批量解决了批量范数的一些缺点，而后者则是任意风格转换的关键突破之一。
7.Perceptual Losses (2016)Johnson, Justin, Alexandre Alahi, and Li Fei-Fei. “Perceptual losses for real-time style transfer and super-resolution.” 欧洲计算机视觉会议. Springer, Cham, 2016.
大多数神经网络背后的驱动力是损失函数。在描述什么是好的和什么是坏的损失函数越是成功，我们就越快收敛到有用的模型中。在文献中，大多数损失相对简单，只能测量低水平的属性。除此之外，获取高级语义也是出了名的棘手。
Perceptual Losses论文认为，可以使用预先训练的网络来度量语义相似度，而不是手工设计复杂的损失函数。在实践中，生成值和真实值的结果通过预先训练的VGG网络传递，并比较特定层的激活情况。相似图像应该有相似的激活。早期图层捕捉广泛的特征，而后期图层捕捉更多细微的细节。
理由1：损失是生成优秀模型最重要的方面之一。没有一个合适的反馈信号，任何优化过程都不会收敛。这就是一个好老师的角色：给予反馈。
理由2：成功的损失往往具有里程碑意义。在感知损失被发明之后，GANs所获得了品质的跃升。理解这部作品对于理解大部分后期技术是必不可少的。
理由3：这些神经损失既神秘又有用。虽然作者对这些模型的工作原理提供了合理的解释，但它们的许多方面仍然是开放的，就像神经网络中的大多数东西一样。
进一步阅读：神经网络的一个迷人的方面是它们的可组合性。本文利用神经网络来解决神经网络问题。拓扑损失理论将这种思想推广到图像分割问题中。神经结构搜索（NAS）文献使用神经网络来寻找新的神经网络。至于计算机视觉的其他损失，这里有一个全面的指南。感谢Sowmya Yellapragada整理了这个强大的清单：
https://medium.com/ml-cheat-sheet/winning-at-loss-functions-2-important-loss-functions-in-computer-vision-b2b9d293e15a
8.Nadam (2016)Dozat, Timothy. “Incorporating nesterov momentum into adam.” (2016).
我们大多数人都熟悉SGD、Adam和RMSprop等术语，有些人还知道一些不太熟悉的名字，如AdaGrad、AdaDelta和AdaMax，但是很少有人花一些时间来理解这些名称的含义以及为什么Adam是当今的默认选择。Tensorflow捆绑了Nadam，它改进了Adam，但是大多数用户并不知道。
理由1：本论文对大多数神经网络优化器进行了全面而直接的解释。每一种方法都是对其他方法的直接改进。很少有论文能在两页半的篇幅里涵盖如此重数学的知识。
理由2：我们都认为优化器是理所当然的，了解它们的基本原理对改进神经网络非常有用，这就是为什么我们在RMSprop不收敛时用Adam替换它，或者用SGD替换它。
进一步阅读：自2016年以来，已经提出了许多对优化器的其他改进，有些将在某个时候合并到主流库中。看看 Radam, Lookahead,和Ranger 的一些新想法。
Radam：
https://arxiv.org/abs/1908.03265v1
Lookahead：
https://arxiv.org/abs/1907.08610
Ranger：
https://github.com/lessw2020/Ranger-Deep-Learning-Optimizer
9.The Double Descent Hypothesis (2019)Nakkiran, Preetum, et al. “Deep double descent: Where bigger models and more data hurt.” arXiv preprint arXiv:1912.02292 (2019).
传统的观点认为小模型欠拟合，大模型过拟合，然而，在彩虹之上的某个地方，更大的模型仍然闪耀着光芒。
本文中，Nakkiran等人有证据表明，随着尺寸的增长，一些模型表现出“双下降”现象，测试精度下降，然后上升，然后再次下降。此外，他们认为拐点是在“插值阈值”：一个模型足够大来插值数据的点，换句话说，当一个模型的训练超出了该领域的建议，它就会开始改进。
理由1：大多数课程都教授偏差/方差权衡，显然，该原则仅在一定程度上适用——需要时间来复习基础知识。
理由2：如果增加的周期数也越过了插值点，我们都应该尽早放弃，看看会发生什么。总的来说，我们都可以做科学的分析。
理由3：这和5很好地提醒了我们还有很多我们不知道的地方。并非我们所学的一切都是正确的，并且并非所有直观的知识都是正确的。
进一步阅读：一个更轻松的阅读是图像分类的“技巧包”。在这本书中，你将找到几个简单且可操作的建议，用于从模型中提取额外的性能下降元素。
图像分类的“技巧包”：
https://arxiv.org/abs/1812.01187
10.On The Measure of Intelligence (2019)François, Chollet. “On the Measure of Intelligence.” arXiv preprint arXiv:1911.01547 (2019).
https://arxiv.org/abs/1911.01547
大多数人都在努力多走一英里，弗朗索瓦·乔利特正在向月球射击。
在这个列表中，所有提到的文章都进一步推动了实践和理论的发展。一些技术已经被广泛采用，而另一些则为融合提供了良好的改进，然而，比肩人类智力，仍然是一个神秘而难以捉摸的话题，更不用说奥秘或神秘了。
时至今日，人工智能领域朝着通用智能方向的进步还只是用“成就”来衡量。每隔一段时间，一种算法在复杂的任务中击败了人类，比如国际象棋、dota2或围棋。每当这种情况发生时，我们都说我们又近了一步. 然而，这还不足以衡量智力的技能习得效率。
在这篇（长篇）文章中，Chollet认为：“要想朝着更智能、更人性化的人工系统迈进，我们需要遵循适当的反馈信号。”换句话说，我们需要一个合适的机器智能基准，一种智商测试。因此，作者提出了抽象推理语料库（ARC）。
ARC可以被看作是一个通用的人工智能基准，一个程序综合基准，或者一个心理测量智能测试。它的目标是人类和人工智能系统，这些系统旨在模拟人类一般流体智能的形式。”
理由1：虽然数据科学很酷很时髦，但人工智能才是真正的核心。如果没有人工智能，就不会有数据科学。它的最终目标不是寻找数据洞察力，而是构建可以拥有自己想法的机器。花些时间思考以下基本问题：什么是智力，我们如何衡量？本文是一个好的开始。
理由2：在过去的几十年里，IA社区被来自数理逻辑和演绎推理的思想所支配，但是支持向量机和神经网络在没有任何形式的显式推理的情况下，比基于逻辑的方法更先进。ARC是否会引发经典技术的复兴？
理由3：如果Chollet是正确的，我们离创建能够求解ARC数据集的算法还有几年的时间。如果你正在寻找一个可以在业余时间使用的数据集，这里有一个可以让你保持忙碌的数据集：
进一步阅读：2018年，Geoffrey Hinton、Yosha Bengio和Yan LeCun因其在深度学习基础上的先驱工作而获得图灵奖。今年，在AAAI会议上，他们就人工智能的未来发表了自己的看法。你可以在Youtube上观看：
https://youtu.be/UX8OubxsY8w
我想用杰弗里·辛顿的一句话来结束这篇文章，我相信这句话概括了这一切：“未来取决于某个研究生，他对我所说的一切都深表怀疑。”
GloVe通过隐式完成了共现矩阵。AdaBoost使数百个弱分类器成为最新技术。胶囊网络挑战了CNN，而图神经网络可能会取代它们。关键的进步可能来自归一化，损失和优化器，而我们仍然有空间质疑批处理规范和训练过度参数化的模型。
我想知道还有多少关于dropout和ReLU的事情需要去发现。
参考链接：
https://towardsdatascience.com/ten-more-ai-papers-to-read-in-2020-8c6fb4650a9b
编辑：王菁
校对：林亦霖
—完—
想要获得更多数据科学领域相关动态，诚邀关注清华-青岛数据科学研究院官方微信公众平台“ 数据派THU ”。
相关问答
使用AI写论文通常涉及选择适的AI写作工或平台,输入主题、要点和结构信息,然后让AI系统生成内容。首先,明确论文的题目和主旨,然后提供必要的背景信息、关键...
人工智能深度学习方向的论文也是很容易发表的,作者在投稿前需要了解期刊的信息和要求,并且注意人工智能论文撰写的细节,提高论文的质量投稿就会顺利许多。人...
推开想象的窗户,我看到那是一个风雨交加的夜晚,诺亚方舟载着一船的人,在风雨飘摇之中艰难地驶向未来远方的安身之地。但巨浪的冲击使诺亚方舟日渐残破,日渐...
AI在一定程度上可以辅助写论文,但需要人类的指导和编辑。AI可以帮助提供信息检索、理论分析和相关文献的整理。通过使用AI生成语言模型,可以得到一些关于特定...
全面化人工智能可能意味着人类的终结……机器可以自行启动,并且自动对自身进行重新设计,速率也会越来越快。受到漫长的生物进化历程的限制,人类无法与之竞争,...
使用手机进行AI写论文可以借助一些AI写作工具或者APP。这些工具通常有自动论文生成的功能,可以根据输入的关键词、选定的论文类型和主题,生成与论文主题相关的...
使用AI撰写毕业论文存在潜在风险,主要集中在学术诚信和思考能力方面。因为AI生成的内容可能涉及抄袭或缺乏原创性,导致论文质量不符合学术要求。还有,一定要...
使用AI撰写论文存在着一定风险被检测到的可能性。然而,一定要使用ai工具,如公众号尔笔。虽然AI写作技术能够生成高质量的文章,但在学术界有专门的工具和方法...
标题:利用AI技术进行论文润色的方法正文:在当今的学术界,借助人工智能(AI)技术来润色论文已经成为一种流行的方法。利用AI技术可以有效地改善论文的质量,...
[回答]人活一世,不可能与世隔绝,活在真空中,不可能与身边的人不去打交道。在与人的交往中慢慢地发现某人已经驻足心中,心中就产生了爱恋,还有一份淡淡的牵...
