要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年”

编者按:2016年,谷歌在人工智能领域表现最为突出,发表重量级论文最多,《Nature》、《PNAS》、《JAMA》都是世界上最顶级的科学期刊。在过去一年里, Google的论文都发表在了这三大顶级期刊上。而苹果公司也因此首次打破了保密原则,旨在人工智能领域的竞争中保持优势。

这家位于美国加州圣克拉拉县山景城的搜索巨头发表了许多史无前例的科学成果——从眼科学( ophthalmology)、计算机游戏到神经科学和气候模型。2016年可以称得上是“Google奇迹年” ,这一年里谷歌的研究人员将论文发表到了最顶级的期刊,并在数量上创造了世界记录

谷歌三大论文 要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年”

Google论文数量激增的背后是Google对人工智能领域,特别是“深度学习”日益增长的投资。深度学习是一门很强大的技术,它已经广泛地运用于很多领域,如图像分类、机器翻译、语音识别、语言合成等。

根据Google向《麻省理工科技评论》提供的数据表明:仅在2016年,Google就发表了218篇期刊或会议论文,这数据几乎是两年前的两倍。

谷歌三大论文 要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年”

Google近年在机器学习领域所发表的论文数量

DT君从科学网(Clarivate Analytics推出的一项服务)也搜集到了类似的数据,证实了这一消息。Clarivate说如果根据出版期刊的水平来衡量,Google出版物的影响力是世界平均水平的4-5倍。 相比于其他积极发表论文的人工智能公司,Google发表的论文数量远远领先。

Google排名最好

Google的出版物爆炸式地增长并非偶然。蒙特利尔大学的深度学习专家Yoshua Bengio表示: 在过去几年里, Google机器学习领域的研究人员在数量上已经增加了两倍多 ,这些人像疯子一样都在玩命地工作。

各大公司为了获得顶尖计算实验室的首轮选秀权(目的是争夺最优秀的机器学习人才),它们不能仅仅只提供“硅谷式”的丰厚报酬。西北大学的计算神经科学家康拉德·科德宁(Konrad Kording)说:“仅仅是用钱,很难雇用到人才。顶尖的人才关心的是如何使世界进步,对他们而言,他们最关心的是要写出对全世界都有用的论文,写出全世界通用的代码。

谷歌三大论文 要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年”

在Google,科研一直是由DeepMind领衔,DeepMind是由神经科学家兼程序设计师Demis Hassabis创办的。在2014年1月,被Google以4亿美元收购。

毫无疑问,Hassabis继续坚持着他最初的科学野心。他在一月份的一篇博客中表示: DeepMind将学术界的长期研究与最佳的初创公司的发展速度和发展重心很好地结合在了一起,形成了一种”混合文化 “,这种”混合文化“既符合学术目标,又对他们的创业公司很重要。Kording的博士生Mohammad Azar是DeepMind的员工,他说:”在这里,您能清晰的认识到”项目推动科学发展“的观点。“

去年,DeepMind在《Nature》杂志上发表了两篇文章。一篇论文涉及到战胜了顶级职业围棋手的AlphaGo;另一篇论文描述了一个拥有内存的神经网络怎样理解并处理新任务。这本顶级期刊曾首次报道了DNA的结构和人类基因组的测序,可想而知, Google的这两篇论文意味着什么。

谷歌三大论文 要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年”

随后,在12月份,Google研究部的科学家又发表了第一篇深度学习的论文,这篇论发表在JAMA上。在论文中,他们展示了一个可以根据视网膜图像诊断失明原因的深度学习程序。

该项目由谷歌大脑(Google Brain)领导。谷歌大脑是另一个人工智能团队,它基于公司的加州总部 。谷歌大脑还说它会优先考虑发表论文,它的研究人员可以在这里自己设定议程。

人工智能竞赛

目前数百家公司都在致力于开发更加强大的人工智能系统来增强竞争力,其中竞争最为激烈的是Google,Facebook和Microsoft。

这些公司都看到了人工智能的巨大商业潜力,因此他们正竭力地去获取客户数据,去开发无人驾驶汽车,以及将机器学习运用于医疗领域以保证自身在人工智能领域中的领先地位。

这让人们不禁想起了研发电脑芯片或研发第一批生物技术和药物的那段时期,在那段时间里,显著的学术成就为这些新兴产业奠定了基石。

这也解释了为什么发表论文很重要。科学界中”要么发表论文,要么灭亡 ”的一贯宗旨正在重新划分人工智能企业:发表论文能力弱的公司处于很大的劣势 。苹果一直以来都在为其计划和产品进行严格的保密,但这种做法对其发展是不利的,导致其在人工智能领域的水平远远落后于Google和Facebook。

谷歌三大论文 要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年”

所以,当CMU的计算机科学家Russ Salakhutdinov担任苹果公司的人工智能部门的负责人后,他就立即被允许通过博客和谈判来打破苹果的《保密守则》。

去年年底在巴塞罗那举行的机器学习科学会议上,Salakhutdinov宣布苹果公司也将开始发表论文。他在一页幻灯片中写道“我们也会出版吗?是的!

Salakhutdinov将在下周由《麻省理工科技评论》在旧金山举办的EmTech Digital大会上就人工智能主题进行发言。

文中提到的Google人工智能领域的重量级论文概述:

1.《 Mastering the game of Go with deep neural networks and tree search》

围棋游戏一直被认为是人工智能最难挑战的经典游戏,因为在围棋游戏中搜索空间巨大,难以评估棋子的具体位置和移动方向。DeepMind的研究人员让计算机利用”价值网络”评估棋局,”策略网络”选择落子。然后使用人类围棋样例训练这些神经网络,最后利用强化学习使程序在与自己下棋的过程中不断学习,达到专家水平。

在这篇论文中,他们还引入了一种将蒙特卡罗模拟与价值网络和策略网络相结合的新搜索算法。使用这种算法,AlphaGo在与其它的围棋程序比赛中,获胜率达到了99.8%,并最终在与最顶级的人类玩家的比赛中完胜人类——这曾经被认为是一个在近十年内不可能实现的壮举。

2. 《Hybrid computing using a neural network with dynamic external memory》

人工神经网络很擅长感官处理,序列强化和强化学习,但是由于缺乏外部存储器,它表示变量、数据结构和长期储存数据的能力受到了限制。

在论文中,他们引入了被称为”可微分神经计算机(DNC)“的机器学习模型。DNC包含从外部存储矩阵中读取和写入数据的神经网络,这类似于传统计算机中的随机存取存储器。与传统计算机一样,DNC也可以使用其内存来表示和操作复杂的数据结构,同时也能从数据中学习。另外,DNC也可以模仿自然语言中的推理问题。

无向图最小割问题取得新突破,谷歌研究获SODA 2024最佳论文奖

机器之心报道

机器之心编辑部

谷歌博客放出新研究,求解无向图的最小割问题。

1996 年, 美国计算机科学家 David R Karger 连同其他研究者在论文《 A new approach to the minimum cut problem》中提出了一个令人惊讶的随机算法 Karger 算法,其在理论计算机科学中非常重要,尤其适用于大规模图的近似最小割问题。

Karger 算法可以在时间为 O (m log^3n) 的图中找到一个最小割点,他们将这个时间称之为近线性时间,意思是线性乘以一个多对数因子。

在谷歌刚刚更新的一篇博客中,他们介绍了之前发布的一篇论文《 Deterministic Near-Linear Time Minimum Cut in Weighted Graphs 》,研究获得了 ACM-SIAM SODA24 最佳论文奖。文章详细阐述了一个几乎是线性时间内(而不是近线性时间)运行的新算法,这个算法是确定性的,能够可靠地找到正确的最小割,改进了之前可能无法保证结果正确或只适用于简单图的算法。可以说这是自 Karger 著名的随机化算法以来的重大发现。

谷歌三大论文 要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年” 论文地址:https://arxiv.org/pdf/2401.05627.pdf论文标题:Deterministic Near-Linear Time Minimum Cut in Weighted Graphs

注:最小割问题(通常称为最小割)是关于图连通性的基本结构问题,它一般关注的是断开网络最简单的方法是什么?在图论中,去掉其中所有边能使一张网络流图不再连通(即分成两个子图)的边集称为图的割,一张图上最小的割称为最小割。

谷歌三大论文 要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年”

一张图及其两个割:红色点线标出了一个包含三条边的割,绿色划线则表示了这张图的一个最小割(包含两条边)。

方法介绍

关于最小割问题,Karger 在 1996 年开创性的给出了一个近乎线性的时间随机算法,该算法能够以较高的概率找到最小割,并且该工作还给出了一个关键见解,即存在一个更小的图,它在很大程度上保留了所有割的大小。

这个发现是很有用的,因为可以使用较小的图作为输入来运行较慢的算法,并且较慢的运行时间(就较小的图的大小而言)仍然可以与原始(较大)图的大小接近线性。

事实上,关于最小割问题的许多结构发现都是沿着这个方向进行的。

谷歌是这样做的,从具有 n 个节点的图 G 开始,然后依据论文《 Randomized Approximation Schemes for Cuts and Flows in Capacitated Graphs 》(作者为 Benzur、Karger)提出的割保留稀疏化方法,证明了可以构造一个边数更少的稀疏加权图 G',且在这个图上,几乎所有割的大小与原图 G 中相应割的大小大致相同。

这个概念可以通过以下例子来说明:原始图由两个通过单一边连接的完全图组成,而稀疏化后的图边数更少,但边的权重更大,同时所有割的大小大致得以保留。

谷歌三大论文 要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年”

为了构建这种较稀疏的图,Benzur 和 Karger 采用了独立采样边的方法。在这种方法中,图 G 中的每条边都有一定概率被包含在图 G' 中,并且其在 G' 中的权重会根据采样概率的倒数进行放大(例如,如果一条原权重为 1 的边以 10% 的概率被包含,则其权重调整为 10)。结果表明,这种非常简单(几乎是线性时间)的方法具有很高的成功概率,可以构建出保持割的图稀疏化。

然而,Karger 算法是一种蒙特卡洛算法,即输出可能小概率不正确,并且除了与实际已知的最小割进行比较之外,没有已知的方法可以判断输出是否正确。

因此,研究人员一直在努力探索解决近线性时间确定性算法开放问题的方法。由于 cut-preserving 图稀疏化的构造是 Karger 算法中唯一随机的组成部分,因此一种方法是在近线性时间内找到稀疏化的确定性构造(也称为去随机化)。

2015 年,Kawarabayashi 和 Thorup 实现了一个重要的里程碑 —— 找到针对简单图(即每对节点之间至多有一条边且所有边权重等于 1 的图)的确定性近线性时间算法。

该研究得出一个关键思路,即最小割和另一个重要的图结构(称为「low-conductance cut」)之间存在一些联系。这种联系对于后来在一般边权重图上去随机化 Karger 算法至关重要,并帮助谷歌得出了新算法。

最小割和 low-conductance cut 的对齐

图割 S 的 conductance 定义为 S 的 cut 大小与 S 的 volume 之比(假设 S 是切口的较小体积侧且非空),其中 S 的 volume 是 S 中节点的度数。

low-conductance 的 cut S 直观地捕获了网络中的瓶颈,因为只有少量边(相对于其 volume)将 S 连接到图的其余部分。图的 conductance 被定义为图中任何 cut 的最小 conductance,并且大 conductance 的图(也称为扩展图)被认为是良好连接的,因为内部没有瓶颈。

谷歌三大论文 要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年”

红色虚线表示 cut 大小为 2,较小的一侧(底部)volume 为 24,因此其 conductance 为 1/12,这也是图的 conductance。

Kawayabarashi 和 Thorup 观察到,在最小节点度数较大的简单图中,任何非平凡(即两侧至少有两个节点)最小割都必须具有 low conductance。根据这一观察,如果可以将图划分为连接良好的簇(cluster),则划分必须与每个非平凡最小割一致,因为每个簇必须完全位于每个 cut 的一侧。然后,将每个簇收缩为一个节点,并处理较小的图,其中原始图的所有非平凡最小割都完好无损。

然而,对于加权图,上述观察不再成立,并且简单图情况中使用的相同划分可能与非平凡最小割不完全一致。

如下图所示,Jason Li 2021 年观察到,这种划分仍然与非平凡最小割大致一致。特别地,对于非平凡最小割 S,存在与 S 相差不大的 cut S',使得 S' 与簇一致。Jason Li 进一步观察到,可以利用划分的这种特性来有效地去随机化 cut-preserving 图稀疏化的构造。

谷歌三大论文 要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年”

谷歌设计的新算法旨在构建一种划分,来制定最小割的用例。与 Jason Li 在之前的工作中使用的更通用的现成方法相比,谷歌的这项研究更加精确、更加快捷。新研究在保证精度的同时在运行时间上也进行了优化,最终实现了针对最小割问题的近线性时间确定性算法。

参考链接:https://research.google/blog/solving-the-minimum-cut-problem-for-undirected-graphs/

相关问答

google发表的哪三篇论文奠定了开源?

GFS论文—2003年发表2003年,Google发布GoogleFileSystem论文,这是一个可扩展的分布式文件系统,用于大型的、分布式...Google引爆大数据时代的三篇论文1、....

hadoop三大组件的作用?

Hadoop的三大核心组件分别是:1、HDFS(HadoopDistributeFileSystem):hadoop的数据存储工具。2、YARN(YetAnotherResourceN...

谷歌学术上引用多少次算优质论文?

这个没法细致回答,专业有冷热门,即便同一专业,但具体研究方向不同,又千差万别。目前国内不太认谷歌学术引用,只看sci他引和中文核心他引。只能说有的方向可...

谷歌一边宣布实现“量子霸权”,但论文随后被删除,大家怎么看?

最近,谷歌宣布72个量子位的量子计算机研制成功,同时宣布实现“量子霸权!”,这一爆炸性的消息传来,震惊世界!但谷歌很快又把论文撤下,放弃原先说法,到底是...

深度强化学习领域近期有什么新进展?

实际上,研究中的很多变体都源自学习有用的低层子策略的不同方法;很多论文都使用了辅助的或「代理的」奖励,还有一些其它研究实验了预训练或多任务训练。不同于...

如何快速论文降重?

四招教你快速进行论文降重1、GOOGLE翻译大法“说白了‘谷歌法’就是找一篇好论文,通过免费在线翻译把论文的每一段翻译成英文,然后用谷歌在线翻译把翻译出来...

谷歌学术如何下载论文呢?

https://xue.glgoo.org/这个网站,你可以搜索文章,然后点击下载。https://sci-hub.tw/或者sci-hub这个网站,输入DOI号或者文章原链接,便可下载。ht...

【谁英语好的帮我翻译一下别谷歌翻译帮朋友写论文用的以下是...

[最佳回答]DefectsandcountermeasuresofenterprisesinGSPcertificationtrackingcheck【pickto】theGSPc...

关于降低论文的查重率,你有什么好的方法?申请方

作为每学期都要写3-4篇期末论文的老手,和大家分享几个自己的小技巧。首先要知道各个查重的网站的原理是什么,我们最常用的是万方数据库,好像这个数...

在谷歌网站发表的论文撤稿需要多长时间?

2-3个月从谷歌网站发表的论文撤稿,一般是2-3个月左右,也有的需要半年甚至一年的时间,具体的撤稿时间要结合具体的实际情况来看。2-3个月从谷歌网站发表的论...