回到主页

智源社区AI周刊#008 (2020.02.10)

为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯,智源研究院编辑团队本周整理了第8期《智源社区AI周刊》,从学术(论文和新思想、学术会议等),行业和政策(技术产业政策、项目基金申请、技术投融资等),人物(学者的人事变动和获奖情况)、数据(数据集),工具(新工具和应用推荐),求职(职场研究报告等)等诸多角度,鸟瞰过去两周人工智能领域值得关注的动态。

过去两周(2020/01/27~2020/02/09),值得关注的内容有以下3方面:

  • 作为2020年人工智能学界的第一个顶会,AAAI 2020已经在美国纽约拉开了帷幕。这届AAAI可谓是火爆异常,一共收到了8800篇提交的论文,最终有效投稿为7737篇,接受的论文数量是1591篇,接受率为20.6%,相较于去年的16.2%的接受率有较大提升。AAAI的“Outstanding Paper Award”共提及4篇论文,其中最佳论文及提名、最佳学生论文及提名各有一篇。其中最佳论文由华盛顿大学艾伦人工智能研究所获得,该论文针对WSC挑战提出了WINOGRANDE测试集,包含4万4千个模型问题。作者对WSC挑战问题增加了难度和规模。其关键步骤包括:精心设计的众包问题。使用AFLITE algorithm抑制系统偏好。(详情参见本周报“会议”栏目)  
  • 2月6日,美国国家工程院(NAE)公布2020年新当选院士、外籍院士名单,共增选87名新院士和18名外籍院士,其中包括李飞飞、邓中翰等七位华人科学家。其中前者的当选理由为为建立大型机器学习和视觉理解知识库做出了贡献。(详情参见本周报“人物”栏目)  
  • 近日,Google宣布,它们的数据集搜索引擎不再是beta版了。这意味着该产品已经正式向用户们开放使用。Google数据集搜索已经涵盖了超过2500万种不同类型的数据集,它可以帮助使用者轻松地找到所有数据集的下载链接。在正式版中,使用者可以根据所需的数据集类型(表格、图片、文本等),或者数据集是否可以免 费获取等条件来进行搜索。如果数据集是关于某个地区的,使用者也可以通过地图进行查找。(详情参见本周报“新工具”栏目)

下面是各个要点的详情介绍。

▋ 论文推荐

FixMatch:简单有效的半监督学习方法

FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

半监督学习旨在利用未标记数据改进模型的性能,它可以一定程度上减少模型训练对大量人工标注的依赖。近期,Google研究院提出了一个简单粗暴的半监督学习方法FixMatch,它在各种标准的半监督学习基准测试中都取得了最先进的性能。论文展示了将两种常见半监督学习方法(一致性正则化和伪标签)简单结合后产生的威力。FixMatch方法首先利用模型为经过弱增强的无标签图像生成伪标签。对于给定的图像,只有在模型产生高可信预测时,才保留伪标签。然后,该模型被训练来预测当输入同一图像的强增强版本时的伪标签。尽管这个模型很简单,但根据论文的展示,FixMatch在各种标准的半监督学习基准测试中都取得了最先进的性能,包括在CIFAR-10上使用250个标签获得94.93%的准确率、使用40个标签(相当于每个类只有4个标签)获得88.61%的准确率。由于FixMatch与现有的性能更差的半监督学习方法有许多相似之处,论文中进行了大量的ablation study,以梳理出对FixMatch成功最重要的实验因素。
 

来源:Google Research | 代码链接 | 论文下载

完全基于注意力机制的图表征学习模型Graph-Bert

Graph-Bert: Only Attention is Needed for Learning Graph Representations

传统的图神经网络存在许多严重影响模型性能的问题,例如模型假死和过于平滑问题。模型假死和过于平滑都可以归结于传统GNN的类卷积特征学习方式以及基于聚合操作(mean,max,sum)的信息更新方式,这会导致随着模型层数加深,模型会逐渐丧失对输入的响应,因此一般GNN都是只堆叠不超过两层。同时,模型学习到的不同节点的表征信息也会愈发相似,从而变得无法区分。此外,由于传统GNN都考虑图中的固有内在连接(即边),因此无法对图数据进行并行化处理。为了解决以上问题,本文提出了Graph-Bert,Bert是一个用于NLP的模型,其核心在于attention机制,将这种机制拓展到图结构数据上,便是Graph-Bert。Graph-Bert将原始图采样为多个子图,并且只利用attention机制在子图上进行表征学习,而不考虑子图中的边信息。因此Graph-Bert可以解决上面提到的传统GNN具有的性能问题和效率问题。此外,传统GNN受限于图结构的多样性,无法进行跨任务的预训练,而Graph-Bert由于不考虑图中的边信息,因此并不受限于图结构,可以很好地进行预训练和迁移学习。

来源:Florida State University | 论文下载

DeepShift:移动端部署神经网络新方法

DeepShift: Towards Multiplication-Less Neural Networks

深度学习模型,尤其是深度卷积神经网络(DCNN),在多个计算机视觉应用中获得很高的准确率。但是,在移动环境中部署时,高昂的计算成本和巨大的耗电量成为主要瓶颈。而大量使用乘法的卷积层和全连接层正是计算成本的主要贡献者。华为的这篇论文提出了解决该问题的新方法,即引入两种新型运算:卷积移位(convolutional shift)和全连接移位(fully-connected shift),从而用按位移位(bitwise shift)和按位取反(bitwise negation)来取代乘法。使用了卷积移位和全连接移位的神经网络架构DeepShift模型可以在不使用乘法的情况下实现,且在CIFAR10数据集上获得了高达93.6%的准确率,在ImageNet数据集上获得了70.9%/90.13%的Top-1/Top-5准确率。
 

来源:华为 | 代码链接 | 论文下载

通过预训练生成跨语种自然语言

Cross-Lingual Natural Language Generation via Pre-Training

自然语言生成模型的训练需要大规模的训练数据,然而大多数的数据集都是以英语等资源丰富的语言提供的,限制了这些模型在其它语言上的应用。本篇论文提出了一种跨语言预训练方法XNLG,可以将文本生成任务的监督信号在不同语言间迁移,从而实现自然语言生成模型的跨语言的零样本或少样本学习。XNLG是一个序列到序列的Transformer模型,它的预训练包括两个阶段:编码预训练、解码预训练,以及两个维度:单语预训练、跨语言预训练,共计4个预训练任务。本文作者在跨语言零样本问题生成/文本摘要任务(用英文训练,在其它语言上测试)上进行了实验。结果表明,XNLG可以超越基于机器翻译的流水线模型。此外,本文作者还实验了在有不同数目的目标语言训练数据的情况下,XNLG的跨语言迁移效果的变化情况。结果表明,在各种数据量上XNLG都能将源语言的知识迁移到目标语言上并且提升目标语言上的效果,尤其是当目标语言训练数据量较少时。

来源:微软亚洲研究院 | 论文下载

基于n元组训练目标的非自回归机器翻译

Minimizing the Bag-of-Ngrams Difference for Non-Autoregressive Neural Machine Translation

非自回归神经机器翻译模型(NAT)对目标词的生成进行独 立的建模,从而显著地提升了翻译速度。然而,对非自回归模型来说,词级别的交叉熵损失函数不合理地要求模型输出与参考译文严格对齐,并且无法准确地建模目标端的序列依赖关系,从而导致其与模型翻译质量的相关性较弱。在本文中,我们提出了基于模型与参考译文间n元组袋差异的训练目标,以该训练目标来训练非自回归模型。我们克服了指数级搜索空间和n元组袋维度巨大的困难,给出了计算n元组袋差异的高效算法,使这个基于n元组袋的训练目标具有可导、高效、易于实现的优点。本文在三个机器翻译数据集上进行了实验验证,结果表明,本文的方法在WMT14英语-德语数据集上取得了约5.0个BLEU值的大幅提升,在另外两个数据集上也有显著提升。

来源:AAAI 2020 | 论文下载 | 代码链接

▋ 观点

马斯克直聘AI人才:核心编程能力比教育背景更加重要

对于特斯拉AI团队虚位以待的高精尖岗位,马斯克表示:教育背景无关紧要,但候选人都需要通过核心编程能力测试。至于这种“教育背景”有多么无关紧要,马斯克继续回复补充说:绝对不需要博士学位,我甚至不在乎你是否高中毕业。重要的是对AI有深入理解。毕竟AI行业随深度学习复兴以来,在准入门槛方面一直不低,不少名校顶尖的科学家、教授和博士才是核心玩家。甚至最早衡量AI公司能力和估值,还有过拼博士数量的做法。而现在,马斯克做足姿态,只为广招英才把特斯拉推向新高峰。
 

来源:量子位

▋ 行业和政策

机器之心2019 AI进展报告

2019年可以说是「预训练模型」流行起来的一年。自BERT引发潮流以来,相关方法的研究不仅获得了EMNLP大会最佳论文等奖项,更是在NLP、甚至图像领域里引领了风潮。去年也有很多游戏AI取得了超越人类的水平。人工智能不仅已经玩转德州扑克、星际争霸和Dota2这样复杂的游戏,还获得了Nature、Science等期刊的肯定。机器之心整理了去年全年在人工智能、量子计算等领域里最为热门的七项研究。包括:1.OpenAI、发布15亿参数量的通用语言模型GPT-2;2.神经网络架构搜索新方法无需显式权重训练即可执行各种任务;3.CMU预训练模型XLNet;4.AI攻陷多人德州扑克登上Science;5.Google宣布实现量子优越性;6.DeepMind星际争霸AI登上Nature;7.ICML 2019最佳论文:拥有解耦表征的无监督学习是不可能的。
 

来源:机器之心

国家自然科学基金委项目申请提交时间推迟到2020年4月20日

为配合疫情防控工作的需要,自然科学基金委决定适当推迟申请和结题材料集中接收的截止时间。2020年度项目申请集中接收工作截止时间由原定的2020年3月20日延后至2020年4月20日16时。对于2019年资助期满的资助项目,电子结题材料接收截止时间由原定的2020年3月1日延后至2020年4月20日16时。对于《国家自然科学基金资助项目年度管理报告》,依托单位在信息系统中开始填写时间由原定的2020年4月1日延后至2020年5月1日,提交截止时间由原定的2020年4月15日延后至2020年5月15日16时。对于《国家自然科学基金2016年度结题项目应退结余资金情况表》,依托单位在信息系统中提交截止时间由原定的2020年4月15日延后至2020年5月15日16时。
 

SECURITI.ai 获5000万美元B轮融资

SECURITI.ai位于加利福尼亚的硅谷。它由数据保护,网络安全,风险评估和机器学习方面的从业者们组建而成,这些从业者来自Elastica(与BlueCoat合并,价格为2.8亿美元,而联合公司acq为$4.7B),赛门铁克和思科。以前,SECURITI.ai团队经营着Symantec的Cloud Security业务。前期SECURITI得到了众多硅谷风投,Mayfield Fund和General Catalyst等公司的支持,并获得了3100万美元的资金。目前它为上市公司的首席执行官和高管在网络安全,隐私,数据管理以及身份软件和服务方面提供建议。

来源:crunchbase

▋ 人物

李飞飞、邓中翰等七位华人学者当选2020美国工程院院士

2月6日,美国国家工程院(NAE)公布2020年新当选院士、外籍院士名单,共增选87名新院士和18名外籍院士,其中包括李飞飞、邓中翰等七位华人科学家。前者的当选理由为为建立大型机器学习和视觉理解知识库做出了贡献;后者的当选理由是为研制世界上第一台CMOS单芯片网络摄像机和中国监控视音频编码(SVAC)国家视频标准做出贡献。

来源: 新智元 

2020年富兰克林学院奖颁布,深度学习鼻祖之一福岛邦彦获奖

费城的富兰克林研究院宣布了2020年富兰克林研究院奖的获得者,6项本杰明·富兰克林勋章和2项鲍尔奖揭晓了10位获奖者。深度学习鼻祖之一福岛邦彦获得了2020年鲍尔奖之科学成就奖:他将神经科学和工程学的原理联系起来,发明了一种具有视觉模式识别能力的神经网络,从而推动了当今人工智能的兴起。1980年,福岛邦彦在论文《Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position》提出了一个包含卷积层、池化层的神经网络结构:神经认知机。神经认知机的模型堪称CNN的发展的源头。

来源:PR Newswire | 新智元 

▋ 数据

CCMatrix:用于训练翻译模型的十亿规模级bitext数据集

CCMatrix是用于训练高质量的翻译模型,基于Web的bitexts的最大数据集。该数据集的获取通过从CommonCrawl公共数据集的快照中提取的涵盖576种语言的超过45亿个句子,比去年共享的WikiMatrix语料库大50倍以上。收集此大小的数据集需要修改之前用于WikiMatrix的bitext挖掘方法。为了比较数十亿个句子以确定哪些是互译而带来的,Facebook AI使用了大规模并行处理以及高效的FAISS库来进行快速相似性搜索。

来源:Facebook AI | 论文下载 | 数据集主页 | Github链接

JEC-QA:清华大学司法考试问答数据集

清华大学孙茂松、刘知远团队在AAAI2020发表论文《JEC-QA: A Legal-Domain Question Answering Dataset》。文章构建了一个基于司法考试的问答数据集,包含了大约26000道司法考试的选择题。与传统QA数据集不一样的是,法律领域的问答依赖于大量专业知识的理解,和对大量参考资料的结合。本文分析了司法考试的难点,并通过一系列实验证明了现有的模型即使是距离非专业人士的答题水平仍然有很大的差异,而非专业人士与专业人士之间的水平也相去甚远,这也为该数据集的解决带来了巨大的挑战。

▋ 代码

Keras图数据学习

在现实世界的应用中,有很多数据可以通过图像的形式表示,如引用网络、社交网络(关注者图、朋友网络……)、生物网络或电信等。利用图数据特征的提取,可以借助节点间的信息传递来提高预测模型的性能。然而,图数据的表示并不简单。在这篇文章中,作者使用Cora引用网络作为实验数据集。每个节点表示一篇科学论文,节点之间的边表示两篇论文之间的引用关系。每个节点都由一组特征(BagOfWords)和一组连接到其他节点的边来表示。数据集有2708个节点,分为七类。该网络有5429个链接。以下作者只使用140个样本进行训练,其余的用于验证/测试。作者将探讨一些处理泛型图的方法,直接从数据中学习到的图表示进行节点分类。

来源:专知 | 代码链接 | 博文链接 

基于句子嵌入的无监督文本摘要

文本摘要对于人类来说是非常简单的,因为人类天生地具有理解自然语言的能力,并可以提取显著特征,使用自己的文字来总结文档的重点。但是,当今世界数据爆炸增长,缺乏人力和时间来解析数据,因此自动文本摘要方法至关重要: 自动摘要可以缩短文本阅读时间,提高效率; 当搜索我们所需要的文本时,有摘要可以更为容易查找到;相比于人力摘要,自动摘要更无偏;个性化的摘要在问答系统中非常有用,因为它们提供了个性化的信息; 使用自动或半自动摘要系统使商业抽象服务能够增加它们处理的文本文档的数量。本文主要介绍的是一个对多种语言的邮件进行无监督摘要抽取的项目。

来源:paperweekly | 代码链接 | 博文链接 

Transformer文本分类

Transformer模型(基于论文《Attention is All You Need》)遵循与标准序列模型相同的一般模式,是从一个序列到另一个序列的注意力模型。输入语句通过N个编码器层传递,该层为序列中的每个单词/令牌生成输出。解码器关注编码器的输出和它自己的输入(自我注意)来预测下一个单词。实践证明,该Transformer模型在满足并行性的前提下,对许多顺序-顺序问题具有较好的求解质量。本文分类教程在IMDb电影评论数据集上训练一个Transformer模型用于情绪分析。在这里,我们要做的情感分析,不是序列到序列的问题。所以,只使用Transformer编码器。

来源:专知 | 代码链接 | 博文链接 

▋ 教程

【课程】Yann LeCun纽约大学深度学习课程

本课程涉及深度学习和表示学习的最新技术,重点是有监督和无监督的深度学习、嵌入方法、度量学习、卷积网和递归网,并应用于计算机视觉、自然语言理解和语音识别。Yann LeCun,自称中文名“杨立昆”,计算机科学家,被誉为“卷积网络之父”,为卷积神经网络(CNN,Convolutional Neural Networks)和图像识别领域做出了重要贡献,以手写字体识别、图像压缩和人工智能硬件等主题发表过190多份论文,研发了很多关于深度学习的项目,并且拥有14项相关的美国专利。

来源:纽约大学 | PPT下载

【书籍】图驱动机器学习 Graph-Powered Machine Learning

对于任何涉及到大型数据集中的模式匹配的任务,基于图的机器学习都是一个非常强大的工具。应用程序包括安全问题,如识别欺诈或检测网络入侵,应用程序领域,如社交网络或自然语言处理,以及更好的用户体验,通过准确的推荐和智能搜索。通过将数据组织和分析为图形,您的应用程序可以更流畅地使用以图形为中心的算法(如最近邻算法或页面排名算法),在这些算法中,快速识别和利用相关关系非常重要。现代图形数据存储(如Neo4j或Amazon Neptune)是支持图形机器学习的现成工具。图驱动机器学习向您介绍图技术概念,强调图在机器学习和大数据平台中的作用。您将深入了解各种技术,包括数据源建模、算法设计、链接分析、分类和集群。在掌握核心概念之后,您将探索三个端到端项目,它们将演示体系结构、最佳设计实践、优化方法和常见缺陷。
 

【入门】强化学习70年演进:从精确动态规划到基于模型

强化学习起源于最优控制。这个故事始于20世纪50年代的精确动态规划(exact dynamic programming),广义上讲,精确动态规划是一种结构化的方法,它将一个有限的问题分解成更小的、可解决的子问题,这归功于理查德·贝尔曼。值得了解的是,克劳德·香农和理查德·贝尔曼在20世纪50年代和60年代为许多计算科学带来了革命性的变化。在整个1980年代,出现了一些有关强化学习和控制之间联系的初步工作,第一个显著成果是Tesauro在1992年创造的基于时间差异模型的西洋双陆棋程序。在1990年代,出现了更多的算法分析倾向于我们现在所谓的强化学习。罗纳德·威廉姆斯(Ronald J. Williams)撰写了一篇开创性论文“用于连接主义强化学习的简单统计梯度跟踪算法”,其中介绍了现在的基本梯度策略。请注意,在标题中,他使用了术语“连接主义者”来描述强化学习——这是他按照人类认知的设计来指定他的模型算法的方式。这些现在被称为神经网络,但在25年前还仅仅是一个很小的研究领域。直到2000年代中期,随着大数据的出现和计算革命,强化学习才转变为基于神经网络的算法,具有许多基于梯度的收敛算法。现代的强化学习通常分为两种,一种是无模型的,另一种是基于梯度的模型,本文认可这种模型分类,下面将按照这两大类进行分别介绍。
 

【深度】可解释性 or 准确性?AI模型就一定不能两者兼得吗?

模型的可解释性,已然成为了AI领域最具挑战性的主题之一。一般规律中,模型的复杂度和准确性往往是正相关的关系,而越高的复杂度也意味着模型越可能无法实现可解释性。那AI模型的准确性和可解释性就无法并存了吗?杜克大学副教授Cynthia Rudin、耶鲁大学副教授Joanna Radin基于首个对黑盒模型提出可解释性需求的挑战赛——“可解释性机器学习挑战赛”,对这一问题进行了思考,并将观点发表在了哈佛数据科学计划与麻省理工学院出版社联合推出的刊物《哈佛数据科学评论(HDSR)》上。
 

▋ 新工具

fast.ai发布nbdev:脱胎于Jupyter Notebook的新型编程环境

不久前,fast.ai创始研究员Jeremy Howard撰文介绍了fast.ai最近提出的新型编程环境nbdev,它基于Jupyter Notebook构建,并将IDE编辑器的优点带入Jupyter Notebook,可以在Notebooks中开发而不影响整个项目生命周期。nbdev允许用户在Jupyter Notebook中创建包含测试和丰富文档系统的完整Python包。创建者已使用nbdev编写了一个大型编程库(fastai v2)以及多个小型项目。创建者发现,大多数程序员将大部分工作时间用在探索和试验上。比如他们会试验从未用过的新型API,来理解其运作原理;探索正在开发的算法的行为,以查看其处理不同数据类型的方式;探索不同的输入组合,来调试代码。nbdev系统适用于「探索式编程」(exploratory programming),正适合以上的情况。
 

来源:fast.ai | Github地址 | Nbdev文档 

Dataset Research:Google数据集搜索引擎

近日,Google宣布,它们的数据集搜索引擎不再是beta版了。这意味着该产品已经正式向用户们开放使用。Google数据集搜索已经涵盖了超过2500万种不同类型的数据集,它可以帮助你轻松地找到所有数据集的下载链接。在正式版中,你可以根据所需的数据集类型(表格、图片、文本等),或者数据集是否可以免 费获取等条件来进行搜索。如果数据集是关于某个地区的,你也可以通过地图进行查找。另外,现在搜索也做了移动端的适配,并大幅改善了数据及描述的质量。任何数据集发布者都可以通过schema.org开放标准在自己的网站上进行规范性描述,以提高搜索结果的质量。

来源:Google | 使用链接 

Coral:Google平台实现从本地 AI 产品的原型到规模化

越来越多的行业开始认识到本地AI的价值:运行AI本地推理可以显著节约带宽和云计算成本,并能将数据保存在本地,从而保护用户隐私。去年,Google发布了Coral,这款包含硬件组件和软件工具的平台使开发者能够轻松实现从本地AI产品的原型到规模化。我们的产品组合包括Coral Dev Board、USB Accelerator 和 PCIe Accelerator,现已在36个国家/地区发售。自产品发布以来,开发者已在Coral上构建了涵盖医疗保健、农业、智慧城市等诸多行业的各类应用。Google宣布,在2020 年,他们将为Coral平台添加更多新功能,进一步扩展其可能性。包括加速器模块的优化;体积更小、功耗更低、更加经济实惠的开发版;新增2GB和4GB LPDDR4内存等。

来源:Google | 报道链接 | 项目链接

DAIN:上海交通大学开源插帧工具

视频的帧率已经远远赶不上人民群众的需求了,所以有不少人都在研究如何把普通视频变成高帧率视频。去年,英伟达开源了Super SloMo,从普通的视频“脑补”出高帧率的画面,从30fps插帧到240fps,即使放慢8倍也不会感到卡顿。最近,来自上海交大的一个新的插帧算法DAIN开源。它比英伟达的算法效果更清晰、帧率更高,可以把30fps的进一步插帧到480fps,这已经超过了很多手机的慢动作录像帧率。更重要的是,英伟达的Super SloMo只用在了真实拍摄的视频上,而这项研究却可以扩展到常见的任何类型视频:电影、定格动画、动漫卡通等等。DAIN的代码已经开源,甚至研究人员还打包了一份Windows安装程序,即使没有任何AI基础的用户也可以直接拿来用。

来源:上海交通大学 | 论文下载 | 项目链接

使用神经网络将1896年视频升级到4k质量

目前人类的现实主义标准已经大大提高。如今,1896年经典电影在拉西奥塔坐火车看起来粒状,模糊且古老。但是一个名叫丹尼斯·谢里亚耶夫的人使用现代的机器学习技术将经典电影升级到21世纪的视频标准,升级后的版本中火车,衣服和乘客面部的模糊细节清晰可见。他使用了称为Gigapixel AI的商业图像编辑软件。该软件包由Topaz Labs创建,可让客户将图像放大多达600%。通过使用复杂的神经网络,Gigapixel AI将逼真的细节添加到图像中,以避免在放大时显得模糊。

来源:Ars Technica

▋ 应用

AI在疫情防控工作中的贡献

本文整理了目前AI在本次疫情中的作用,其中包括针对新型冠状病毒的AI诊断技术。阿里达摩院研发了AI算法,可将原来数小时的疑似病例基因分析缩短至半小时,大幅缩短确诊时间,并能精准检测出病毒的变异情况;“智能疫情机器人”通过语音识别、自然语义理解等人工智能技术,机器人可以针对疫情问题、就医注意、防护措施进行回答;阿里云宣布开放一切AI算力,将与合作机构向全球科学共同体免 费开放相关药物研发资源,共同加速针对新型冠状病毒的药物研发;疫情期间,百度地图慧眼迁徙大数据通过数据定向、分析等途径确定了500万人员流出的方向。通过百度迁徙,用户可以对全国乃至省市每天迁入迁出流动进行分析。在直观的可视图下,地方可以对疫情控制进行更加精准和严格的控制。

来源:AI科技大本营  

Meena:Google最新开放领域聊天机器人

现在的对话智能体(聊天机器人)都是非常专业化的,如果用户不偏离场景太远的话,这些机器人的表现还是很不错的。但是,要想让聊天机器人能够完成更广泛话题下的对话任务,发展开放领域聊天机器人就显得很重要了。开放领域聊天机器人不会仅限于在某个特定领域,而是能够和用户聊近乎所有的话题。这一研究不仅具有学术价值,还可以激发很多有趣的应用,如更深层次的人机交互、提升外语训练的效果,或用于制作交互式电影和游戏角色。但是,现在的开放领域聊天机器人有一个严重的缺陷——它们产生的对话内容往往没什么意义。要么它们的对话和当前的内容没什么连贯性,或者对现实世界没有常识和基本知识。此外,它们对于当前的语境往往给不出特定的回复。例如,「我不知道」确实是一个可以回答任何问题的答复,但是不够详细。现在的聊天机器人产生这种回复的频率比人类要高很多,因为这种回复可以覆盖很多可能的用户输入。为了解决这些问题,Google的研究者提出了一个新的聊天机器人,名为Meena。这是一个有着26亿参数的端到端神经对话模型,也就是 GPT-2模型最大版本(15亿参数)的1.7倍。通过实验可以看到,Meena比现有的SOTA聊天机器人能够更好地完成对话,对话内容显得更为具体、清楚。
 

来源:Google AI | 机器之心 

清华大学APDrawingGAN:人脸照片变艺术肖像画

肖像画是一种独特的艺术形式,通常使用一组稀疏的连续图形元素,如线条来捕捉一个人的外表特征。肖像画通常是在人物面前或基于人物照片进行创作的,其创作依赖于细致的观察、分析和丰富的经验。一幅好的肖像画能很好地捕捉到人的个性和情感。然而,即使是受过专业训练的艺术家,完成一幅精致的肖像画也需要很长时间。因此,自动地将人脸照片转换为高质量的艺术肖像画具有重要的艺术价值和实用价值该项工作被CVPR 2019录取为oral paper。CVPR是计算机视觉和人工智能领域内的国际顶 级会议,2019共收到投稿5160篇,录取1300篇,其中oral paper288篇,仅占全部投稿的5.6%。作者制作了一个微信小程序展示APDrawingGAN的效果。

强生与Concerto HealthAI利用AI加速肿瘤药物研发

医药巨头强生(Janssen)宣布与AI精准肿瘤企业Concerto HealthAI在多种疾病的药物研发中展开合作。在此次合作之前,百时美施贵宝(Bristol-Myers Squibb)和辉瑞(Pfizer)就已经与Concerto HealthAI建立合作。Concerto HealthAI首席执行官Jeff Elton博士表示:“很高兴我们全新的eurekaHealth产品,为强生的研究人员和数据学家在药物开发中带来帮助。作为精准肿瘤领域医疗AI领导者,我们企业的使命与强生在医疗科学领域的创新研究重点是高度一致的。”未来的合作中,强生将会使用Concerto HealthAI的研究平台“eurekaHealth 3.0”研究EMR现实数据。eurekaHealth 3.0 是Concerto HealthAI在今年1月份刚刚推出的新产品,是目前唯一符合FDA 21CFRPart11标准的肿e瘤精准AI解决方案。
 

来源:雷锋网 

▋ 会议

AAAI 2020最佳论文公布

作为2020年人工智能学界的第一个顶会,AAAI 2020已经在美国纽约拉开了帷幕。这届AAAI可谓是火爆异常,一共收到了8800篇提交的论文,最终有效投稿为7737篇,接受的论文数量是1591篇,接受率为20.6%,相较于去年的16.2%的接受率有较大提升。AAAI的“Outstanding Paper Award”共提及4篇论文,其中最佳论文及提名、最佳学生论文及提名各有一篇。其中最佳论文由华盛顿大学艾伦人工智能研究所获得,该论文针对WSC挑战提出了WINOGRANDE测试集,包含4万4千个模型问题。作者对WSC挑战问题增加了难度和规模。其关键步骤包括:精心设计的众包问题。使用AFLITE algorithm抑制系统偏好。AFLITE算法将自然语言转化为机器可以处理的向量。在WINOGRANDE测试集上,现在最好的方法只能达到59.4–79.1%的准确率,比人类表现(94.0%)低15%-35%。

来源:新智元

▋ 经验

OpenAI 科学家John Schulman:如何做机器学习研究

如何做机器学习领域的研究?顶 级机构学者们如何做ML Research?这是很多同学关心的问题。最近来自OpenAI的研究科学家与创始成员John Schulman撰写了一篇博文介绍做机器学习研究的一家之言:An Opinionated Guide to ML Research。他根据自己的研究经验,为未来机器学习领域的研究人员提供了一些建议,总结出成功的关键是解决正确的问题,在这些问题上不断取得进展,才能实现个人的不断成长。博文内容均是来自他亲身实践的一些经验和心得,非常值得学习!

旷视南京研究院负责人浅谈学术论文rebuttal

学术论文是发布自己或团队最新研究进展正式且最快捷的途径,也是和同行交流想法最方便、高效的方式。当同行评议(Peer review)作为学术成果正式发布的必经之路已运行200余年时,用正确的姿势进行review rebuttal便成为提高论文录用机率甚至扭转乾坤的最后一搏。本文从「What is peer review?」、「How to rebuttal?」及「Does rebuttal matter?」三部分来聊聊学术论文(主要针对人工智能领域会议和期刊)rebuttal的那些事。

来源:机器之心 

▋ 求职

腾讯AI Lab/阿里达摩院/华为/旷视/字节跳动/海康威视等公司面经集合

作者985硕,是做cv方向(包括GAN,object detection,pose estimation),成果可以概括为:三个科研项目,三个国家发明专利,两篇一作论文(CCF B和C),三段实习经历都是cv岗位,这次暑期实习面试岗位都是算法研究。目前拿到了腾讯AI Lab的口头offer,在等阿里达摩院人工智能中心的HR面,同时段还参加了华为,美图,海康威视,旷视,字节跳动等很多公司的面试。总结成一句话:要对自己的项目的每个细节都要理解,多面试多总结。
 

来源:牛客网

求职经历:连遭Google、Tesla“冷眼”,俄罗斯小伙子获自动驾驶公司Offer

近日,一位在美国工作的俄罗斯小伙子,分享了自己过去8个月的求职经历:从物理专业毕业后,就职于一家债务催收公司做数据与传统推荐系统工程。在开始对深度学习和计算机视觉领域产生兴趣后,便想转投于此领域,但是由于自身在专业知识背景、技能与经验的不足与欠缺,他在求职中处处碰壁。为了更好地弥足这些缺陷,他参加了很多Kaggle竞赛,也获得过很好的名次,甚至在一次竞赛事件中,在俄罗斯引起了一些关注,但是正如他所说,这些都入不了Google、DeepMind这些知名企业与机构的法眼,与特斯拉也是失之交臂。但是,在这艰难与煎熬的8个月时间里,他没有放弃,最终他喜提Lyft公司的Offer。本文回顾了Vladimir Iglovikov 对这段过往的叙述,也希望给那些在2020年,面临着同样烦恼与困难的小伙伴们,一些思考与力量。

▋ 趣闻

OpenAI高调站队:深度学习框架以后主要用PyTorch

OpenAI发布最新消息,宣布不再在各大AI框架中“摇摆”,而是支持PyTorch。这家马斯克参与创办、微软10亿美元投资的顶 级AI研究机构表示,正在PyTorch上标准化自家深度学习框架。与此同时,OpenAI也用实际行动表明了态度:发布了一个PyTorch版本的开源教育资源,能够让人们更容易学习深度强化学习。在博客文章中,他们也进一步解释了为什么选择Pytorch:“主要原因是为了在GPU上提高我们的研究效率。”并进一步给Pytorch打Call:在PyTorch中尝试和执行新的研究想法非常容易,能从几周缩短到几天。按照OpenAI的说法,接下来他们将会主要使用PyTorch作为官方深度学习框架,在有特定技术原因的情况下,也会使用其他框架。OpenAI表示,许多团队已经完成了切换,并期待着在未来几个月为PyTorch社区做出贡献。

来源:Open AI Blog | 量子位

以上是《智源社区AI周刊》第 8 期的内容,智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标,不断优化和完善我们的内容服务,各位读者们如有批评意见,或者好的建议,请不吝赐教发至:editor@baai.ac.cn。谢谢大家。

特约编辑:刘布楼 常政 刘沂喆

所有文章
×

还剩一步!

确认邮件已发至你的邮箱。 请点击邮件中的确认链接,完成订阅。

好的