回到主页

智源社区AI周刊#028 (2020.06.29)

为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯,智源研究院编辑团队本周整理了第28期《智源社区AI周刊》,从学术(论文和新思想、学术会议等),行业和政策(技术产业政策、项目基金申请、技术投融资等),人物(学者的人事变动和获奖情况)、数据(数据集),工具(新工具和应用推荐),求职(职场研究报告等)等诸多角度,鸟瞰过去一周人工智能领域值得关注的动态。

过去一周(2020/06/22~2020/06/28),值得关注的内容有以下3方面:

  • 2020年6月21日,在第二届北京智源大会开幕式及全体会议上,图灵奖得主、贝叶斯网络奠基人Judea Pearl做了名为《The New Science of Cause and Effect with reflections on data science and artificial intelligence》的主题演讲。在演讲中,JudeaPearl站在整个数据科学的视角,简单回顾了过去的“大数据革命”,指出数据科学正在从当前以数据为中心的范式向以科学为中心的范式偏移,现在正在发生一场席卷各个研究领域的“因果革命”。(详情参见本周报“观点”栏目)
  • 在6月21日举办的2020北京智源大会开幕上,智源研究院院长黄铁军宣布,北京智源人工智能研究院在2019年共遴选并支持了以“智源研究员”和“智源青年科学家”为主体的智源学者85人,在2020年,智源学者计划将再增加100名。在研究方向上正在组织凝练认知神经基础、决策智能、机器感知等新方向,并对开放探索研究进行专门支持。此外,黄铁军还宣布正式成立智源社区,并发布了世界首个“机器学习通用数学符号集”以及《人工智能下一个十年》报告。(详情参见本周报“会议”栏目)
  • 疫情全球爆发、世界经济面临困局亟待转型,以人工智能为核心驱动力的智能经济新时代呼之欲出。近日,国务院发展研究中心发起设立并领导的中国发展研究基金会联合百度发布《新基建,新机遇:中国智能经济发展白皮书》,这是国内首个全方位构建智能经济新时代版图的白皮书,汇聚了丰富的行业案例和前沿洞察,旨在探讨智能经济对经济社会的重构与影响,帮助理解智能经济及其面临的机遇与挑战,并指出“新基建”在转型智能经济过程中的重大使命。(详情参见本周报“行业与政策”栏目)

下面是各个要点的详情介绍。

▋ 论文推荐

基于KnowledgeEmbedding的多跳知识图谱问答

Look before you Hop: Conversational Question Answering over Knowledge Graphs Using Judicious Context Expansion

本文发表于ACL 2020。知识图谱作为一种知识存储的形式,其中最重要的缺陷之一是它们通常都是不完整的,而这给KGQA提出了额外的挑战,尤其是多跳KGQA。多跳QA需要一个长路径,而该路径上任意三元组的缺失都将导致真正的答案无法被搜索到。因此,采取某种方式预测知识图谱中缺失的链接,对于提升多跳QA的表现是有帮助的。当前缓解知识图谱不完整性的方法主要有:将KG与外部文本语料库结合,或者对知识图谱内的三元组进行补全等。本文作者首次将嵌入用于多跳KGQA,其目的在于充分利用嵌入方法在应对知识图谱稀疏性上的良好表现,增强模型的多跳推理能力。

图对比编码的图神经网络预训练

GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

本文发表于KDD 2020。图表示学习已经成为解决现实问题的一种强大的技术。节点分类、相似度搜索、图分类和链接预测等各种下游图学习任务都受益于它的最新发展。然而,现有的图表示学习技术侧重于特定领域的问题,并为每个图训练专用的模型,这些模型通常不能转移到域外数据。受最近自然语言处理和计算机视觉的预训练进展的启发,作者设计了图对比编码GCC——一种无监督图表示学习框架——来捕获跨多个网络的通用网络拓扑属性。作者将GCC的预训练任务设计为网络中或跨网络的子图级实例识别,并利用对比学习来授权模型学习内在的和可转移的结构表示。作者对三个图学习任务和十个图数据集进行了广泛的实验。结果表明,在一组不同的数据集上进行预训练的GCC可以取得与任务相关的从零开始训练的GCC具有竞争力或更好的性能。这表明,预训练和微调范式为图表示学习提供了巨大的潜力。

通过句子级语义匹配和答案位置推断改善问题生成

Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferring

本文发表于AAAI 2020。本文主要聚焦问答系统(Q&A)的反问题—问题生成(Question Generation,Q&G)。问题生成的目的是在给定上下文和相应答案的情况下生成语义相关的问题,问题生成任务可分为两类:一类是基于规则的方法,即在不深入理解上下文语义的情况下手动设计词汇规则或模板,将上下文转换成问题。另一类是基于神经网络的、直接从语句片段中生成问题词汇的方法,包括序列-序列模型(seq-to-seq)、编码器解码器(encoder-decoder)等。本文讨论的是后一种基于神经网络的问题生成方法。本文的亮点主要包括:

1.以多任务学习的方式学习句子级语义;2.引入答案位置感知。

通过神经逻辑归纳学习有效地解释

Learn to Explain Efficiently via Neural Logic Inductive Learning

本文是ICLR 2020的一篇关于知识图谱中关于复杂(树状、组合)规则可微学习的文章。本文提出了神经逻辑归纳学习(NLIL),一种可微分的ILP方法,扩展了针对一般ILP问题的多跳推理框架。NLIL将搜索空间分解为一个层次结构中的3个子空间,每个子空间都可以通过注意力高效地进行搜索。作者证明通过这种方式模型可搜索的规则比使用NeuralLP等方式搜索的规则长10倍,且拥有更快的速度。

为什么梯度裁剪能加速模型训练?

Why gradient clipping accelerates training: A theoretical justification for adaptivity

本文发表于ICLR 2020。需要许多时间步计算的循环神经网络,如LSTM、GRU,往往存在梯度爆炸的问题。其目标函数可能存在悬崖一样斜率较大的区域,这是由于时间步上几个较大的权重相乘导致的。当参数接近这样的悬崖区域时,如果更新梯度不足够小,很有可能就会直接跳过这样的悬崖结构,然后被弹射到非常远的地方。梯度裁剪(gradient clipping),是这类问题的常用解决办法。它的核心思想就是根据目标函数的光滑程度对梯度进行缩放。本文提出了新的思路:引入了比常用的L约束更宽松的约束条件,从新的条件出发论证了梯度裁剪的必要性。

图神经网络的泛化与表示的局限

Generalization and Representational Limits of Graph Neural Networks

本文发表于ICML 2020。本文讨论关于图神经网络的两个基本问题。首先,本文证明了几个重要的图属性是不能由完全依赖于局部信息的GNN计算的。这样的GNN包括标准的消息传递模型,以及更强大的空间变体,利用本地图结构来区分每个节点的邻居。本文的处理包括一种新的图论形式主义。其次,本文为消息传递GNN提供了第一个依赖数据的泛化边界。该分析明确地说明了GNN的局部置换不变性。本文的边界比现有的基于VC维的GNN保证更紧,并且可与递归神经网络的Rademacher边界相媲美。

▋ 观点

图灵奖得主Judea Pearl智源大会演讲:数据科学正在从当前以数据为中心的范式向以科学为中心的范式偏移

2020年6月21日,在第二届北京智源大会开幕式及全体会议上,图灵奖得主、贝叶斯网络奠基人Judea Pearl做了名为《The New Science of Cause and Effect with reflections on data science and artificial intelligence》的主题演讲。在演讲中,Judea Pearl站在整个数据科学的视角,简单回顾了过去的“大数据革命”,指出数据科学正在从当前以数据为中心的范式向以科学为中心的范式偏移,现在正在发生一场席卷各个研究领域的“因果革命”。Pearl解释了什么是因果科学以及相关新逻辑和推理引擎的思想脉络,包括介绍了被称之为“Double-Helix”的两个因果推理的基本定理,并以其作为出发点推演出因果图模型框架,最后概述了该框架下因果推理的七大工具。

▋ 行业与政策

中国发展研究基金会重磅发布《中国智能经济发展白皮书》

疫情全球爆发、世界经济面临困局亟待转型,以人工智能为核心驱动力的智能经济新时代呼之欲出。近日,国务院发展研究中心发起设立并领导的中国发展研究基金会联合百度发布《新基建,新机遇:中国智能经济发展白皮书》,这是国内首个全方位构建智能经济新时代版图的白皮书,汇聚了丰富的行业案例和前沿洞察,旨在探讨智能经济对经济社会的重构与影响,帮助理解智能经济及其面临的机遇与挑战,并指出“新基建”在转型智能经济过程中的重大使命。

清华发布《2020年中国人工智能产业格局》

自2016年AlphaGo横空出世以来,中国人工智能产业逐步发展,在经历了2017年的快车道和2018年的大爆发之后,AI领域逐渐遇冷,2019年开始AI行业投资额和投资数量大幅下跌。另一方面,2020年“新基建”首次被写入政府工作报告,大厂纷纷布局“新基建”,继阿里云宣布三年投2000亿之后,腾讯也宣布五年5000亿投入新基建计划。人工智能则是“新基建”非常重要的组成部分。站在这个时间节点,清华—中国工程院知识智能中心、清华大学人工智能研究院联合北京智源人工智能研究院共同推出2020年中国人工智能产业格局。我们希望用开放的AI平台,联动产学研来推动行业发展。为此,利用大数据算法,从几千家企业中,根据企业的产品能力、技术能力、商用价值、团队技术带头人四个维度分析出当下AI+行业中走在前沿的398家生力军。

北京智源大会:AI产业下个十年中的大变量

2020年6月22日晚,在第二届北京智源大会晚间圆桌论坛上,智源研究院四位理事单位的相关负责人“云上相聚”,围绕“人工智能产业的下一个十年”这个主题发表了独到的见解,他们分别是:百度CTO王海峰、小米副总裁崔宝秋、旷视科技首席科学家孙剑、美团首席科学家夏华夏。智源研究院运营副院长刘江担任主持人。在圆桌讨论中,嘉宾们盘点了过去10年里AI产业中的重要进展,梳理了可能影响未来10年发展的几个重要变量,如小数据、AIoT、客户侧训练等,并结合自己在工业界的实践体会,对高校老师、学生们的AI研究,提供了一些参考建议。

▋ 数据

Facebook创建大规模Deepfake数据集

Deepfakes是近期出现的一种直接可用的视频换脸技术。除了Deepfakes以外,目前还出现了大量基于GAN的换脸方法。这类技术给人们的隐私安全等带来了威胁。为了应对此类威胁,Facebook创建了一个大型换脸视频数据集DFDC以支持Deepfakes检测模型的训练。该数据集的亮点在于,所有对象均同意数据集使用其图像或视频,并允许在数据集构建过程中对其数据进行修改。
 

机器之心 | 参与讨论

▋ 代码

百度Paddle Serving实现高效的服务化部署

常见的深度学习模型开发流程需要经过问题定义、数据准备、特征提取、建模、训练几个过程,以及最后一个环节——将训练出来的模型部署应用到实际业务中。本文讲述使用百度Paddle Serving实现服务化部署:将模型以线上服务的形式部署在服务器或者云端,用户通过客户端或浏览器发送需要推理的输入内容,服务器或者云通过响应报文将推理结果返回给用户。

Galaxy Zoo:利用众包和主动学习对星系进行分类

科学研究的方法日新月异,每天的数据都呈指数增长,但科学家的数量仍然与过去相差无几。“收集数据样本,研究样本,再围绕每个样本得出一些结论”,这种传统方法已经难以满足人们日益增长的需求。一种解决方案是部署算法来自动处理数据,而另一种解决方案是借助大众的力量:招募公众参与进来并提供协助,也就是众包。本文结合了众包与机器学习,打造出一种集二者之长的解决方案,其研究效果比单独使用任一种方案都更好。在本文中,作者将分享如何使用众包和机器学习对数百万张星系图像进行分类,以便研究星系的演化过程。在此过程中,作者将分享一些用于训练卷积神经网络的模型训练技巧。此外,作者还将阐述如何利用这些预测结果进行主动学习,即仅标记最有助于您改善模型的数据。
 

Tensorflow | 参与讨论

港中文MMLab开源自监督表征学习代码库OpenSelfSup

近几个月来自监督表征学习领域获得了显著突破,特别是随着Rotation Prediction、DeepCluster、MoCo、SimCLR等简单有效的方法的诞生,自监督表征学习大有超越有监督表征学习的趋势。然而,做这个领域的研究者都深有感触:1.自监督任务复杂而多样,不同方法各有各的专用训练代码,难以结合、复用和改进;2.评价方案不统一,不同的方法难以在公平环境下对比;3.动辄百万千万的训练数据量,训练效率是个大问题。针对这些问题,香港中文大学多媒体实验室(MMLab)和南洋理工大学的研究者最近开源了一套统一的自监督学习代码库:OpenSelfSup。

▋ 教程

CVPR 2020最新《小样本学习》综述教程

在过去的几年里,基于深度学习的方法在图像理解问题上取得了令人印象深刻的效果,如图像分类、目标检测或语义分割。然而,真实字计算机视觉应用程序通常需要模型能够1.通过很少的注释例子学习;2.不断适应新的数据而不忘记之前的知识。不幸的是,经典的监督深度学习方法在设计时并没有考虑到这些需求。因此,计算机视觉的下一个重大挑战是开发能够解决这方面现有方法的重要缺陷的学习方法。本教程将介绍实现这一目标的可能方法。小样本学习利用先验知识,可以快速地泛化到只包含少量有监督信息的样本的新任务中。

斯坦福大学《知识图谱》课程

知识图谱逐渐成为互联网上组织世界结构化知识的有力抽象化方式,它能够捕捉企业间关键实体之间的关系,并整合来自多个数据源的信息。知识图谱还开始在机器学习和自然语言处理领域发挥重要作用,它不仅可以纳入世界知识作为所提取知识的目标知识表征,还能用来解释学习到的内容。然而,有关知识图谱的专门课程相对较少。目前斯坦福春季课程CS520《知识图谱》目前已经结束,并放出了全部授课视频。斯坦福CS520《知识图谱》课程聚集了知识图谱不同分支的研究者和业界从业者。它将展示AI、数据库系统以及HCI的最新研究与以知识图谱为中心的集成智能系统的协同发展.

【DeepMind深度学习课程】序列循环神经网络

在过去的十年中,深度学习已发展成为领先的人工智能范例,使人们能够以前所未有的准确性和规模从原始数据中学习复杂的功能。深度学习已应用于对象识别,语音识别,语音合成,预测,科学计算,控制等问题。由此产生的应用程序触及我们在医疗保健和医学研究,人机交互,通信,运输,保护,制造以及人类努力的许多其他领域中的所有生活。认识到这一巨大影响,深度学习的先驱获得了2019年图灵奖,这是计算机领域的最高荣誉。来自领先的AI研究实验室DeepMind的研究科学家针对深度学习中的一系列令人兴奋的主题进行了12次讲座,内容涵盖了通过围绕记忆,注意力和生成建模的先进思想来训练神经网络的基础知识,以及重要的负责任的创新主题。在本课中作者将专注在序列数据上并讲解机器学习方法如何来处理这种类型的数据。作者首先介绍关于序列建模的基础概念,包括常用架构如RNN、LSTM。随后作者将介绍序列到序列解码和他的应用。

▋ 新工具

北京智源人工智能研究院联合清华、协和等单位开发乳腺癌AI诊断工具

在6月21日举办的2020北京智源大会开幕上,智源研究院院长黄铁军介绍到,清华大学、北京智源人工智能研究院、协和医院和首都医科大学的研究团队近日推出一项名为SonoBreast的研究成果,提出了一个经过监督学习预训练的、基于图像块的卷积神经网络分类器,可以利用超声波图像进行乳腺癌诊断筛查。该工具包中包括一个恶性预测工具和一个分子亚型分析工具,可以进行乳腺癌的分子分型以及恶性肿瘤识别。具体而言,该模型在乳腺癌分子分型的准确率达到56.3%,F1 Score是45.8%。此研究项目由清华大学知识工程研究室(KEG)、北京智源人工智能研究院(BAAI)研究团队与北京协和医院专业医生共同开发,研究使用的数据集由北京协和医院提供。目前,该AI筛查工具已经上线。

百度发布全流程开发工具PaddleX

飞桨团队经过长时间的产业实践,将在实际业务落地过程中的实际经验进行沉淀,并经过了飞桨开发者、企业用户的多轮测试与迭代,正式发布了飞桨全流程开发工具PaddleX V1.0。PaddleX基于飞桨核心框架,集成了飞桨视觉套件(PaddleClas、PaddleDetection、PaddleSeg)、模型压缩工具PaddleSlim、可视化分析工具VisualDL、轻量化推理引擎Paddle Lite等核心模块的能力,同时融合飞桨团队丰富的实际经验及技术积累,将深度学习开发全流程,从数据准备、模型训练与优化到多端部署实现了端到端打通,为开发者提供了最贴合产业实际需求的服务。此外,PaddleX为开发过程中的各个环节提供了最简化的API设计,并实现了图形化GUI供大家使用,最大程度降低开发者使用门槛。开发者既可以应用PaddleX GUI快速体验深度学习模型开发的全流程,也可以直接使用PaddleX API实现更灵活的开发方式。

Pytorch多模态框架MMF

跨模式推理对人工智能至关重要。越来越需要对模式之间的交互进行建模(例如,视觉,语言),以改进对现有任务的AI预测并启用新的应用程序。多模式AI问题包括视觉问答,和视觉对话到具体化的AI,虚拟助手以及在社交媒体上检测不良内容。更好的工具(对于研究人员提出新颖的想法以及对从业人员生产用例而言)都有可能加速多模式AI的发展。MMF是基于PyTorch构建的模块化框架。MMF随附了最新的视觉和语言预训练模型,大量现成的标准数据集,通用层和模型组件以及训练+推理实用程序。MMF还被多个Facebook产品团队用于多模式理解用例,因为它有助于快速将研究推向生产。

▋ 应用

杜克大学提出AI算法,拯救渣画质马赛克秒变高清

在这个追求高清画质的时代,人们对渣画质的容忍度越来越低。在知乎上搜索“低分辨率”、“渣画质”,会看到一大片诸如“如何补救清晰度低的照片”、“如何拯救渣画质”之类的问题。杜克大学的研究人员提出了一种AI算法,称之为PULSE(Photo Upsampling via Latent Space Exploration,通过潜在空间探索的照片上采样)。该算法可以将模糊、无法识别的人脸图像转换成计算机生成的图像,其细节比之前任何时候都更加精细、逼真。

AI诗人模仿莎士比亚写作

近日,三位机器学习研究人员与一位文学学者共同组成的Deep-speare团队,使用在线图书馆谷登堡计划(Project Gutenberg)中大约2700首十四行诗(约36.7万个单词)来训练AI诗人。通过在培训数据库中搜寻诗歌,并一次又一次地尝试创建与示例匹配的诗歌,AI诗人最终在深度学习中学会了“创作”。研究人员没有在程序中写入押韵词典、发音词典或其他资源,而是让Deep-speare学习与十四行诗写作有关的三个主要规则:节奏、韵律和自然的语言(单词流畅自然地组合在一起)。Deep-speare研究人员表示,他们的目的是了解深度学习可以将自然语言生成推进到何种程度,同时利用诗歌的有趣特质(因为十四行诗等诗歌在节奏和韵律方面都有相当严格的模式),研究人员想知道是否可以设计系统的创作体系,让Deep-speare自主学习这些模式。

AI技术使用一张大头照生成逼真3D人脸

在2020年计算机视觉与模式识别会议(CVPR)期间,伦敦帝国学院和AI面部分析初创公司FaceSoft.io的研究人员介绍了一种“AvatarMe”技术,该技术能够仅仅通过一张普通的图像或照片,就重建逼真的3D半身像。更厉害的是,不仅能从低分辨率目标生成真实的4K x 6K分辨率的3D人脸,而且还可进行细致的光线反射。

▋ 会议

北京智源年度进展总结及规划

6月21日,由北京智源人工智能研究院(以下简称智源研究院)主办的2020北京智源大会在线上成功开幕,会期四天。北京智源大会是智源研究院主办的年度国际性人工智能高端学术交流活动,2019年举办了首届大会,今年为第二届。在会议开幕式上,智源研究院院长黄铁军教授对研究院过去一年的发展做了整体总结,并介绍了未来的发展规划。共包括6个方面:

1. 智源学者。去年遴选并支持85名,2020年将再增加100名,方向聚焦在认知神经基础、决策智能、机器感知等新方向。

2. 正式发布的智源社区(baai.org)。它的目标是通过构建高度合作的人工智能社区,充分发挥成员的协同效应,建立活跃的人工智能学术和技术创新生态,并培养出下一代问题的发现者和解决者。

3. 发布世界首个“机器学习通用数学符号集”以及《人工智能下一个十年》报告。

4. 智源研究院围绕“开放数据”、“知识图谱”、“算法平台”三大主题,建设了面向智能医疗的数据与知识开放平台,包括:“新冠肺炎开放数据源”、中英文双语新冠知识图谱、通用智能平台CogDL、智源抗疫-药物研发小分子性质预测赛、知识疫图-全球新冠疫情智能驾驶舱,以及联合清华、协和、首都医科大学共同发布的乳腺癌智能计算与预测平台SonoBreastX。

5. 今年启动的创新中心。它的定位是通过开放智源的生态资源,支持关键核心技术攻关,推动AI原始重大创新和关键技术落地和深度应用。包括:围绕智源重大学术方向,支持智源学者或高校院所AI科学家的原始重大创新成果落地;支持已初步落地成果关键技术的工程化验证和应用探索;支持新兴行业对人工智能技术的需求,加速人工智能面向实际应用的广泛渗透等。

6. 智源研究院在发布《人工智能北京共识》后,也在研究、开发和应用过程中严格践行。有两项重要进展:研发了保护隐私的传染链密切接触者精准追踪系统——智源蓝保(Blue Bubble);智源联合全球科研机构相关学者,并邀请“对采用人工智能实现可持续发展有共同愿景”的国内、国际企业作为伙伴单位,成立面向可持续发展的人工智能公益研究计划。

▋ 经验

人大副教授赵鑫:研究生的早期科研之路

中国人民大学信息学院副教授赵鑫对本科生和研究生的教育问题尤为关注。在前段时间曾写过一篇文章《计算机系本科生开展科研学习的九问九答》,引起不小的关注,毕竟许多学生都曾怀着一颗科研梦。上篇文章主要关注本科生,在新的一篇文章《研究生的早期科研之路》中,赵鑫副教授从10个方面给研究生早期(以及本科生将要进入研究生的同学)提供了非常详细的建议。

以上是《智源社区AI周刊》第28期的内容,智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标,不断优化和完善我们的内容服务,各位读者们如有批评意见,或者好的建议,请不吝赐教发至:editor@baai.ac.cn。谢谢大家。

特约编辑:刘布楼 常政 贾伟 刘沂喆 付建振

所有文章
×

还剩一步!

确认邮件已发至你的邮箱。 请点击邮件中的确认链接,完成订阅。

好的