回到主页

智源社区AI周刊#013 (2020.03.16)

为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯,智源研究院编辑团队本周整理了第13期《智源社区AI周刊》,从学术(论文和新思想、学术会议等),行业和政策(技术产业政策、项目基金申请、技术投融资等),人物(学者的人事变动和获奖情况),数据(数据集),工具(新工具和应用推荐),求职(职场研究报告等)等诸多角度,鸟瞰过去一周人工智能领域值得关注的动态。

过去一周(2020/03/09~2020/03/15),值得关注的内容有以下3方面:

  • 科技部发函,支持重庆、成都、西安、济南建设国家新一代人工智能创新发展试验区。由此,覆盖我国东、西、西南地区的这三大省会城市和一个直辖市将在国家支持下,进入人工智能产业发展快车道。(详情参见本周报“行业与政策”栏目)
  • Google宣布与滑铁卢大学、大众汽车公司联合推出TensorFlow Quantum,这是一个可快速搭建量子ML模型的开源库。TensorFlow Quantum将提供把量子计算和机器学习研究相融合所必需的工具,以控制、建模自然或人工的量子系统。(详情参见本周报“新工具”栏目)
  • 深度学习领域顶会——国际表征学习大会(ICLR, International Conference on Learning Representations)在官网正式宣布,原定于4月25日至4月30日举行的学术会议 ICLR2020 将取消线下实体会议,改为完全虚拟会议,举办时间不变。(详情参见本周报“会议”栏目)

下面是各个要点的详情介绍。

▌ 论文推荐

AutoML-Zero:从无到有演化机器学习算法
AutoML-Zero: Evolving Machine Learning Algorithms From Scratch

机器学习研究在模型结构和学习方法等多个方面都取得了进展。自动化这类研究的努力,即AutoML,也取得了重大进展。然而,这一进展主要集中在神经网络的架构上,它依赖于复杂的专家设计的层作为构建块——或者类似的限制性搜索空间。本文的目标是证明AutoML可以走得更远:只要使用基本的数学运算作为构建块,就有可能自动发现完整的机器学习算法。本文通过引入一个新的框架来证明这一点,该框架通过一个通用的搜索空间来显著减少人类的偏见。尽管这个空间很大,进化搜索仍然可以发现通过反向传播训练的两层神经网络。这些简单的神经网络可以通过在感兴趣的任务上直接进化而被超越,例如CIFAR-10变体,现代技术出现在优秀算法中,例如双线性交互、标准化梯度和加权平均。此外,进化使算法适应不同的任务类型:例如,当可用的数据很少时,就会出现类似dropout的技术。
来源:Google Brain | 论文下载

ELECTRA:将预训练文本编码器作为鉴别器而不是生成器
ELECTRA:Pre-trained Text Encoders As Discriminators Rather Than Generators

掩蔽语言建模(MLM)的预训练方法,如BERT,通过用“掩码”替换一些token破坏输入,然后训练一个模型重建原始token。虽然它们在迁移到下游的NLP任务时会产生良好的结果,但它们通常需要大量的计算才能有效。作为一种替代方案,本文提出了一种更具样本效率的预训练任务,称为替换token检测。本文的方法不是屏蔽输入,而是用从小型生成器网络中取样的可信替代方案替换一些token,从而破坏了输入。然后,本文不是训练一个模型来预测损坏的token的原始身份,而是训练一个判别模型来预测损坏的输入中的每个令牌是否被生成器样本替换。深入的实验表明,这种新的训练前任务比MLM更有效,因为该任务是在所有的输入标记上定义的,而不仅仅是被屏蔽的小子集。结果,在相同的模型大小、数据和计算条件下,通过本文的方法学习的上下文表示大大优于BERT学习的上下文表示。小型模型的收益尤其出色;例如,作者在一个GPU上训练一个模型4天,该模型在GLUE自然语言理解基准上的性能优于GPT。本文的方法在规模上也运行良好,它的性能与RoBERTa和XLNet相当,但使用的计算不到它们的1/4,并且在使用相同数量的计算时性能优于它们。
来源:ICLR 2020 | 论文下载

通用文档理解预训练模型LayoutLM
LayoutLM: Pre-training of Text and Layout for Document Image Understanding

近年大热的机器人流程自动化(Robotic Process Automation)利用AI技术将人们从繁杂的电子文档处理任务中解放出来,其中最关键就是自动文档分析与识别技术。面对大量无标注电子文档,现有的大规模预训练语言模型能够在预训练阶段有效捕捉文本中蕴含的语义信息,但忽视了文档中的视觉结构信息。微软亚洲研究院近日发布了结合文档结构信息和视觉信息的通用文档预训练模型 LayoutLM,在表单理解、票据理解、文档图像分类等任务的测试中均取得了目前的最佳成绩。
来源:MSRA | 论文下载 | 代码链接

增量小样本目标检测
Incremental Few-Shot Object Detection

大多数现有的目标检测方法依赖于每类丰富的标记训练样本的可用性和批处理模式下的离线模型训练。这些要求极大地限制了在只能容纳具有有限标记训练数据的新类别,特别是模型在部署过程中的准确性和训练的效率。本文提出了一项研究,旨在通过考虑增量小样本检测问题设置来超越这些限制,其中新类必须以增量方式加入(不需要重新访问基类),并且只有很少的例子。为此,本文提出了开放式中心网,这是一种用于增量学习的检测器,用于检测具有少量实例的新类对象。这是通过将CentreNet检测器优雅地适应小样本学习场景和元学习来实现的,元学习是一个类特定的代码生成器模型,用于增加新的类。一旦完全遵循增量学习范式,新的类增加只需要一个前向遍历的小样本训练样本,并且不访问基类——因此适合在嵌入式设备上部署。在标准物体检测和时尚地标检测任务上进行的大量实验证明了增量小样本检测的可行性,开拓了一个有趣而又非常重要的研究方向。。
来源:CVPR 2020 | 论文下载

异质图Transformer
Heterogeneous Graph Transformer

近年来,图神经网络在结构化数据建模方面取得了突飞猛进的成功。然而,大多数GNN都是为同质图(所有的节点和边都属于相同的类型)设计的,这使得这些GNN不能表示异构结构。在这篇文章中,作者提出了异构图转换器(HGT)结构来建模Web规模的异构图。为了建模异构性,作者设计了与节点和边类型相关的参数来表征对每条边的异构注意力,使得HGT能够维护不同类型的节点和边的专有表示。为了处理动态异构图,作者将相对时间编码技术引入到HGT中,能够捕获任意持续时间的动态结构依赖关系。为了处理Web规模的图数据,作者设计了异构小批量图采样算法HGSamples,以实现高效和可扩展的训练。在具有1.79亿个节点和20亿条边的开放学术图上的广泛实验表明,本文所提出的HGT模型在各种下游任务上的性能一致的比所有最新的GNN基线高出9%-21%。
来源:WWW 2020 | 论文下载 | 代码链接

▋ 观点

贾佳亚:AI技术变革从1.0到2.0,是单一算法到体系架构搭建

原腾讯杰出科学家、优图实验室X-Lab负责人贾佳亚离职并创立了一家新的AI公司——思谋科技。作为视觉领域高清图像视频处理、修复、增强最权威的科学家之一,贾佳亚近日撰文探讨了人工智能2.0革命,思考AI技术的变革之路。主要内容包括:1. 人工智能之于各行各业,如同计算机之于电子电器;2. AI技术变革从1.0到2.0,是单一算法到体系架构搭建;3. 视觉AI的发展,以需求为根本,强结合场景是重中之重。
来源:机器之心

▋ 人物

2020人工智能全球女性榜发布

北京智源人工智能研究院、清华大学-中国工程院知识智能联合研究中心、清华大学人工智能研究院,共同发布了代表全球人工智能学科最有影响力、最具活力的女性学者榜单——Women in AI 2020,并列举了之前统计的2000位人工智能最具影响力AI学者中包含的179位女性学者的国家分布、领域分布、学术机构分布和科研产出趋势。

微软首次任命首席科学家,由Eric Horvitz担任

3月11日,微软首次任命了该公司的首席科学家:原研究实验室主管Eric Horvitz将任此一职,负责微软先进技术研发业务。此前,Eric Horvitz已经在微软工作多年,曾领导微软研究院的工作,担任微软雷德蒙研究院的院长。在这次任命之前,他是Microsoft Research Labs负责人。对于此次任命,Horvitz在LinkedIn上写道:“首席科学家这个职位重点在于,为与科学事务有关的进展和趋势,在科学、技术和社会交融带来的重要问题和机遇提供跨公司层面的指引。我期待能更深入地参与对微软这家公司的塑造,确定关注的焦点、评估投资方向,以及理解我们今日所为、与趋势相关的短期计划和未来可能出现的惊喜。”
▋ 行业与政策

国家级人工智能试验区新增重庆、成都、西安、济南四市

科技部发函,支持重庆、成都、西安、济南建设国家新一代人工智能创新发展试验区。由此,覆盖我国东、西、西南地区的这三大省会城市和一个直辖市,将在国家支持下,进入人工智能产业发展快车道。去年,科技部曾发函支持北京、上海、天津、深圳、杭州及德清县、合肥建设试验区,如今这一队伍壮大至11个地区。科技部的回函中针对性地点出了这几个地区的人工智能产业基础和希望着力发展的方向,也正是这些地方产业发展的机会所在。
来源:学术头条

清华教授唐杰宣布成立AI新期刊《ai open》

清华大学计算机科学与技术系教授唐杰在社交媒体上宣布,他们成立了一个新期刊——《ai open》,专注AI的开放共享。该期刊的内容可以订阅获取。《ai open》是一个共享AI理论与应用知识和前瞻性观点的共享开放平台。期刊接收的内容包括研究文章、综述论文、观点、交流性短文和技术说明,范围覆盖AI及其应用的方方面面。期刊主题包括但不限于:深度学习与表征学习、图理论与图挖掘、知识图谱及其应用、自然语言处理、图像处理与分析等。此外,部分人脑研究主题也包含在内,如大脑连接和网络建模、认知行为、神经免疫学等。
来源:KeAi | 原文链接

硅谷VC公司A16Z:AI和传统软件行业的区别

本文认为,在很多情况下,AI公司的经济结构与软件业务有很大差异,甚至看起来更像传统服务公司。AI行业有点像传统软件行业和服务行业的结合。AI应用像普通软件,可以多次出售,但是每次都需要大量的专业人员提供服务。因此,AI本质上创造了一种新的业务类型。这使得AI行业主要面临着三项挑战:1. 算力和人工成本难降低;2. 难有通用的解决方案;3. 技术差异化难实现。
来源:A16Z

▋ 数据

TyDi QA:多语言问答语料库

问答技术每天都在为人们提供帮助,但世界上有成千上万种不同的语言,其中很多语言都使用完全不同的方法来构词表意。例如,英语的变形用于区分单数和复数;而阿拉伯语采用三种形态来区分双数、单数或复数。此外,有些语言,如日语,在单词之间不使用空格。要创建一个能够理解各种语言的诸多表意方式的机器学习系统,是一项挑战,而要训练这样的系统,则需要收集不同语言的大量样本。为了鼓励对多语言问答系统的研究,本文发布了TyDi QA,这是一个涵盖11种不同类型语言的问答语料库。根据论文《TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages)》中的描述,该语料库的灵感来源于表意类型多样性,这一观念认为不同的语言采用不同的结构方式来表达意义。本文为该语料库选择了一组在类型上彼此相去甚远的语言,期望在这个数据集上表现良好的模型,能推广运用到世界上的众多其他语言。
来源:Google AI

▋ 代码

MediaPipe Objectron:Google移动端实时3D目标检测流水线

目标检测是一个被广泛研究的计算机视觉问题,但大多数研究侧重于2D目标检测。值的得注意的是,2D预测仅能提供2D边界框。所以,如果扩展至3D预测,人们可以捕捉到目标的大小、位置与方向,从而在机器人、无人驾驶、图像检索和AR等领域得到更广泛的应用。尽管2D目标检测已经相当成熟,并在工业界广泛应用,但由于数据缺乏以及同类别下目标形状和外观的多样性,从2D转向3D目标检测依然会面临较大的挑战。近日,Google宣布推出 MediaPipe Objectron,这是一种适用于日常物体的移动端实时3D目标检测pipeline,它能够检测2D图像中的目标,并通过新创建3D数据集上训练的机器学习模型来估计这些目标的姿态和大小。
来源:Google| 代码链接

TensorFlow Extended(TFX):用Apache Beam实现大规模数据处理

TFX的核心使命是允许将模型从研究转移到生产中,创建和管理生产流水线。因为使用大量数据构建深度学习模型时,需要多个主机并行工作才能满足生产流水线的处理和服务需求。本文使用从TFX数据处理框架Apache Beam继承的功能,研究如何在读者自己的生产数据集上扩展针对小型数据集开发的TFX管道。

CNN实现智能五子棋

近几年来,AI在游戏方面的发展如火如荼,尤其是自从阿法狗AI围棋战胜李世石之后,更是引起了AI发展的狂潮,同时也带动了很多AI游戏的应用与深化发展。而深度学习的AI版本却是不同,他多个位置的参数与多方向的选择,拓展了其中AI的智能性,让玩家找到其中的规律性变得基本不可能,这也是深度学习的重要意义之一。本文将讲述如何利用CNN实现智能五子棋。

Scikit-learn模型可视化

在本文中,作者将展示如何仅用几行代码就实现可视化scikit-kearn模型的性能。作者还将探索这些将如何帮助读者更好地理解自己的模型。
来源:wandb

▋ 教程

Deep Reinforcement Learning In Action

深度强化学习是一种机器学习的形式,人工智能智能体从自己的原始感官输入中学习最优行为。系统感知环境,解释其过去决策的结果,并使用这些信息优化其行为以获得最大的长期回报。深度强化学习实战书籍将会教读者深度强化学习的基本概念和术语,以及实践技能和技术。
来源:Manning | 论文下载

MLSys2020综述:神经网络剪枝的研究进展

神经网络修剪——通过删除参数来减小网络大小的任务——是近年来许多大量工作的主题。本文提供了文献的荟萃分析,包括剪枝方法的概述和文献中一致的发现。在对81篇论文的结果进行汇总,并在受控条件下对数百个模型进行修剪之后,本文最明确的发现是,社区缺乏度量标准。这一缺陷非常严重,以至于很难对修剪技术进行比较,也很难确定这一领域在过去三十年中取得了多大的进步。为了解决这种情况,本文确定了当前实践中的问题,提出了具体的补救措施,并引入了ShrinkBench,这是一个开源框架,用于促进修剪方法的标准化评估。本文对各种修剪技术进行了比较,结果表明,它的综合评价可以防止在比较修剪方法时常见的缺陷。
来源:MIT | 论文下载

A Survey on Knowledge Graph-Based Recommender Systems

为了解决各种在线应用中的信息爆炸问题,提高用户体验,推荐系统被提出来进行用户偏好建模。尽管人们已经做出了许多努力来实现更加个性化的推荐,但是推荐系统仍然面临着一些挑战,比如数据稀疏性和冷启动。近年来,以知识图谱作为边信息生成推荐引起了人们的极大兴趣。这种方法不仅可以缓解上述问题,提供更准确的推荐,而且可以对推荐的项目进行解释。本文对基于知识图谱的推荐系统进行了系统的研究。作者收集了这一领域最近发表的论文,并从两个角度进行了总结。一方面,作者通过研究论文如何利用知识图谱进行准确和可解释的推荐来研究所提出的算法。另一方面,作者介绍了这些工作中使用的数据集。最后,本文提出了几个可能的研究方向。
来源:中科院 | 论文下载

▋ 新工具

TensorFlow Quantum:Google发布首个用于训练量子ML模型的框架

近日,Google宣布与滑铁卢大学、大众汽车公司联合推出TensorFlow Quantum,这是一个可快速搭建量子ML模型的开源库。TensorFlow Quantum将提供把量子计算和机器学习研究相融合所必需的工具,以控制、建模自然或人工的量子系统,比如50到100个量子比特的嘈杂中型量子处理器。一直以来,经典的ML模型对科研攻关工作多有助力,比如癌症检测、预测地震和余震、预测极端天气和检测系外行星等。而新的量子ML模型的诞生,将有助于医学、材料、传感、通信领域取得更多突破。TensorFlow Quantum将Criq和TensorFlow相融合,提供了与现有TensorFlow API兼容的量子计算原语和高性能量子电路仿真器,为判别式和生成式量子-经典模型的设计和实现提供了高级抽象。
来源:Google AI | 论文下载 | 博客链接

百度Paddle Lite v2.3正式发布:模型压缩75%

目前深度学习在各个领域轻松碾压传统算法,不过真正用到实际项目中却面临两大问题:计算量巨大;模型占用很高的内存(深度学习模型可能会高达几百M)。为了更好地应对这些实际业务需求,解决终端系统资源有限等问题,百度深度学习平台飞桨(PaddlePaddle)对端侧推理引擎Paddle Lite进行了新一轮升级,v2.3版本正式全新上线!Paddle Lite v2.3新功能包括:1. 支持“无校准数据的训练后量化”方法,模型压缩高达75%;2. 优化网络结构和OP,ARM CPU推理速度最高提升超20%;3. 简化模型优化工具操作流程,支持一键操作,用户上手更容易。
来源:百度

TensorFlow 2.2.0-rc0发布:提升TensorFlow Core性能

最近的TensorFlow开发者峰会上发布了TensorFlow 2.2版。相较于去年同样在峰会上发布的2.0,TensorFlow 2.2有了一定的进步,主要聚焦于TensorFlow Core性能提升,在保证易于进行性能评估的同时保证评估的一致性,同时还提供了新的评估工具Performance Profiler。
来源:Tensorflow

▋ 应用

新型AI“光指”看见力的大小,实现无盲点定位触觉

机器人在视觉和听觉方面已经处在不断进化的阶段,但是对于触觉、嗅觉和味觉,它们几乎“一无所知”。几十年来,机器人专家一直在思考如何让机器有感觉,也就是触觉传感。目前最基本的方法是使用换能器将压力转换为电信号。哥伦比亚大学机械工程与计算机科学系副教授Ciocarlie和电气工程教授Ioannis Kymissis想出一种新的思路:光指,研究团队称“他们的手指可以在一个很大的、多曲线的表面上以极高的精度来定位触摸,这与人类的手指非常相似。”这个手指不是通过触觉神经来感受,而是通过看自己手上的光亮程度来判断力的大小。当机器人手指触摸物体时,外部会变形,并且骨架上的光电二极管会检测到发光二极管发出的光的变化。由此,系统就可以确认手指什么地方在摸东西,以及用了多大的力。所以,机器人不会感觉到触觉,而是会看到触觉。

AI增强版“滴血测癌”,查验血中微生物DNA即可实现早期诊断

Nature 发布的一项研究显示,加州大学圣地亚哥分校研究人员通过分析癌症基因组图谱中33中不同类型癌症共18116例肿瘤样本后,发现不同类型癌症患者组织和血液内的微生物DNA存在差异。为此研究人员开发了一种机器学习模型,该模型通过分析血液中微生物 DNA 的类型就可以识别受试者是否患有癌症以及癌症类型。即便是早期的癌症,血液中的微生物数据仍然可以区分出多种癌症类型。
来源:学术头条

▋ 会议

ICLR取消线下会议,改为远程出席、视频演讲

近日,深度学习领域顶会——国际表征学习大会(ICLR, International Conference on Learning Representations)在官网正式宣布,原定于4月25日至4月30日举行的学术会议 ICLR2020 将取消线下实体会议,改为完全虚拟会议,举办时间不变。正式决定取消线下会议后,ICLR在官网介绍远程会议的组织形式。ICLR要求,所有被大会接受的论文将通过预先录制的5分钟视频在虚拟会议中呈现。作为long-talk接受的论文应制作15分钟的视频。此外,ICLR2020的注册费将降低至学生50美元和非学生100美元。对于那些已经注册的人,ICLR将按此标准自动退还多出部分的注册费。
来源:ICLR 2020

▋ 经验

清华大学刘洋教授:浅谈研究生学位论文选题

研究生撰写学位论文是整个培养过程的重要环节,而论文选题则是撰写学位论文的首要步骤,决定了未来研究工作的重要性、高度和影响力。刘洋教授详细阐述了研究问题评价标准的十个方面(重要性、创新性、前沿性、探索性、基础性、复杂性、系统性、可行性、承接性、适合性),并介绍了文献调研的基本方法。

来源:清华大学

 

▋求职
 

TensorFlow官方开发者认证发布

来源:清华大学

▋求职
TensorFlow官宣,拥有TF技能的开发者也可以进行官方认证。TensorFlow表示,这项测试的目的是向每个人提供展示自己ML专业知识的机会。它是一个基础证书,面向学生、开发者、数据科学家等人群,帮助他们展示自己在用TensorFlow构建、训练模型的过程中所学到的实用机器学习技能。考试题由TensorFlow团队设计。TensorFlow的产品总监Kemal EL Moujahid在一则推文中解释了他们推出该认证的初衷,表示“许多想要上手ML项目的公司说他们找不到人才,想要入行ML的开发者说他们不知道怎么做。于是,我们推出了TensorFlow认证项目来解决这个问题。
来源:Tensorflow

以上是《智源社区AI周刊》第13期的内容,智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标,不断优化和完善我们的内容服务,各位读者们如有批评意见,或者好的建议,请不吝赐教发至:editor@baai.ac.cn。谢谢大家。

特约编辑:刘布楼 常政 刘沂喆

所有文章
×

还剩一步!

确认邮件已发至你的邮箱。 请点击邮件中的确认链接,完成订阅。

好的