回到主页

智源社区AI周刊#016 (2020.04.06)

为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯,智源研究院编辑团队本周整理了第16期《智源社区AI周刊》,从学术(论文和新思想、学术会议等),行业和政策(技术产业政策、项目基金申请、技术投融资等),人物(学者的人事变动和获奖情况),数据(数据集),工具(新工具和应用推荐),求职(职场研究报告等)等诸多角度,鸟瞰过去一周人工智能领域值得关注的动态。

过去一周(2020/03/30~2020/04/05),值得关注的内容有以下3方面:

  • 4月4日,ACL 2020录用结果落幕,超过3000篇的投稿数量,可以说是历史以来最盛大的一届ACL。根据官网新闻介绍,计划2020年7月5日在美国西雅图举办的线下会议,由于疫情全部搬到网上来举行。另外,此次ACL 2020的审稿周期从19年的12月9日一直到20年的4月3日接近4个月时间,比往年的2个月宙稿时间几乎加倍。(详情参见本周报“会议”栏目)
  • 3月31日,智源研究院“人工智能的数理基础”重大研究方向首席科学家张平文院士因其在复杂流体建模、多尺度分析和自适应网格计算领域的成就获选2020年美国工业与应用数学学会会士,是今年中国内地高校中唯一入选的会士。(详情参见本周报“人物”栏目)
  • 《大词林》是由哈尔滨工业大学社会计算与信息检索研究中心研制,是一个自动构建的大规模开放域中文知识库。本次,该中心开源了《大词林》中的75万的核心实体词,以及这些核心实体词对应的细粒度概念词(共1.8万概念词,300万实体-概念元组),还有相关的关系三元组(共300万)。(详情参见本周报“数据”栏目)

下面是各个要点的详情介绍。

 

▋ 论文推荐
 

参数化网络设计空间
Designing Network Design Spaces

本文提出了一种新的网络设计范式。与以往研究不同,作者没有专注于设计单个网络实例,而是设计出了参数化网络群的网络设计空间。这种新的网络设计范式综合了手工设计网络和神经架构搜索(NAS)的优点。在类似的条件下,模型设计出的网络超越了当前表现最佳的EfficientNet模型,在GPU上实现了5倍的加速。

来源:CVPR 2020 | 论文下载

 

 

分布传播图网络的小样本学习
DPGN: Distribution Propagation Graph Network for Few-shot Learning

大多数基于图网络的元学习方法都对实例级关系进行了建模。本文提出了一种新的分布式传播图网络(DPGN)学习算法。在每一个少样本学习任务中,它都传递了分布级关系和实例级关系。为了结合所有实例的分布级关系和实例级关系,本文构造了一个由点图和分布图组成的对偶完全图网络,其中每个节点都代表一个实例。DPGN具有双重图结构,可以经过几轮迭代,将标签信息从带标签的示例传播到未带标签的示例。在少样本学习的大量实验中,DPGN在监督设置下和在半监督设置下都比最新的结果好。

来源:WWW 2020 | 论文下载

 

 

基于注意力卷积二叉神经树的细粒度视觉分类
Attention Convolutional Binary Neural Tree for Fine-Grained Visual Categorization

细粒度视觉分类因样本类间差异更加细微,往往只能借助微小的局部差异才能区分出不同的类别,所以是一项重要但具有挑战性的任务。本文提出了一种基于注意力机制的卷积二叉神经树结构。具体来说,作者将传统的决策树与神经网络结合,在树的内部节点中使用路由来确定树内从根到叶的计算路径,并且在树的边上添加了卷积操作增强表示能力,最终决策融合了所有叶节点的预测。该模型以一种由粗到细的层次方式学习获得具有判别力的特征。此外,作者采用了非对称的策略来增加多尺度特征提取,增强样本的区分性特征表示。最后采用SGD优化方法以端到端的方式训练整个网络。本文的方法在CUB-200-2011,Stanford Cars和Aircraft数据集上进行了评估,显著优于当前其他的弱监督细粒度方法。

来源:CVPR 2020 | 论文下载

 

 

用于视觉识别的门控信道变换
Gated Channel Transformation for Visual Recognition

本文针对深度卷积神经网络提出了一种易应用的变换单元Gated Channel Transformation(GCT)。GCT结合了归一化方法和注意力机制,并使用轻量级的、易于分析的变量来隐式地学习网络通道间的相互关系。这些通道量级的变量可以直接影响神经元间的竞争或者合作行为,且能方便地与卷积网络本身的权重参数一同参与训练。通过引入归一化方法,GCT模块要远比SE-Nets的SE模块轻量,这使得将GCT部署在每个卷积层上而不让网络变得过于臃肿成为了可能。本文在多个大型数据集上针对数种基础视觉任务进行了充分的实验,包括ImageNet数据集上的图片分类,COCO上的目标检测与实例分割,还有Kinetics上的视频分类。在这些视觉任务上,引入GCT模块均能带来明显的性能提升。这些大量的实验充分证明了GCT模块的有效性。

来源:CVPR 2020 | 论文下载

 

 

语音到动作:动作识别的跨模态监督
Speech2Action: Cross-modal Supervision for Action Recognition

在这项工作中,作者调查了电影中的言语和动作之间的联系。作者注意到,电影剧本既描述动作,也包含角色的语言,因此可以用来学习这种相关性,而不需要额外的监督。本文在一千多部电影剧本中训练一个基于BERT的语音动作分类器,从转录的语音片段中预测动作标签。然后,作者将该模型应用于一个大型未标记电影语料库的语音片段(来自288K电影的1.88亿个语音片段)。利用该模型的预测,作者得到了800K以上视频片段的弱动作标签。通过对这些视频剪辑的训练。本文在标准动作识别基准上展示了优越的动作识别性能,并且无需使用一个手动标记的动作示例。

来源:CVPR 2020 | 论文下载

 

 

▋ 观点
 

Robust.AI创始人Gary Marcus:深度学习与经典AI结合才是出路

尽管近年来由于深度学习的突破而实现了质的飞跃,当今的AI领域仍然有诸多问题亟待突破:面对攻击时的脆弱,无法从不断变化的环境中不断学习以产生新概念,并且充斥着(从人类数据中习得的)偏见。这些挑战使AI技术难以信任,也限制了其造福社会的潜力。近日,《MIT科技评论》举办了年度新兴科技峰会,其间纽约大学名誉教授、Robust.AI的创始人兼CEO Gary Marcus发表观点:他认为AI的缺点是该技术所固有的,研究人员不仅仅要关注DL(Deep Learning),而是要将其与经典AI,或者说具有解码和逻辑推理能力的符号主义AI体系相结合。

来源:新智元

 

 

▋ 行业与政策
 

德勤:2020技术趋势报告

2020年3月,德勤Deloitte最新发布《2020技术趋势报告》。这份报告基于德勤专家、全球顶尖企业、学术界和行业领袖以及领先的初创企业、风险投资人和技术供应商的洞察,探讨了推动转型变革的宏观力量,指出了五个可能在短期内引发颠覆性变革的关键新兴趋势,并分享了前沿企业的一线经验,也对未来的技术趋势进行了展望。这五个方向分别是1. 数字孪生:连结现实与数字世界;2. 架构觉醒;3. 技术道德与信任;4. 人感体验平台;5. 财务与IT的未来。

来源:专知

 

 

后疫情时代AI在新基建应用需注重成本和技术

受“新基建”刺激,万亿元的投资计划正在路上。据《企业透明度报告》介绍,全国22个已经公布投资计划的省市,累计公布了约7万亿的投资金额,与2019年31个省市的计划投资金额大致相当,并有多个省份强调将推进新基建投资。在可预见的未来,被列入新基建的人工智能、工业互联网、数据中心等,也将与制造业的智能升级故事线紧紧绑定。本文以这次疫情+新基建提出为分水岭来思考该领域的演进和困境所在,发现了一些有趣的结果。

来源:DeepTech深科技

 

 

Science报道新研究:同行评审后的研究仅比预印本研究质量提高4%

每天,科学家都会在诸如bioRxiv之类的公共服务器上发布很多预印本(尚未经过同行评审)研究。与作者将其发现提交传统期刊相比,预印本可以使科学家们更快地获得最新研究,而传统期刊通常需要几个月的时间才能完成评审。但批评人士指出,预印本能提高速度,却可能失去可靠性和公信力,因为同行评审可以指出错误和缺陷。这是一个令人担忧的问题,尤其是关于医学治疗的发现,非科学家可能会误解,可能会危及他们的健康。新冠病毒大流行也加剧这些担忧。但是,最近的一项研究得出结论,同行评审似乎并不能大大提高预印本的质量。

来源:新智元

 

 

▋ 人物
 

智源首席科学家张平文当选美国工业与应用数学学会会士

3月31日,智源研究院“人工智能的数理基础”重大研究方向首席科学家张平文院士当选2020年美国工业与应用数学学会会士(SIAM FELLOW)。张平文现任北京大学副校长,数学科学学院教授,中国工业与应用数学学会(CSIAM)理事长,中国科学院院士,发展中国家科学院院士。自2019年4月开始担任智源研究院“人工智能的数理基础”重大研究方向首席科学家,带领来自北京大学、清华大学、中科院数学与系统科学研究院等单位的领军科学家,围绕可解释性的新型人工智能模型、新型的机器学习算法以及深度学习的基础理论开展研究,建立以数学与统计理论为第一原理的新一代人工智能方法论。此次因其在复杂流体建模、多尺度分析和自适应网格计算领域的成就获选2020年美国工业与应用数学学会会士,是今年中国内地高校中唯一入选的会士。

来源:北京智源人工智能研究院

 

 

DeepMind首席科学家Silver获得2019 ACM计算奖

美国计算机学会(ACM)今天宣布,将2019年ACM计算奖授予AlphaGo研发团队领导者David Silver,以表彰他为计算机游戏表现带来的突破性进展。与“计算机界的诺贝尔奖”图灵奖不同,ACM计算奖(ACM Prize in Computing)每年授予在计算机领域里有突出贡献的年轻学者。Silver目前任伦敦大学学院(UCL)教授、谷歌旗下人工智能公司DeepMind首席科学家。作为深度强化学习领域的领军人物,Silver最主要的成就就是领导了AlphaGo研发团队,在围棋比赛中击败了世界冠军柯洁和李世石。

来源:学术头条

 

 

▋ 数据
 

哈工大《大词林》开放75万核心实体词及相关概念、关系列表

《大词林》是由哈尔滨工业大学社会计算与信息检索研究中心研制,是一个自动构建的大规模开放域中文知识库。本次,该中心开源了《大词林》中的75万的核心实体词,以及这些核心实体词对应的细粒度概念词(共1.8万概念词,300万实体-概念元组),还有相关的关系三元组(共300万)。这75万核心实体列表涵盖了常见的人名、地名、物品名等术语。概念词列表则包含了细粒度的实体概念信息。借助于细粒度的上位概念层次结构和丰富的实体间关系,本次开源的数据能够为人机对话、智能推荐、等应用技术提供数据支持。

来源:哈工大SCIR

 

 

X-Stance:大规模多语言多目标立场检测数据集

本文从瑞士选举候选人的评论中提取了大规模的立场检测数据集。该数据集由德语,法语和意大利语组成,可以在多语言场景下检测立场。它包含关于150多个政治问题的67000条评论。与具有特定目标问题的立场检测模型不同,本文使用的数据集针对所有问题训练单个模型。为了使跨目标的学习成为可能,作者在每个实例前都添加了代表目标的问题。

来源: University of Zurich

 

 

Google发布Taskmaster-2自然语言任务对话数据集

Taskmaster-2数据集由以下七个域中的17289个对话组成:饭店、食品订购、电影、酒店、航班、音乐和体育该数据集使用Taskmaster-1中使用的同一WOz系统收集。与Taskmaster-1相似,作者仅注释常见的对话变量,例如专有名称,时间,价格,数量等。

来源: Google Research

 

 

▋ 代码
 

天授:清华开源本科生强化学习平台

天授(Tianshou)是纯基于PyTorch代码的强化学习框架,与目前现有基于TensorFlow的强化学习库不同,天授的类继承并不复杂,API也不是很繁琐,它以极简的代码实现了很多强化学习算法。最重要的是,天授的训练速度非常快,试用Pythonic的API就能快速构建与训练RL智能体。

来源: 清华大学

 

 

Huggingface简介及BERT代码浅析

Hugging face是一家总部位于纽约的聊天机器人初创服务商,开发的应用在青少年中颇受欢迎,相比于其他公司,Hugging Face更加注重产品带来的情感以及环境因素。本文的内容是结合Huggingface的Transformers代码,来进一步了解下BERT的pytorch实现。

来源: AINLP

 

 

Moco Learning增强模型

对比性无监督学习最近显示出令人鼓舞的进展,例如动量对比度(MoCo)和SimCLR。在本项目中,作者通过在MoCo框架中实现SimCLR的两项设计改进来验证其有效性。通过对MoCo进行简单的修改(即使用MLP映射和更多的数据增强功能),作者可以建立优于SimCLR的更强模型,并且模型不需要大量的训练。

来源:Facebook AI

 

 

▋ 教程
 

A Survey of Deep Learning for Scientific Discovery

在过去的几年里,人们看到了机器学习核心问题的根本性突破,这主要是由深度神经网络的进步推动的。与此同时,在广泛的科学领域中收集的数据无论在规模和复杂性方面都在急剧地增加。综上所述,这为深度学习在科学领域的应用提供了许多令人兴奋的机会。但这方面的一个重大挑战就是知道从哪里开始的。不同深度学习技术的广度和多样性使得很难确定哪些科学问题最适合这些方法,或者哪些特定的方法组合可能提供最有效果的方法。在这篇综述中,作者专注于解决这个核心问题,提供许多广泛使用的深度学习模型的概述,包括视觉、序列和图结构化数据,相关任务和不同的训练方法,随着技术使用较少的数据深度学习和更好的理解这些复杂的模型——两个核心考虑的许多科学的用例。本文还包括对整个设计过程的概述、实现技巧,以及到社区开发的大量教程、研究总结、开源深度学习通道和预训练模型的链接。本文希望这篇综述将有助于加速在不同科学领域使用深度学习。

来源: Google

 

 

Heterogeneous Network Representation Learning: Survey, Benchmark, Evaluation, and Beyond

由于现实世界中的对象及其交互通常是多模态和多类型的,所以异构网络被广泛地用作传统同构网络的一个更强大、更现实和更通用的超类。与此同时,表示学习最近得到了深入的研究,并被证明对各种网络挖掘和分析任务都是有效的。由于已有大量的异构网络嵌入算法,但没有专门的调研综述,作为这项工作的第一个贡献,作者率先提供了一个统一的范式,对各种现有的HNE算法的优点进行系统的分类和分析。此外,现有的HNE算法虽然大多被认为是通用的,但通常是在不同的数据集上进行评估。由于HNE在应用上的天然优势,这种间接的比较在很大程度上阻碍了任务性能的改善,特别是考虑到从真实世界的应用数据构建异构网络的各种可能的方法。因此,作为第二项贡献,作者创建了四个基准数据集,这些数据集具有不同来源的尺度、结构、属性/标签可用性等不同属性,以全面评估HNE算法。作为第三个贡献,作者对十种流行的HNE算法的实现进行了细致的重构和修改,并创建了友好的接口,并在多个任务和实验设置上对它们进行了全方位的比较。

来源:UIUC

 

 

多模态深度学习综述

模态是指事物发生或存在的方式,如文字、语言、声音、图形等。多模态学习是指学习多个模态中各个模态的信息,并且实现各个模态的信息的交流和转换。多模态深度学习是指建立可以完成多模态学习任务的神经网络模型。多模态学习的普遍性和深度学习的热度赋予了多模态深度学习鲜活的生命力和发展潜力。旨在多模态深度学习的发展前期,总结当前的多模态深度学习,发现在不同的多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成,以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各问题进行子分类和论述,同时列举了为解决各问题产生的神经网络模型。最后论述了实际多模态系统,多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。

来源:Application Research of Computers

 

 

▋ 竞赛
 

KDD Cup 2020开赛

今年由滴滴主办强化学习赛道(RL Track),题目围绕订单分配与车辆调度,诚邀全球算法高手共同挑战共享出行领域优化难题。欢迎大家报名参赛。

参赛链接 | 报名入口

 

 

▋ 新工具
 

PyTorch Lightning 0.7.1发布:增加了TPU支持,Profiling,Callbacks

PyTorch Lightning是一种组织PyTorch代码以使研究代码(如网络定义)与工程代码(如数据加载,模型训练等)分离的方法,主要面向深度学习研究者,博士生等。近日,Pytorch Lightning发布0.7.1版本,增加了TPU支持,Profiling,Callbacks等功能。

来源:Medium

 

 

首款Jupyter官方可视化Debug工具

Jupyter这种工具虽然有很好的交互性能,但其也明白,对于大型代码库,最好还是用传统的IDE比较靠谱。因此为了弥补这一缺陷,Jupyter项目在过去几年也希望通过JupyterLab来加强对大型代码库的处理过程。然而,JupyterLab还是有一大缺陷,它不能通过可视化的方式进行Debug,这限制了进一步的调试。这几天,Jupyter团队表示,经过几个月的开发,他们很高兴能第一次发布Jupyter可视化Debugger。虽然这只是第一版,但目前已经可以设置常见的断点Debug,查看各种变量、执行模块等信息。

来源:机器之心

 

 

Graph-Learn:阿里开源简化GNN应用框架

近年来,图神经网络(GNN)已经在图像分类、语义分割、推荐系统、程序推理乃至分子结构预测等领域,都有着越来越广泛的应用。GNN一般是将底层图形作为计算图,通过在图上传递、转换和聚合节点特征信息学习神经网络基元以生成单个节点嵌入。生成的节点嵌入可以作为输入,用于如节点分类或连接预测的任何可微预测层,完整的模型可以通过端到端的方式训练。近日,阿里巴巴团队开源了Graph-Learn,这是一个用以简化图神经网络应用的新框架。它能够从实际的案例中提取出解决方案,并且这些解决方案已在推荐、反欺骗和知识图谱系统领域得到了应用和验证。

来源:阿里巴巴

 

 

▋ 应用
 

加州大学旧金山分校用AI解码脑电波,将大脑所想直接合成文本或语音

许多患有神经疾病的患者因丧失语言能力,需要依赖特定的通讯设备进行沟通,这类设备大多利用脑机接口或者头部、眼睛的动作来控制光标,以选择屏幕上的字母,从而拼出他们想说的句子。但是,这个蹦单词的过程,实在无法与人类的正常说话过程相比。3月30日,《自然-神经科学》发表了美国加州大学旧金山分校华裔教授Edward Chang及同事开发的一款脑电波AI解码器,能够将大脑活动信号直接转化为句子文本。具体而言,研究人员首先通过电极记录受试者说话时的神经活动信号,并用特定语句和神经信号特征之间的关联数据训练AI算法,试验证明,训练后的机器翻译算法能够准确地解码受试者的神经活动,并将其接近实时地翻译为句子文本,错误率低至3%。

来源:学术头条

 

 

哈尔滨医科大学:AI+纳米新材料助力卵巢肿瘤早期诊断

卵巢癌(OC)是世界最致命的妇科恶性肿瘤,由于症状不典型,往往患者无法自觉,且目前临床上没有可靠和准确的检测手段,导致大多数患者直到晚期才被诊断。而常用的癌症抗原 125(CA125)虽具有高灵敏度,但对OC的诊断特异性较差,如何通过早期筛查手段提升针对卵巢肿瘤良恶性的鉴别效率?如何尽可能辅助将卵巢癌的检出阶段提前?是当下亟需研究和攻克的方向。研究团队通过利用纳米结构材料和机器学习,建立了高保真度和可重复性的纳米材料辅助激光解吸电离(NA-LDI)平台,可用于鉴别诊断卵巢癌和良性卵巢肿瘤(BOT)。

来源:学术头条

 

 

Google提出基于深度学习的降水预测模型MetNet

对未来高精度的长时天气预报对社会生产生活的方方面面都具有重要意义,但目前精确的长时预测依然是气象基础科学领域所面临的基础科学问题和重大挑战。深度学习为气象学界提供了一种克服上述限制的可行方向:与显式地探索和利用气象物理规律不同,DNNs将从输入的气象数据中发现天气的变化模式,并学习出输入数据到气象预测间的复杂变换,并利用像GPUs和TPUs等强大的算力工具并行化的处理大规模的气象数据。最近来自Google的研究人员提出了基于深度学习的降水预测模型MetNet实现了1km空间分辨率以及2min时间分辨率的高精度预测,在实际测试中超过了NOAA使用的大气模型结果,并实现了全美范围内提前7-8小时的预测,为深度学习解决复杂的气象问题提供了新的解决方案。

来源:将门创投

 

 

▋ 会议
 

ACL 2020录用结果出炉

4月4日,ACL 2020录用结果落幕,超过3000篇的投稿数量,可以说是历史以来最盛大的一届ACL。根据官网新闻介绍,计划2020年7月5日在美国西雅图举办的线下会议,全部搬到网上来举行。另外,此次ACL 2020的审稿周期从19年的12月9日一直到20年的4月3日接近4个月时间,比往年的2个月宙稿时间几乎加倍。

来源:AI科技评论

 

 

NeurIPS不因ICML改Deadline

受到疫情影响,ICML 2020已将结果公布日期延后了一个月,不巧的是,和NeurIPS的投稿截止日期恰好冲突了。许多投稿人纷纷请求NeurIPS适当延长deadline,但NeurIPS官方却表示“我们不会改Deadline。”

来源:Medium

 

 

COLING截稿日期推迟至7月1日

为了应对全球日益严重的新型冠状病毒,同时希望能在巴塞罗那举行“当面”会议,COLING 2020组委会宣布将会议推迟至12月。新的会议日期为12月8日至13日,其中主会日期为8日至11日,而研讨会和讲习班将在12日至13日举行。且由于目前的工作条件对许多作者造成困难,COLING 2020组委会收到了大量要求延后截稿日期的请求,决定将论文截止日期延后至7月1日。已经上传论文的作者可以在新的截止日期之前随时撤稿或上传新版本。

来源:COLING 2020

 

 

▋ 经验
 

中科院兰艳艳:论文写作小白的成长之路

中科院计算技术研究所研究员兰艳艳在报告中,结合她个人的成长经历,从论文写作小白的视角出发,针对人工智能领域的顶会的论文要求,畅谈了在论文写作中如何进行分层布局、修改润色、英语表达、提升论文高度以及如何与科研互相促进等方面的经验和技巧。

来源:北京智源人工智能研究院

 

 

微软研究员们的读博心得

读博期间,发不出第一篇论文很抑郁怎么办?和导师应该保持怎样的关系?如何平衡学术和社交?如何做好职业规划,在各类企业中做出好的选择?本文介绍了在此前举办的微软亚洲研究院联合培养博士班分享会上,四位研究员——陈蓓、陈冬冬、董力、张丽,在资深学术合作经理孙丽君的主持下,分享了他们读博时候的那些事。

来源:MSR AI

 

 

▋ 求职
 

CSDN发布AI应用开发者报告

为了更好地了解其背后技术趋势与人才走向,并帮助所有有志于AI的开发者成长及就业,CSDN联合职场社交平台脉脉共同发布《中国AI应用开发者报告》,特聚焦分析中国AI开发者画像特征、技术及行业增长、地域分布等,旨在帮助更多的开发者及相关行业深入了解AI技术及应用发展趋势。

来源:CSDN

 

 

▋ 活动推荐

鄂维南学术报告《机器学习的数学理论》(4月14日)

鄂维南,数学家,主要从事机器学习、计算数学、应用数学及其在力学、物理、化学和工程等领域中的应用等方面的研究。1999年成为普林斯顿大学数学系和应用数学及计算数学研究所教授;2011年当选为中国科学院院士;2012年入选美国数学学会会士。
现代机器学习的核心问题是怎样有效地逼近一个高维空间的函数。传统的逼近论方法会导致维数灾难,这是对许多领域来说困惑了我们多年的问题。
在这个演讲里,我们将介绍以下几方面的内容:1. 怎样建立起一个数学理论?这里的问题本身跟传统的数值分析基本一样。不同的是机器学习需要处理的核心问题是维数灾难。所以我们需要建立起一个高维数值分析理论,包括逼近论,先验和后验误差估计,优化理论等。 这个理论会帮助我们理解什么样的模型和算法没有维数灾难。2. 怎样formulate 一个好的机器学习的数学模型?正确的方法是首先在连续的层面formulate 好的机器学习的模型,然后采用数值分析的想法,对这些连续模型作离散化而得到所需要的机器学习算法。 我们发现许多神经网络模型,包括残差网络模型,都可以通过这种途径得到。因为有一个好的连续模型作为背景,这样得到的机器学习模型和算法自然就有比较好的性质。3. 实际应用中有一些比较奇怪的现象,比方说double descent。怎样解释这些现象?实际应用中人们也没有按照前面所说的套路来做,那为什么其效果也还很好呢?4. 哪些问题还有待解决?


来源:智源社区

 

以上是《智源社区AI周刊》第16期的内容,智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标,不断优化和完善我们的内容服务,各位读者们如有批评意见,或者好的建议,请不吝赐教发至:editor@baai.ac.cn。谢谢大家。

特约编辑:刘布楼 常政 刘沂喆

为了帮助中国人工智能科研、从业者更好地了解全球人工智能领域的最新资讯,智源研究院编辑团队本周整理了第16期《智源社区AI周刊》,从学术(论文和新思想、学术会议等),行业和政策(技术产业政策、项目基金申请、技术投融资等),人物(学者的人事变动和获奖情况),数据(数据集),工具(新工具和应用推荐),求职(职场研究报告等)等诸多角度,鸟瞰过去一周人工智能领域值得关注的动态。

过去一周(2020/03/30~2020/04/05),值得关注的内容有以下3方面:

  • 4月4日,ACL 2020录用结果落幕,超过3000篇的投稿数量,可以说是历史以来最盛大的一届ACL。根据官网新闻介绍,计划2020年7月5日在美国西雅图举办的线下会议,由于疫情全部搬到网上来举行。另外,此次ACL 2020的审稿周期从19年的12月9日一直到20年的4月3日接近4个月时间,比往年的2个月宙稿时间几乎加倍。(详情参见本周报“会议”栏目)
  • 3月31日,智源研究院“人工智能的数理基础”重大研究方向首席科学家张平文院士因其在复杂流体建模、多尺度分析和自适应网格计算领域的成就获选2020年美国工业与应用数学学会会士,是今年中国内地高校中唯一入选的会士。(详情参见本周报“人物”栏目)
  • 《大词林》是由哈尔滨工业大学社会计算与信息检索研究中心研制,是一个自动构建的大规模开放域中文知识库。本次,该中心开源了《大词林》中的75万的核心实体词,以及这些核心实体词对应的细粒度概念词(共1.8万概念词,300万实体-概念元组),还有相关的关系三元组(共300万)。(详情参见本周报“数据”栏目)

下面是各个要点的详情介绍。

▋ 论文推荐

参数化网络设计空间
Designing Network Design Spaces

本文提出了一种新的网络设计范式。与以往研究不同,作者没有专注于设计单个网络实例,而是设计出了参数化网络群的网络设计空间。这种新的网络设计范式综合了手工设计网络和神经架构搜索(NAS)的优点。在类似的条件下,模型设计出的网络超越了当前表现最佳的EfficientNet模型,在GPU上实现了5倍的加速。
来源:CVPR 2020 | 论文下载

分布传播图网络的小样本学习
DPGN: Distribution Propagation Graph Network for Few-shot Learning

大多数基于图网络的元学习方法都对实例级关系进行了建模。本文提出了一种新的分布式传播图网络(DPGN)学习算法。在每一个少样本学习任务中,它都传递了分布级关系和实例级关系。为了结合所有实例的分布级关系和实例级关系,本文构造了一个由点图和分布图组成的对偶完全图网络,其中每个节点都代表一个实例。DPGN具有双重图结构,可以经过几轮迭代,将标签信息从带标签的示例传播到未带标签的示例。在少样本学习的大量实验中,DPGN在监督设置下和在半监督设置下都比最新的结果好。
来源:WWW 2020 | 论文下载

基于注意力卷积二叉神经树的细粒度视觉分类
Attention Convolutional Binary Neural Tree for Fine-Grained Visual Categorization

细粒度视觉分类因样本类间差异更加细微,往往只能借助微小的局部差异才能区分出不同的类别,所以是一项重要但具有挑战性的任务。本文提出了一种基于注意力机制的卷积二叉神经树结构。具体来说,作者将传统的决策树与神经网络结合,在树的内部节点中使用路由来确定树内从根到叶的计算路径,并且在树的边上添加了卷积操作增强表示能力,最终决策融合了所有叶节点的预测。该模型以一种由粗到细的层次方式学习获得具有判别力的特征。此外,作者采用了非对称的策略来增加多尺度特征提取,增强样本的区分性特征表示。最后采用SGD优化方法以端到端的方式训练整个网络。本文的方法在CUB-200-2011,Stanford Cars和Aircraft数据集上进行了评估,显著优于当前其他的弱监督细粒度方法。
来源:CVPR 2020 | 论文下载

用于视觉识别的门控信道变换
Gated Channel Transformation for Visual Recognition

本文针对深度卷积神经网络提出了一种易应用的变换单元Gated Channel Transformation(GCT)。GCT结合了归一化方法和注意力机制,并使用轻量级的、易于分析的变量来隐式地学习网络通道间的相互关系。这些通道量级的变量可以直接影响神经元间的竞争或者合作行为,且能方便地与卷积网络本身的权重参数一同参与训练。通过引入归一化方法,GCT模块要远比SE-Nets的SE模块轻量,这使得将GCT部署在每个卷积层上而不让网络变得过于臃肿成为了可能。本文在多个大型数据集上针对数种基础视觉任务进行了充分的实验,包括ImageNet数据集上的图片分类,COCO上的目标检测与实例分割,还有Kinetics上的视频分类。在这些视觉任务上,引入GCT模块均能带来明显的性能提升。这些大量的实验充分证明了GCT模块的有效性。
来源:CVPR 2020 | 论文下载

语音到动作:动作识别的跨模态监督
Speech2Action: Cross-modal Supervision for Action Recognition

在这项工作中,作者调查了电影中的言语和动作之间的联系。作者注意到,电影剧本既描述动作,也包含角色的语言,因此可以用来学习这种相关性,而不需要额外的监督。本文在一千多部电影剧本中训练一个基于BERT的语音动作分类器,从转录的语音片段中预测动作标签。然后,作者将该模型应用于一个大型未标记电影语料库的语音片段(来自288K电影的1.88亿个语音片段)。利用该模型的预测,作者得到了800K以上视频片段的弱动作标签。通过对这些视频剪辑的训练。本文在标准动作识别基准上展示了优越的动作识别性能,并且无需使用一个手动标记的动作示例。
来源:CVPR 2020 | 论文下载

▋ 观点

Robust.AI创始人Gary Marcus:深度学习与经典AI结合才是出路

尽管近年来由于深度学习的突破而实现了质的飞跃,当今的AI领域仍然有诸多问题亟待突破:面对攻击时的脆弱,无法从不断变化的环境中不断学习以产生新概念,并且充斥着(从人类数据中习得的)偏见。这些挑战使AI技术难以信任,也限制了其造福社会的潜力。近日,《MIT科技评论》举办了年度新兴科技峰会,其间纽约大学名誉教授、Robust.AI的创始人兼CEO Gary Marcus发表观点:他认为AI的缺点是该技术所固有的,研究人员不仅仅要关注DL(Deep Learning),而是要将其与经典AI,或者说具有解码和逻辑推理能力的符号主义AI体系相结合。
来源:新智元

▋ 行业与政策

德勤:2020技术趋势报告

2020年3月,德勤Deloitte最新发布《2020技术趋势报告》。这份报告基于德勤专家、全球顶尖企业、学术界和行业领袖以及领先的初创企业、风险投资人和技术供应商的洞察,探讨了推动转型变革的宏观力量,指出了五个可能在短期内引发颠覆性变革的关键新兴趋势,并分享了前沿企业的一线经验,也对未来的技术趋势进行了展望。这五个方向分别是1. 数字孪生:连结现实与数字世界;2. 架构觉醒;3. 技术道德与信任;4. 人感体验平台;5. 财务与IT的未来。
来源:专知

后疫情时代AI在新基建应用需注重成本和技术

受“新基建”刺激,万亿元的投资计划正在路上。据《企业透明度报告》介绍,全国22个已经公布投资计划的省市,累计公布了约7万亿的投资金额,与2019年31个省市的计划投资金额大致相当,并有多个省份强调将推进新基建投资。在可预见的未来,被列入新基建的人工智能、工业互联网、数据中心等,也将与制造业的智能升级故事线紧紧绑定。本文以这次疫情+新基建提出为分水岭来思考该领域的演进和困境所在,发现了一些有趣的结果。

Science报道新研究:同行评审后的研究仅比预印本研究质量提高4%

每天,科学家都会在诸如bioRxiv之类的公共服务器上发布很多预印本(尚未经过同行评审)研究。与作者将其发现提交传统期刊相比,预印本可以使科学家们更快地获得最新研究,而传统期刊通常需要几个月的时间才能完成评审。但批评人士指出,预印本能提高速度,却可能失去可靠性和公信力,因为同行评审可以指出错误和缺陷。这是一个令人担忧的问题,尤其是关于医学治疗的发现,非科学家可能会误解,可能会危及他们的健康。新冠病毒大流行也加剧这些担忧。但是,最近的一项研究得出结论,同行评审似乎并不能大大提高预印本的质量。
来源:新智元

▋ 人物

智源首席科学家张平文当选美国工业与应用数学学会会士

3月31日,智源研究院“人工智能的数理基础”重大研究方向首席科学家张平文院士当选2020年美国工业与应用数学学会会士(SIAM FELLOW)。张平文现任北京大学副校长,数学科学学院教授,中国工业与应用数学学会(CSIAM)理事长,中国科学院院士,发展中国家科学院院士。自2019年4月开始担任智源研究院“人工智能的数理基础”重大研究方向首席科学家,带领来自北京大学、清华大学、中科院数学与系统科学研究院等单位的领军科学家,围绕可解释性的新型人工智能模型、新型的机器学习算法以及深度学习的基础理论开展研究,建立以数学与统计理论为第一原理的新一代人工智能方法论。此次因其在复杂流体建模、多尺度分析和自适应网格计算领域的成就获选2020年美国工业与应用数学学会会士,是今年中国内地高校中唯一入选的会士。

DeepMind首席科学家Silver获得2019 ACM计算奖

美国计算机学会(ACM)今天宣布,将2019年ACM计算奖授予AlphaGo研发团队领导者David Silver,以表彰他为计算机游戏表现带来的突破性进展。与“计算机界的诺贝尔奖”图灵奖不同,ACM计算奖(ACM Prize in Computing)每年授予在计算机领域里有突出贡献的年轻学者。Silver目前任伦敦大学学院(UCL)教授、谷歌旗下人工智能公司DeepMind首席科学家。作为深度强化学习领域的领军人物,Silver最主要的成就就是领导了AlphaGo研发团队,在围棋比赛中击败了世界冠军柯洁和李世石。
来源:学术头条

▋ 数据

哈工大《大词林》开放75万核心实体词及相关概念、关系列表

《大词林》是由哈尔滨工业大学社会计算与信息检索研究中心研制,是一个自动构建的大规模开放域中文知识库。本次,该中心开源了《大词林》中的75万的核心实体词,以及这些核心实体词对应的细粒度概念词(共1.8万概念词,300万实体-概念元组),还有相关的关系三元组(共300万)。这75万核心实体列表涵盖了常见的人名、地名、物品名等术语。概念词列表则包含了细粒度的实体概念信息。借助于细粒度的上位概念层次结构和丰富的实体间关系,本次开源的数据能够为人机对话、智能推荐、等应用技术提供数据支持。
来源:哈工大SCIR

X-Stance:大规模多语言多目标立场检测数据集

本文从瑞士选举候选人的评论中提取了大规模的立场检测数据集。该数据集由德语,法语和意大利语组成,可以在多语言场景下检测立场。它包含关于150多个政治问题的67000条评论。与具有特定目标问题的立场检测模型不同,本文使用的数据集针对所有问题训练单个模型。为了使跨目标的学习成为可能,作者在每个实例前都添加了代表目标的问题。

Google发布Taskmaster-2自然语言任务对话数据集

Taskmaster-2数据集由以下七个域中的17289个对话组成:饭店、食品订购、电影、酒店、航班、音乐和体育该数据集使用Taskmaster-1中使用的同一WOz系统收集。与Taskmaster-1相似,作者仅注释常见的对话变量,例如专有名称,时间,价格,数量等。
来源: Google Research

▋ 代码

天授:清华开源本科生强化学习平台

天授(Tianshou)是纯基于PyTorch代码的强化学习框架,与目前现有基于TensorFlow的强化学习库不同,天授的类继承并不复杂,API也不是很繁琐,它以极简的代码实现了很多强化学习算法。最重要的是,天授的训练速度非常快,试用Pythonic的API就能快速构建与训练RL智能体。
来源: 清华大学

Huggingface简介及BERT代码浅析

Hugging face是一家总部位于纽约的聊天机器人初创服务商,开发的应用在青少年中颇受欢迎,相比于其他公司,Hugging Face更加注重产品带来的情感以及环境因素。本文的内容是结合Huggingface的Transformers代码,来进一步了解下BERT的pytorch实现。
来源: AINLP

Moco Learning增强模型

对比性无监督学习最近显示出令人鼓舞的进展,例如动量对比度(MoCo)和SimCLR。在本项目中,作者通过在MoCo框架中实现SimCLR的两项设计改进来验证其有效性。通过对MoCo进行简单的修改(即使用MLP映射和更多的数据增强功能),作者可以建立优于SimCLR的更强模型,并且模型不需要大量的训练。
来源:Facebook AI

▋ 教程

A Survey of Deep Learning for Scientific Discovery

在过去的几年里,人们看到了机器学习核心问题的根本性突破,这主要是由深度神经网络的进步推动的。与此同时,在广泛的科学领域中收集的数据无论在规模和复杂性方面都在急剧地增加。综上所述,这为深度学习在科学领域的应用提供了许多令人兴奋的机会。但这方面的一个重大挑战就是知道从哪里开始的。不同深度学习技术的广度和多样性使得很难确定哪些科学问题最适合这些方法,或者哪些特定的方法组合可能提供最有效果的方法。在这篇综述中,作者专注于解决这个核心问题,提供许多广泛使用的深度学习模型的概述,包括视觉、序列和图结构化数据,相关任务和不同的训练方法,随着技术使用较少的数据深度学习和更好的理解这些复杂的模型——两个核心考虑的许多科学的用例。本文还包括对整个设计过程的概述、实现技巧,以及到社区开发的大量教程、研究总结、开源深度学习通道和预训练模型的链接。本文希望这篇综述将有助于加速在不同科学领域使用深度学习。
来源: Google

Heterogeneous Network Representation Learning: Survey, Benchmark, Evaluation, and Beyond

由于现实世界中的对象及其交互通常是多模态和多类型的,所以异构网络被广泛地用作传统同构网络的一个更强大、更现实和更通用的超类。与此同时,表示学习最近得到了深入的研究,并被证明对各种网络挖掘和分析任务都是有效的。由于已有大量的异构网络嵌入算法,但没有专门的调研综述,作为这项工作的第一个贡献,作者率先提供了一个统一的范式,对各种现有的HNE算法的优点进行系统的分类和分析。此外,现有的HNE算法虽然大多被认为是通用的,但通常是在不同的数据集上进行评估。由于HNE在应用上的天然优势,这种间接的比较在很大程度上阻碍了任务性能的改善,特别是考虑到从真实世界的应用数据构建异构网络的各种可能的方法。因此,作为第二项贡献,作者创建了四个基准数据集,这些数据集具有不同来源的尺度、结构、属性/标签可用性等不同属性,以全面评估HNE算法。作为第三个贡献,作者对十种流行的HNE算法的实现进行了细致的重构和修改,并创建了友好的接口,并在多个任务和实验设置上对它们进行了全方位的比较。
来源:UIUC

多模态深度学习综述

模态是指事物发生或存在的方式,如文字、语言、声音、图形等。多模态学习是指学习多个模态中各个模态的信息,并且实现各个模态的信息的交流和转换。多模态深度学习是指建立可以完成多模态学习任务的神经网络模型。多模态学习的普遍性和深度学习的热度赋予了多模态深度学习鲜活的生命力和发展潜力。旨在多模态深度学习的发展前期,总结当前的多模态深度学习,发现在不同的多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成,以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各问题进行子分类和论述,同时列举了为解决各问题产生的神经网络模型。最后论述了实际多模态系统,多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。
▋ 竞赛

KDD Cup 2020开赛

今年由滴滴主办强化学习赛道(RL Track),题目围绕订单分配与车辆调度,诚邀全球算法高手共同挑战共享出行领域优化难题。欢迎大家报名参赛。
▋ 新工具

PyTorch Lightning 0.7.1发布:增加了TPU支持,Profiling,Callbacks

PyTorch Lightning是一种组织PyTorch代码以使研究代码(如网络定义)与工程代码(如数据加载,模型训练等)分离的方法,主要面向深度学习研究者,博士生等。近日,Pytorch Lightning发布0.7.1版本,增加了TPU支持,Profiling,Callbacks等功能。
来源:Medium

首款Jupyter官方可视化Debug工具

Jupyter这种工具虽然有很好的交互性能,但其也明白,对于大型代码库,最好还是用传统的IDE比较靠谱。因此为了弥补这一缺陷,Jupyter项目在过去几年也希望通过JupyterLab来加强对大型代码库的处理过程。然而,JupyterLab还是有一大缺陷,它不能通过可视化的方式进行Debug,这限制了进一步的调试。这几天,Jupyter团队表示,经过几个月的开发,他们很高兴能第一次发布Jupyter可视化Debugger。虽然这只是第一版,但目前已经可以设置常见的断点Debug,查看各种变量、执行模块等信息。
来源:机器之心

Graph-Learn:阿里开源简化GNN应用框架

近年来,图神经网络(GNN)已经在图像分类、语义分割、推荐系统、程序推理乃至分子结构预测等领域,都有着越来越广泛的应用。GNN一般是将底层图形作为计算图,通过在图上传递、转换和聚合节点特征信息学习神经网络基元以生成单个节点嵌入。生成的节点嵌入可以作为输入,用于如节点分类或连接预测的任何可微预测层,完整的模型可以通过端到端的方式训练。近日,阿里巴巴团队开源了Graph-Learn,这是一个用以简化图神经网络应用的新框架。它能够从实际的案例中提取出解决方案,并且这些解决方案已在推荐、反欺骗和知识图谱系统领域得到了应用和验证。
来源:阿里巴巴

▋ 应用

加州大学旧金山分校用AI解码脑电波,将大脑所想直接合成文本或语音

许多患有神经疾病的患者因丧失语言能力,需要依赖特定的通讯设备进行沟通,这类设备大多利用脑机接口或者头部、眼睛的动作来控制光标,以选择屏幕上的字母,从而拼出他们想说的句子。但是,这个蹦单词的过程,实在无法与人类的正常说话过程相比。3月30日,《自然-神经科学》发表了美国加州大学旧金山分校华裔教授Edward Chang及同事开发的一款脑电波AI解码器,能够将大脑活动信号直接转化为句子文本。具体而言,研究人员首先通过电极记录受试者说话时的神经活动信号,并用特定语句和神经信号特征之间的关联数据训练AI算法,试验证明,训练后的机器翻译算法能够准确地解码受试者的神经活动,并将其接近实时地翻译为句子文本,错误率低至3%。
来源:学术头条

哈尔滨医科大学:AI+纳米新材料助力卵巢肿瘤早期诊断

卵巢癌(OC)是世界最致命的妇科恶性肿瘤,由于症状不典型,往往患者无法自觉,且目前临床上没有可靠和准确的检测手段,导致大多数患者直到晚期才被诊断。而常用的癌症抗原 125(CA125)虽具有高灵敏度,但对OC的诊断特异性较差,如何通过早期筛查手段提升针对卵巢肿瘤良恶性的鉴别效率?如何尽可能辅助将卵巢癌的检出阶段提前?是当下亟需研究和攻克的方向。研究团队通过利用纳米结构材料和机器学习,建立了高保真度和可重复性的纳米材料辅助激光解吸电离(NA-LDI)平台,可用于鉴别诊断卵巢癌和良性卵巢肿瘤(BOT)。
来源:学术头条

Google提出基于深度学习的降水预测模型MetNet

对未来高精度的长时天气预报对社会生产生活的方方面面都具有重要意义,但目前精确的长时预测依然是气象基础科学领域所面临的基础科学问题和重大挑战。深度学习为气象学界提供了一种克服上述限制的可行方向:与显式地探索和利用气象物理规律不同,DNNs将从输入的气象数据中发现天气的变化模式,并学习出输入数据到气象预测间的复杂变换,并利用像GPUs和TPUs等强大的算力工具并行化的处理大规模的气象数据。最近来自Google的研究人员提出了基于深度学习的降水预测模型MetNet实现了1km空间分辨率以及2min时间分辨率的高精度预测,在实际测试中超过了NOAA使用的大气模型结果,并实现了全美范围内提前7-8小时的预测,为深度学习解决复杂的气象问题提供了新的解决方案。
来源:将门创投

▋ 会议

ACL 2020录用结果出炉

4月4日,ACL 2020录用结果落幕,超过3000篇的投稿数量,可以说是历史以来最盛大的一届ACL。根据官网新闻介绍,计划2020年7月5日在美国西雅图举办的线下会议,全部搬到网上来举行。另外,此次ACL 2020的审稿周期从19年的12月9日一直到20年的4月3日接近4个月时间,比往年的2个月宙稿时间几乎加倍。

NeurIPS不因ICML改Deadline

受到疫情影响,ICML 2020已将结果公布日期延后了一个月,不巧的是,和NeurIPS的投稿截止日期恰好冲突了。许多投稿人纷纷请求NeurIPS适当延长deadline,但NeurIPS官方却表示“我们不会改Deadline。”
来源:Medium

COLING截稿日期推迟至7月1日

为了应对全球日益严重的新型冠状病毒,同时希望能在巴塞罗那举行“当面”会议,COLING 2020组委会宣布将会议推迟至12月。新的会议日期为12月8日至13日,其中主会日期为8日至11日,而研讨会和讲习班将在12日至13日举行。且由于目前的工作条件对许多作者造成困难,COLING 2020组委会收到了大量要求延后截稿日期的请求,决定将论文截止日期延后至7月1日。已经上传论文的作者可以在新的截止日期之前随时撤稿或上传新版本。
来源:COLING 2020

▋ 经验

中科院兰艳艳:论文写作小白的成长之路

中科院计算技术研究所研究员兰艳艳在报告中,结合她个人的成长经历,从论文写作小白的视角出发,针对人工智能领域的顶会的论文要求,畅谈了在论文写作中如何进行分层布局、修改润色、英语表达、提升论文高度以及如何与科研互相促进等方面的经验和技巧。

微软研究员们的读博心得

读博期间,发不出第一篇论文很抑郁怎么办?和导师应该保持怎样的关系?如何平衡学术和社交?如何做好职业规划,在各类企业中做出好的选择?本文介绍了在此前举办的微软亚洲研究院联合培养博士班分享会上,四位研究员——陈蓓、陈冬冬、董力、张丽,在资深学术合作经理孙丽君的主持下,分享了他们读博时候的那些事。
来源:MSR AI

▋ 求职

CSDN发布AI应用开发者报告

为了更好地了解其背后技术趋势与人才走向,并帮助所有有志于AI的开发者成长及就业,CSDN联合职场社交平台脉脉共同发布《中国AI应用开发者报告》,特聚焦分析中国AI开发者画像特征、技术及行业增长、地域分布等,旨在帮助更多的开发者及相关行业深入了解AI技术及应用发展趋势。
来源:CSDN

▋ 活动推荐

鄂维南学术报告《机器学习的数学理论》(4月14日)

鄂维南,数学家,主要从事机器学习、计算数学、应用数学及其在力学、物理、化学和工程等领域中的应用等方面的研究。1999年成为普林斯顿大学数学系和应用数学及计算数学研究所教授;2011年当选为中国科学院院士;2012年入选美国数学学会会士。
现代机器学习的核心问题是怎样有效地逼近一个高维空间的函数。传统的逼近论方法会导致维数灾难,这是对许多领域来说困惑了我们多年的问题。
在这个演讲里,我们将介绍以下几方面的内容:1. 怎样建立起一个数学理论?这里的问题本身跟传统的数值分析基本一样。不同的是机器学习需要处理的核心问题是维数灾难。所以我们需要建立起一个高维数值分析理论,包括逼近论,先验和后验误差估计,优化理论等。 这个理论会帮助我们理解什么样的模型和算法没有维数灾难。2. 怎样formulate 一个好的机器学习的数学模型?正确的方法是首先在连续的层面formulate 好的机器学习的模型,然后采用数值分析的想法,对这些连续模型作离散化而得到所需要的机器学习算法。 我们发现许多神经网络模型,包括残差网络模型,都可以通过这种途径得到。因为有一个好的连续模型作为背景,这样得到的机器学习模型和算法自然就有比较好的性质。3. 实际应用中有一些比较奇怪的现象,比方说double descent。怎样解释这些现象?实际应用中人们也没有按照前面所说的套路来做,那为什么其效果也还很好呢?4. 哪些问题还有待解决?
来源:智源社区

以上是《智源社区AI周刊》第16期的内容,智源研究院编辑团队将本着“提供真正内行的AI资讯”的目标,不断优化和完善我们的内容服务,各位读者们如有批评意见,或者好的建议,请不吝赐教发至:editor@baai.ac.cn。谢谢大家。

所有文章
×

还剩一步!

确认邮件已发至你的邮箱。 请点击邮件中的确认链接,完成订阅。

好的