计算机视觉及其后的图神经网络教程(第一部分)_亚博游戏平台

本文摘要:阐述我在本文将问那些不熟知图或图神经网络的AI/ML/CV的用户一般来说不会回答的问题。我获取了Pytorch的例子来回应这种比较精致和令人兴奋的模型背后的思路。我在本部分教程中明确提出的问题是:为什么图这种数据结构简单?为什么在图上定义卷积是艰难的?什么使神经网络沦为图神经网络?为了问这些问题,我将获取激励性的示例、论文和python代码,使其沦为图神经网络(GNNs)的教程。

亚博游戏官网

阐述我在本文将问那些不熟知图或图神经网络的AI/ML/CV的用户一般来说不会回答的问题。我获取了Pytorch的例子来回应这种比较精致和令人兴奋的模型背后的思路。我在本部分教程中明确提出的问题是:为什么图这种数据结构简单?为什么在图上定义卷积是艰难的?什么使神经网络沦为图神经网络?为了问这些问题,我将获取激励性的示例、论文和python代码,使其沦为图神经网络(GNNs)的教程。

读者必须一些基本的机器学习和计算机视觉科学知识,但是,我随着我的描写我也不会获取一些背景和直观的说明。首先,让我们非常简单总结一下什么是图?图是由有向/无向边相连的一组节点(顶点)。节点和边一般来说来自于关于问题的一些专家科学知识或直觉。

因此,它可以是分子中的原子、社交网络中的用户、交通系统中的城市、团队运动中的运动员、大脑中的神经元、动态物理系统中的相互作用对象、图像中的像素、边界板或拆分感测器。换言之,在许多实际情况下,实质上是您要求了什么是图中的节点和边。在许多实际情况下,实质上是你来要求图中的节点和边是什么。

这是一个非常灵活的数据结构,它总结了许多其他的数据结构。例如,如果没边,那么它就沦为一个子集;如果只有“横向”边,并且任何两个节点正好由一条路径相连,那么我们就有一棵树。这种灵活性是好的和怕的,我将在本教程中辩论。

1.为什么图这种数据结构简单?在计算机视觉(cv)和机器学习(ml)的背景下,研究图形和借此自学的模型最少可以给我们带给四个益处:1.1我们可以更加相似解决问题以前太具挑战性的最重要问题,例如:癌症的药物找到(Veselkov等人,Nature,2019);更佳地解读人脑连接体(Diez&Sepulcre,NatureCommunications,2019);能源和环境挑战的材料找到(Xie等人,大自然通讯,2019)。1.2在大多数cv/ml应用程序中,数据实质上可以看做是图,即使您曾多次将它们回应为另一个数据结构。

将你的数据表示为图形可以给你带给很多灵活性,并且可以给你一个十分有所不同和有意思的视角来看来你的问题。例如,您可以从“超级像素”自学,而不是从图像像素自学,如(Liang等人,ECCV2016)和我们将要公开发表的BMVC论文中所述。

亚博游戏官网

图还容许您在数据中产生一种关系概括偏差-一些关于该问题的先验科学知识。例如,如果你想要对人体姿势展开推理小说,你的关系偏差可以是人体骨骼关节的图(Yan等人,AAAI,2018);或者如果你想要对视频展开推理小说,你的关系偏差可以是移动边界板的图(Wang&Gupta,ECCV2018)。另一个例子是将面部地标回应为图(Antonakos等人,CVPR,2015),以对面部属性和身份展开推理小说。

1.3您最喜欢的神经网络本身可以看做是一个图,其中节点是神经元,边是权重,或者节点是层,边回应向前/向后传送的流(在这种情况下,我们辩论的是在tensorflow、pytorch和其他dl框架中用于的计算出来图)。应用程序可以是计算出来图的优化、神经结构搜寻、分析训练不道德等。1.4最后,您可以更加有效地解决问题许多问题,其中数据可以更加大自然地回应为图形。

这还包括但不仅限于分子和社会网络分类(Knyazevetal.,Neurips-W,2018)和分解(Simonovsky&Komodakis,ICANN,2018)、三维网格分类和对应(Feyetal.,CVPR,2018)和分解(Wangetal.,ECCVV,2018)、动态交互对象的建模不道德(Kipfetal.,ICML,2018),视觉场景图建模(闻将要开会的ICcv研讨会)和解说(Narasimhan,Neurips,2018),程序制备(Allamanis等人,ICLR,2018),有所不同的增强自学任务(Bapst等人,ICML,2019)和许多其他令人兴奋的问题。由于我之前的研究是关于辨识和分析面部和情绪的,所以我尤其讨厌下面这个图。

2.为什么在图上定义卷积是艰难的?为了问这个问题,我首先得出了一般用于卷积的一些动机,然后用图的术语来叙述“图像上的卷积”,这应当使向“图上的卷积”的过渡性更为光滑。2.1为什么卷积简单?让我们解读为什么我们如此关心卷积,为什么我们想要它来绘制图形。

与几乎相连的神经网络(a.k.a.nns或mlps)比起,卷积网络(a.k.a.cnns或convnets)具备以下根据一辆可爱的老雪佛兰的图像说明的某些优点。首先,ConvNets利用图像中的大自然先验,在(Bronstein等人,2016)中回应展开了更加月的叙述,例如1.旋转不变性-如果我们将右图中的汽车向左/向右/向下/向上旋转,我们依然应当需要将其辨识为汽车。

通过在所有方位分享过滤器,即应用于卷积,可以利用这一点。2.方位-附近的像素密切涉及,一般来说代表某种语义概念,例如滚轮或窗户。通过用于比较较小的滤波器可以利用这一点,该滤波器可以捕捉局部空间邻域中的图像特征。

3.构成性(或层次结构)-图像中较小的区域一般来说是其包括的较小区域的语义父级。例如,汽车是车门、车窗、车轮、驾驶员等的父对象,而驾驶员是头部、手臂等的父对象。

这是通过变换卷积层和应用于池隐式利用的。


本文关键词:亚博游戏平台,计算机,视觉,及其,后的,图,神经,网络教程,第

本文来源:亚博游戏平台-www.dgcsxh.com

Copyright © 2002-2021 www.dgcsxh.com. 亚博游戏平台科技 版权所有   ICP备16298647号-3   XML地图   亚博电子游戏|首页