您好、欢迎来到现金彩票网!
当前位置:刘伯温预言 > 图像并行处理 >

第一个支持图神经网络的并行处理框架出现了

发布时间:2019-07-10 00:38 来源:未知 编辑:admin

  第一个支持图神经网络的并行处理框架出现了!北京大学、微软亚洲研究院的研究人员近日发表论文,提出NGra,这是第一个支持大规模GNN的系统。

  GNN(图神经网络)代表了一种新兴的计算模型,这自然地产生了对在大型graph上应用神经网络模型的需求。

  但是,由于GNN固有的复杂性,这些模型超出了现有深度学习框架的设计范围。此外,这些模型不容易在并行硬件(如GPU)上有效地加速。

  近日,北京大学、微软亚洲研究院的多位研究人员在arXiv上发布了一篇新论文,提出了解决这些问题的有效方案。

  作者表示:“我们提出NGra,这是第一个基于图形的深度神经网络并行处理框架。”

  这个模型不仅允许直观地表示GNN,而且还可以方便地映射到高效的数据流表示。NGra通过GPU核心或多GPU的自动图分区和基于chunk的流处理透明地解决了可扩展性挑战,仔细考虑了数据局部性、数据移动以及并行处理和数据移动的重叠。

  NGra通过在GPU上进行高度优化的Scatter / Gather操作进一步提高了效率,尽管它具有稀疏性。我们的评估表明,NGra可以扩展到现有框架无法直接处理的大型实际图形,而在TensorFlow的multiple-baseline设计上,即使在小规模上也可以实现约4倍的加速。

  NGra是第一个支持大规模GNN(图神经网络)的系统,这是一个在GPU上可扩展、高效的并行处理引擎。

  虽然SAGA可以被认为是GAS(Gather-Apply-Scatter)模型的变体,但SAGA-NN模型中的用户定义函数允许用户通过使用数据流抽象来表示对vertex或edge数据(被视为tensors)的神经网络计算,而不是专为传统图形处理而设计(例如PageRank、 connected component和最短路径等算法)

  与DNN一样,高效地使用GPU对于GNN的性能至关重要,而且由于要处理的是大型图形结构,这一点更为重要。为了实现超出GPU物理限制的可扩展性,NGra将图形(顶点和边缘数据)透明地划分为块(chunk),并将SAGA-NN模型中表示的GNN算法转换为具有chunk粒度的运算符的dataflow graph,从而在单个GPU或多个GPU上启用基于chunk的并行流处理。

  NGra engine的效率在很大程度上取决于NGra如何管理和调度并行流处理,以及在GPU上关键图形传播运算符Scatter和Gather的实现。

  NGra非常注重数据局部性,以最大限度地减少GPU内存中的数据交换,并在GPU内存中最大化数据块的重用,同时将数据移动和计算以流的方式重叠。

  对于多GPU的情况,它使用 ring-based streaming机制,通过直接在GPU之间交换数据块来避免主机内存中的冗余数据移动。

  与其他基于GPU的图形引擎关注的传统图形处理场景不同,在GNN场景中,可变顶点数据本身可能无法容纳到GPU设备内存中,因为每个顶点的数据可以是特征向量( feature vector)而不是简单的标量(scalar)。因此,我们的方案更倾向于在每个顶点数据访问中利用并行性,从而提高内存访问效率。

  我们利用单个服务器的主机内存和GPU的计算能力,证明NGra可以扩展以支持大型图形的各种GNN算法,其中许多是现有深度学习框架无法直接实现的。

  与小型graph上的TensorFlow相比,它可以支持GPU,NGra可以获得最多4倍的加速。我们还广泛评估了NGra的多重优化所带来的改进,以证明其有效性。

  接下来的部分将描述SAGA-NN编程抽象,NGra系统的组件,以及NGra的实现和评估。

  基于图(graph)的神经网络(GNN)是根据图形结构定义的一类通用神经网络架构。

  图中的每个顶点或边可以与张量数据(通常是vector)相关联,作为其特征或嵌入。GNN可以堆叠在多个层中,迭代传播过程在同一个图上逐层进行。

  在图的每个层中,顶点或边缘要素沿边缘变换和传播,并在目标顶点聚合,以生成下一层的新要素。转换可以是任意的DNN计算。

  图还可以包含每个顶点,每个边缘或整个图形的标签,用于计算顶层的损失函数。然后从底层到顶层执行前馈计算(feedforward computation)和反向传播。

  我们使用Gated Graph ConvNet(G-GCN)算法作为一个具体示例。 Graph ConvNet概括了卷积运算的概念,通常应用于图像数据集,用于处理任意图形(例如knowledge graph)。Gated Graph ConvNet进一步结合了门控机制,因此模型可以了解哪些边对学习目标更重要。

  图2:SAGA-NN模型中,Gated Graph ConvNet的layer

  一个优化层,它产生用于最小化主机和GPU设备存储器之间的数据移动的调度策略,并识别融合操作和删除冗余计算;

  一组有效的传播操作内核,支持基于流的处理,以将GPU中的数据移动和计算重叠;

  以下是评估结果。评估证明了NGra的高效和可扩展性,以及与state-of-the-art的系统TensorFlow的比较。

  GNN代表了一种新兴的计算模型,这自然地产生了对在大型graph上应用神经网络模型的需求。由于GNN训练固有的复杂性,支持高效的、可扩展的并行计算是很困难的。

  NGra是第一个支持GNN的并行处理框架,它使用新的编程抽象,然后将其映射和优化为数据流,进而在GPU上高效执行。

  文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

  David,加州大学物理博士,美国著名电商数据科学家。本课程介绍什么是深度学习, 深度学习与机器学习的关系,几种神经网络

  《创世纪》里,神用7天创造了这个世界。而现在,你可能也有机会体验这个过程,创造一个属于自己的宇宙。

  他称甲骨文的数据库“完全自治”,而亚马逊的数据库则是“半自主的”。“半自主数据库就像半自动驾驶汽车一....

  走向线 日上午,清华大学研究院院长张钹院士为 CCF-GAIR 2018 主会场「AI 前沿技....

  自从2011年嵌入式视觉联盟(EVA)成立以来,嵌入式视觉在广泛的市场范围内,在投资、创新和实用视觉....

  机器视觉是工业4.0,即工业物联网背景下高度自动化和无缝联网过程的关键技术。使用诸如深度学习之类的新....

  根据麦肯锡的数据,从现在到2030年这十几年间,人工智能将会为美国新创造大约13万亿美元的国内生产总....

  卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。

  深度学习是机器学习领域的一个分支,也可以说是该领域近些年来的最大突破之一。

  隐藏层会对输入数据进行数学运算。如何决定隐藏层的数量、以及每层神经元的数量仍是构建神经网络的挑战。

  深度学习在基础研究、应用研究和开发、应用和实践等方面确实彻底改变了机器学习的格局。

  机器学习,属于人工智能的另一个常被滥用的术语,也被认为有一些“秘诀”,可以摆脱对人力投入的需求。

  解决这些以及其他主要人工智能和深度学习挑战,包括斯坦福大学的人工智能百年研究和麻省理工学院的探索。

  开源的深度学习神经网络正步入成熟,而现在有许多框架具备为个性化方案提供先进的机器学习和人工智能的能力....

  研究人员利用基于神经网络的新算法,成功模拟了量子系统的“稳态”。利用神经网络估计并模拟波函数和密度矩....

  《创世纪》里,神用7天创造了这个世界。而现在,你可能也有机会体验这个过程,创造一个属于自己的宇宙。

  近期谷歌大脑团队发布了一项新研究:只靠神经网络架构搜索出的网络,不训练,不调参,就能直接执行任务。

  将A图片的风格转移到B图片上,指的是将A图片的抽象艺术风格(如线条、色彩等等)和B图片的内容框架合成....

  我们正进入分布式系统的时代。作为分布式系统研究人员,我们总是相信,我们在做最重要的部分。微软研究院拥....

  为了对这一现象进行解释,本文对标签平滑对网络倒数第二层表示的影响进行了可视化,发现标签平滑使同一类训....

  英特尔两款面向推理和训练的Nervana神经网络处理器,将在今年年底发布

  在2019年百度AI开发者大会上,英特尔公司副总裁兼人工智能产品事业部总经理Naveen Rao以“....

  目前很多网络轻量化的工作[1,2,3]利用结构稀疏正则化(下文简称为结构正则化)来对神经网络进行通道....

  Fork:翻译一直很有争议,因此通常不翻译。有翻译成分叉、也有翻译成分支的。Linux中国翻译组(L....

  在每个级别的网络架构(类似于PWC-Net)。˙wl表示水平l的初始粗流,F l表示翘曲的特征表示。....

  斯坦福AI Lab主任、NLP大师Manning:将深度学习应用于自然语言处理领域的领军者

  像Alexa和Siri那样的对话助手对自然语言处理产生了巨大的影响。最开始这些变化跟深度学习和自然语....

  有人评论:像这样的论文今天几乎会被所有 “顶级” 人工智能会议和期刊拒绝,但我不得不说,我很欣赏它的....

  深度学习的进一步发展需要解决内存限制问题,而当前的解决方案无法利用所有可用计算,业内人士逐渐意识到需....

  随着交通卡口的大规模联网,汇集的海量车辆通行记录信息,对于城市交通管理有着重要的作用。

  我认为图灵机制在诞生在很早的生命阶段,现在的图灵机制是大脑皮层高度扩大之后,提供的扩展能力呈现出来的....

  英特尔正与百度合作开发英特尔® Nervana™神经网络训练处理器(NNP-T)。这一合作包括全新定....

  微软近日放出一段展示视频,介绍了一项名为“Manual Deskterity”的多点触摸控制技术,可....

  当今物理和天文实验所产生的海量信息,没有任何一个人或者团队可以完整的处理。有些实验数据每天以千兆字节....

  霍金的弟子,约翰霍普金斯大学教授Alan Yuille提出“深度学习在计算机视觉领域的瓶颈已至。

  摘要: 本文主要介绍计算机视觉中主要的五大技术,分别为图像分类、目标检测、目标跟踪、语义分割以及实例....

  据台湾经济日报报道,供应链传出,惠普要求广达把部分笔记本产能移至泰国,戴尔要求仁宝把部分笔记本产能移....

  借着大数据和深度学习的东风,PIM一下子流行起来。其实,PIM并不是一个新概念, 每一个很靠谱的PI....

  在英特尔看来,数据市场蕴含3000亿美元机遇,但进入2019年,业绩与利润呈现双双下滑局面。

  众所周知,通用处理器(CPU)的摩尔定律已入暮年,而机器学习和 Web 服务的规模却在指数级增长。

  电子发烧友总结了以“人工智能”为主题的5月精选干货,今后每月一个主题为一期,希望对各位有所帮助!(点击标题即可进入页面下载...

  微软(Microsoft)正探索将现场可编程闸阵列(FPGA)导入其资料中心伺服器的可能性。虽然目前这还只是一个初步的...

  i.MX 8开发工具从相机获取数据并使用一个GPU并应用图像分割算法。然后将该信息馈送到专用于识别交通标志的神经网络推理引擎...

http://3dtvsource.com/tuxiangbingxingchuli/437.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有