找回密码
 立即注册
搜索

清华团队综述片面解读图神经网络实际方法与运用

清华团队综述片面解读图神经网络实际方法与运用-1.jpg


近年来,由于图的弱小表达才能,应用机器学习分析图的研讨越来越遭到关注。图(graph)作为一种数据结构,由节点(node)和边(edge)组成,假如赋予节点和边不同的含义,那么看似简单的图就可以组成非常庞大的信息。例如,若图中的节点代表商品,边表示购买顺序,那么连起来就代表了一个用户的购物网络。

清华团队综述片面解读图神经网络实际方法与运用-2.jpg

图 | 一个最简单的图包含节点和边(箭头表示关系方向)


如今,在图范畴机器学习中,图神经网络(Graph Neural Network,简称 GNN)又成为新的研讨热点。由于 GNN 对图节点之间依赖关系停止建模的弱小才能,它在社交网络、知识图、引荐系统甚至生命迷信等各个范畴都得到了越来越广泛的运用。

近日,清华大学研讨团队就针对 GNN 的最新发展,于 AI OPEN 发表了题为 “Graph neural networks: A review of methods and applications” 的研讨综述。文中详细总结了构建 GNN 模型的 “四步” 框架并作实际分析,展现了 GNN 在各学科中常见的运用,并最后提出四个开放性成绩,表明了图神经网络的次要应战和将来研讨方向。

论文地址:https://arxiv.org/abs/1812.08434

1四步构建GNN


GNN 是基于图的深度学习方法,作为神经模型的一种,它经过图节点之间的音讯传递来捕获图的依赖性。GNN 的设计流程通常包含四个步骤:找出相应的图结构、指定图类型与规模、设计损失函数、运用计算模块构建模型。

清华团队综述片面解读图神经网络实际方法与运用-3.jpg

图 | GNN 的设计流程图(来源:论文)


在此次的研讨中,作者就详细描画这四个步骤的操作框架。

(1)找到与目的相顺应的图结构:通常可以分为结构化场景和非结构化场景。在结构化场景中,图结构在运用中比较明白,例如在分子、物理系统、知识图等上的运用。而在非结构化场景中,图是隐含的,因此首先要从义务中构建图,例如为文本构建一个完全衔接的 “词” 图或为图像构建一个场景图。

(2)指定图类型和规模:在获得图形后,需求找出图形类型及其规模。图通常分为有向 / 无向图、同构 / 异构图(同构图中的节点和边具有相反的类型,而异构图中的节点和边具有不同的类型)、静态 / 动态图(当输入特征或图的拓扑随工夫变化时,该图被视为动态图)。

清华团队综述片面解读图神经网络实际方法与运用-4.jpg

图 | 图类型与规模及其详细分类(来源:论文)


(3)设计损失函数:对于图学习义务,通常有节点级义务、边级义务、图级义务三种。而从训练设置的角度来看,图学习义务分为监督设置(为训练提供标记数据)、半监督设置(给出大批标记节点和大量未标记节点用于训练)、以及无监督设置(仅提供未标记的数据)。

(4)运用计算模块构建模型:常用的计算模块有传播模块、采样模块、池化模块。传播模块用于在节点之间传播信息,以便聚合信息可以捕获特征和拓扑信息。当图很大时,通常需求采样模块对图停止传播。假如需求高级子图或图的表示,则需求池化模块从节点中提取信息。

清华团队综述片面解读图神经网络实际方法与运用-5.jpg

图 | 三种计算模块及其详细操作(来源:论文)


2GNN 的实践运用


接上去,作者们还对当前 GNN 的热点运用逐一停止阐释,并根据结构化场景和非结构化场景对其停止分类。

结构化场景 GNN 运用包括:图发掘(如图婚配、图分类、图聚类)、物理(即模拟理想世界的物理系统,如电磁系统、机器人系统等)、化学和生物学(如分子指纹、化学反应预测、生物工程等)、知识图谱(knowledge graph,表示理想世界实体的集合以及实体对之间的关系理想,例如问答、信息检索和知识引导生成)、生成模型、组合优化、交通网络(例如预测交通形状)、引荐系统(如社交网络自动引荐功能)、其他运用(如预测股票将来趋向、预测市场指数走势、优化路由功能、在文本生成义务的笼统含义表示等)。

非结构化场景 GNN 运用则次要包括 图像和文本上的义务,如机器视觉推理、语义分割、文本分类、神经机器翻译、关系抽取、事情验证、阅读了解等等。

清华团队综述片面解读图神经网络实际方法与运用-6.jpg

图 | GNN 运用场景(来源:论文)


3应战与将来发展


虽然 GNN 在不同范畴获得了宏大成功,但值得留意的是,GNN 模型还不足以为大多图义务提供令人称心的处理方案。于是,研讨人员经过综述已有研讨,总结了以下四个未处理的成绩:

稳健性:作为一种基于神经网络的模型,GNN 也很容易遭到对抗性攻击。而且与仅关注特征的对图像或文本的对抗性攻击相比,对图的攻击进一步思索了却构信息。

可解释性:可解释性也是神经模型的一个重要研讨方向,不过目前 GNN 好像黑箱,仍缺乏解释。因此,将 GNN 模型运用于具有可解释性的实践运用非常重要。

图预训练:基于神经网络的模型需求大量的标记数据,但是获得大量人工标记的数据成本很高。因此,用自监督方法来指点 GNN 模型从未标记数据中学习从而停止预训练无疑是一种创新,但该范畴仍有许多开放性成绩需求研讨、。

复杂的图结构:图结构在理想生活的运用中灵敏又复杂,而且随着互联网上社交网络的疾速发展,一定会出现更多的成绩、应战和运用场景,需求更弱小的模型。

由于微信公众号试行乱序推送,您能够不再能准时收到AI科技回复的推送。为了第一工夫收到AI科技回复的报道, 请将“AI科技回复”设为星标账号在看”。
回复

使用道具 举报

大神点评14

DT170 2021-7-20 15:17:49 显示全部楼层
分享了
回复

使用道具 举报

ojgkcsv53231 2021-7-20 15:18:32 显示全部楼层
分享了
回复

使用道具 举报

@Xizi_d0bPoFlO 2021-7-20 15:28:10 显示全部楼层
分享了
回复

使用道具 举报

SO_JUE 2021-7-20 15:29:39 显示全部楼层
分享了
回复

使用道具 举报

@Xizi_19Br4ttB 2021-7-20 15:31:56 显示全部楼层
分享了
回复

使用道具 举报

邵阳菜刀 2021-7-20 15:41:16 显示全部楼层
分享了
回复

使用道具 举报

恩悛 2021-7-20 15:52:19 显示全部楼层
分享了
回复

使用道具 举报

水井清 2021-7-20 15:59:11 显示全部楼层
分享了
回复

使用道具 举报

hlqiang4708 2021-7-20 16:03:33 显示全部楼层
分享了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册