【新智元导读】图神经网（wǎng）络(Graph NN)是（shì）近来的一（yī）大（dà）研究热点，尤其是DeepMind提出的（de）“Graph Networks”，号称（chēng）有望让深度学习实现因果推理。但（dàn）这篇论文晦涩难懂，复星集团首席AI科学家（jiā）、大数医达创始人邓侃博（bó）士，在清华俞士纶（lún）教（jiāo）授团队对GNN综述（shù）清晰分类（lèi）的（de）基础上，解析（xī）DeepMind“图网络”的意义。

- 1 -

回顾 2018 年机器学习的进展，2018年（nián）6月 DeepMind 团队发（fā）表的论文

“Relational inductive biases, deep learning, and graph networks”

，是一篇重（chóng）要的论（lùn）文，引起业界热（rè）议。

随（suí）后，很多学者沿（yán）着他们的思路，继续研究（jiū），其中包括清华大学孙茂松团队。他们于2018年12月，发（fā）表了一篇综述，题目是（shì）“Graph neural networks: A review of methods and applications”。

2019年1月，俞（yú）士纶教授团队，也（yě）写了一篇综述（shù），这篇综述（shù）的覆盖面更（gèng）全（quán）面，题目（mù）是“A Comprehensive Survey on Graph Neural Networks”。

俞士（shì）纶教授团队综（zōng）述GNN，来源（yuán）：arxiv

DeepMind 团队的这（zhè）篇论文，引起业界这么热烈的关注，或许有三（sān）个原因：

声望：自从 AlphaGo 战胜李世乭（tol）以后，DeepMind 享誉业界，成为（wéi）机器学习业界的（de）领军（jun1）团队，DeepMind 团队发表的论文，受到同行普遍关注（zhù）；

开源：DeepMind 团（tuán）队发表论文 [1] 以后不久，就在 Github 上开源了他（tā）们开发的（de）软（ruǎn）件系统（tǒng），项目名称叫 Graph Nets [4]；

主（zhǔ）题（tí）：声望（wàng）和开源，都很重要（yào），但是并不是（shì）被业界热议的最主要的原因。最主（zhǔ）要的原因是主题，DeepMind 团（tuán）队（duì）研究（jiū）的主题（tí）是，如何用深（shēn）度（dù）学习方法处理图谱（pǔ）。

- 2 -

图谱 (Graph) 由点 (Node) 和边 (Edge) 组成（chéng）。

图谱是一个重要的数（shù）学模型，可以用（yòng）来解决很多问题。

譬如我们（men）把（bǎ）城市地铁（tiě）线路（lù）图当成图谱，每（měi）个地铁（tiě）站就是一个点，相邻的地铁站之（zhī）间的连线（xiàn）就是边，输入（rù）起点到终点，我（wǒ）们可（kě）以通过（guò）图谱的计算（suàn），计算出从（cóng）起点到终点，时间最短、换（huàn）乘次数最少的（de）行程路线。

又譬如 Google 和百（bǎi）度的搜索引擎，搜索引擎把世（shì）界（jiè）上每个网站的每（měi）个网页，都当成（chéng）图谱中的一个点。每（měi）个网页里，经常会有链接，引用其它网站的网页，每个（gè）链（liàn）接（jiē）都是（shì）图谱中（zhōng）的一条边。哪个网页被引用得越多，就说（shuō）明这个网（wǎng）页越靠谱，于（yú）是，在搜索结果的排名也（yě）就越靠前。

图谱的操作，仍然有许多（duō）问题（tí）有（yǒu）待解决。

譬如输入几亿条滴滴司机（jī）行进的路线，每条（tiáo）行进（jìn）路线是按（àn）时间排列的一连（lián）串（时间（jiān）、GPS经（jīng）纬度）数组。如（rú）何把（bǎ）几亿条行进路线，叠加（jiā）在一起，构建城（chéng）市地图？

不妨把地（dì）图也当成一个图（tú）谱，每个交（jiāo）叉路口，都是一个（gè）点，连接相（xiàng）邻的两个交叉路口（kǒu），是一条边。

貌（mào）似很简单（dān），但是细（xì）节很麻烦。

举个例（lì）子，交叉路口有很多形式，不仅有（yǒu）十字路（lù）口，还有五角尝六道口，还有环形道立交桥（qiáo）——如何从多条路径中，确定交叉路（lù）口的中心位置？

日本大（dà）阪天保山立交桥，你能确定这座立交桥（qiáo）的中（zhōng）心位置（zhì）吗？

- 3 -

把深（shēn）度学习，用来处理图谱，能（néng）够扩大我（wǒ）们（men）对图谱的处理（lǐ）能（néng）力。

深（shēn）度学习（xí）在图像和文本的处理方面，已经取得了巨大的成功。如何扩大（dà）深（shēn）度学习的成果，使之（zhī）应用于图谱（pǔ）处理？

图像（xiàng）由（yóu）横平（píng）竖直的像（xiàng）素矩阵组成（chéng）。如（rú）果换一个角度，把每（měi）个像素视为（wéi）图谱中的一个点，每（měi）个像素点与它周边的 8 个（gè）相邻像素之间都有（yǒu）边，而且每条（tiáo）边都（dōu）等长。通（tōng）过（guò）这个视角，重新审视（shì）图像，图（tú）像（xiàng）是广（guǎng）义图谱的一个特（tè）例。

处理（lǐ）图（tú）像的诸多（duō）深度学（xué）习手段，都可以改头（tóu）换面（miàn），应用于广义的（de）图谱，譬如 convolution、residual、dropout、pooling、attention、encoder-decoder 等等（děng）。这就是深度（dù）学习（xí）图谱处理的最初想法（fǎ），很朴实很简单。

虽然最初想法很简单，但（dàn）是（shì）深入到细节，各种挑战层（céng）出不（bú）穷。每（měi）种挑战，都意味着更强大的技术能（néng）力，都孕育着（zhe）更有潜力的应用场景。

深度学习图谱处理这个研究方向，业界没有统一的称谓。

强（qiáng）调（diào）图谱（pǔ）的（de）数（shù）学（xué）属性的团队（duì），把这个研究方向（xiàng）命名为 Geometric Deep Learning。孙茂松（sōng）团队和俞士纶团队（duì），强调神经网络在图谱处（chù）理中的重要（yào）性，强调思想来源，他们把这个方向（xiàng）命名为 Graph Neural Networks。DeepMind 团（tuán）队却反对绑定（dìng）特（tè）定（dìng）技术（shù）手段（duàn），他们使用（yòng）更抽象的名称，Graph Networks。

命（mìng）名不那么重要，但是用哪种方法去梳理这（zhè）个领域的（de）诸（zhū）多进展（zhǎn），却很重要。把各个（gè）学派的目（mù）标定（dìng）位和技术方法，梳理（lǐ）清（qīng）楚，有利于加强（qiáng）同行之间的相互理解，有（yǒu）利于促进同行之间的未来合（hé）作（zuò）。

- 4 -

俞士（shì）纶（lún）团队把深（shēn）度学习图谱处（chù）理的诸多进（jìn）展，梳（shū）理成 5 个子方向，非常清晰好懂。

俞士纶（lún）团队把深度学（xué）习图谱处理梳理成 5 个子方（fāng）向，来（lái）源：论（lùn）文 A Comprehensive Survey on Graph Neural Networks

Graph Convolution Networks

Graph Attention Networks

Graph Embedding

Graph Generative Networks

Graph Spatial-temporal Networks

先说 Graph Convolution Networks (GCNs)。

GCN 类别汇总，来源：论文 A Comprehensive Survey on Graph Neural Networks

GCN 把 CNN 诸般（bān）武器，应用于广（guǎng）义图谱。CNN 主要分为四个任（rèn）务，

点与点之间的融合。在图像领域（yù），点与点之间的融合（hé）主要通过卷积技术（shù） (convolution) 来实（shí）现。在广义图谱（pǔ）里，点与点（diǎn）之间的关系，用边来（lái）表（biǎo）达。所以，在广义图谱里，点点融（róng）合，有比卷（juàn）积（jī）更强大的办法。Messsage passing [5] 就是一种更强大的办法。

分层抽象。CNN 使用（yòng） convolution 的办法，从（cóng）原（yuán）始（shǐ）像（xiàng）素矩阵中，逐（zhú）层提（tí）炼出更精炼更抽象的特（tè）征。更高层的（de）点，不再是（shì）孤立的点，而（ér）是融（róng）合了相（xiàng）邻区域中其（qí）它点的属性。融（róng）合邻（lín）点的（de）办（bàn）法，也可以应用于广（guǎng）义图谱（pǔ）中。

特征提炼。CNN 使用（yòng） pooling 等手（shǒu）段（duàn），从相邻原（yuán）始像素中，提炼边缘。从相邻边缘中（zhōng），提（tí）炼实体轮廓。从相邻实体中，提炼更高层更抽象的（de）实体。CNN 通常把 convolution 和 pooling 交替使用，构建结构更复杂，功能更强（qiáng）大的神经网络。对于广义图谱，也（yě）可以融汇 Messsage passing 和（hé） Pooling，构建多（duō）层图谱。

输出（chū）层。CNN 通常使用 softmax 等手段（duàn），对整（zhěng）张图（tú）像进行分类（lèi），识别图谱（pǔ）的语义内涵。对（duì）于（yú）广（guǎng）义图谱（pǔ）来说，输出的结（jié）果更多（duō）样（yàng），不仅（jǐn）可以对于整个图谱，输（shū）出分类等等结果。而且也可以预测（cè）图谱中某个特定（dìng）的点的值（zhí），也可以（yǐ）预（yù）测某条边的值（zhí）。

GCN 和（hé）Graph Attention Networks 的区别（bié）来源：论文 A Comprehensive Survey on Graph Neural Networks

Graph Attention Networks 要解决的问题，与 GCN 类似，区（qū）别在于点点融合、多（duō）层抽象的方法。

Graph Convolution Networks 使用卷积方式，实现点点融合和分层抽象。Convolution 卷积方式仅仅适用于融合相邻的点，而 attention 聚焦方式却不限于相邻的点，每个点可以融合整个图谱中所有其它点（diǎn），不管是否（fǒu）相邻，是否融合（hé）如何（hé）融合，取决于点与点之间的（de）关联强弱。

Attention 能力更（gèng）强大（dà），但是对于算力（lì）的要求更高，因为需要计算整个图谱中任意两个点之（zhī）间（jiān）的关联强弱。所（suǒ）以 Graph Attention Networks 研究的（de）重点（diǎn），是如何降低计算成本，或者通过（guò）并行（háng）计算，提高计算效（xiào）率。

- 5 -

Graph Embedding 要解决的问题，是给图谱中每个点每条（tiáo）边，赋予一个数（shù）值张量。图像不存在（zài）这个问题（tí），因为（wéi）像素天生是数值（zhí）张量（liàng）。但是，文本由文字（zì）词汇语句段落构成，需要（yào）把文字词汇，转化成数值张量，才能（néng）使用深度学习的诸多算法。

如果把文本中的每（měi）个（gè）文字或词汇（huì），当成图谱中的一个（gè）点，同（tóng）时把词与词（cí）之间的语法（fǎ）语义关（guān）系，当成图谱中（zhōng）的一（yī）条边，那么语句和段落，就等同于行走在（zài）文本图谱中（zhōng）的一条行（háng）进路径。

如果能（néng）够给每个文字和词汇（huì），都（dōu）赋予一个贴切的数值张量（liàng），那么语（yǔ）句和段（duàn）落对应（yīng）的行进路（lù）径，多半是最短路径。

有多种实（shí）现 Graph Embedding 的办法，其中（zhōng）效果比较（jiào）好的办法是（shì） Autoencoder。用（yòng） GCN 的办法，把图谱的点和边转换成数值张量，这（zhè）个过程（chéng）称为（wéi）编码 (encoding)，然（rán）后通过（guò）计（jì）算点与点之间的距离，把数值（zhí）张量集合，反转为图谱，这个过程称为（wéi）解码 (decoding)。通过不断（duàn）地调（diào）参，让解码得到的图谱，越来越趋近于原始图谱，这个（gè）过程称为训练。

Graph Embedding 给图谱中的每（měi）个点每（měi）条边，赋予贴切（qiē）的数值张量，但是它不解决图谱的结（jié）构问题。

如果输（shū）入大（dà）量的图谱行进路径，如何（hé）从这（zhè）些（xiē）行进路径（jìng）中（zhōng），识别哪些点与（yǔ）哪（nǎ）些点之间（jiān）有连（lián）边？难度更大的问题是，如（rú）果没有行（háng）进路径，输入的训练（liàn）数据是（shì）图谱的局部，以及与之对应的（de）图谱的特性（xìng），如何把局部拼（pīn）接成图谱全（quán）貌（mào）？这些问题是 Graph Generative Networks 要（yào）解决的问题（tí）。

Graph Generative Networks 比较有潜力的实现方法，是使用 Generative Adversarial Networks (GAN)。

GAN 由生成器 (generator) 和（hé）辨别（bié）器（qì） (discriminator) 两（liǎng）部分构成（chéng）：1. 从训练数（shù）据（jù）中，譬如海量行进路径（jìng），生成（chéng）器猜测（cè）数据背（bèi）后的图谱应（yīng）该长什么样；2. 用生成出来的图谱，伪造（zào）一批行进路（lù）径（jìng）；3. 从（cóng）大（dà）量伪造（zào）的路（lù）径和真实（shí）的路（lù）径中，挑选几条路（lù）径，让辨（biàn）别器识（shí）别（bié）哪（nǎ）几条路（lù）径（jìng）是伪造的。

如果辨别器傻傻分不（bú）清谁是伪造路径（jìng），谁是真实路径，说（shuō）明（míng）生成（chéng）器生成出的（de）图谱，很接近（jìn）于真实图谱。

GCN 以外的（de）其他 4 种图谱神经网络，来源：论文 A Comprehensive Survey on Graph Neural Networks

- 6 -

以上我们讨论了（le）针对静态图谱的（de）若干问题，但是图（tú）谱有时（shí）候是动态的，譬如地图中表现的道路是（shì）静（jìng）态的，但是路况是动态（tài）的。

如何预测春节期间，北京天安门（mén）附近的交通拥（yōng）堵情况？解决（jué）这个问题，不仅要考虑空间 spatial 的（de）因素，譬如（rú）天安（ān）门周（zhōu）边的道路结构，也要考虑时间 temporal 的因（yīn）素，譬如往年春节期间该地（dì）区交通拥堵情况。这就是 Graph Spatial-temporal Networks 要解（jiě）决的问（wèn）题之一。

Graph Spatial-temporal Networks 还能解决其它（tā）问题，譬如输入一段踢（tī）球（qiú）的（de）视频（pín），如何在（zài）每一帧图像（xiàng）中，识别足球（qiú）的位置？这（zhè）个问题的（de）难点在（zài）于，在视频的某些帧中，足球有可能是（shì）看不见的，譬如被球员的腿遮挡了。

解决时间序列问题的通常思路，是（shì） RNN，包括 LSTM 和 GRU 等等。

DeepMind 团（tuán）队在 RNN 基础上，又（yòu）添加了（le）编码和解码 (encoder-decoder) 机（jī）制。

- 7 -

在 DeepMind 团队的这篇论文里[1]，他（tā）们声称自己的工作，“part position paper, part review, and part unification”，既是提案，又是综述（shù），又（yòu）是（shì）融合。这话怎么理（lǐ）解？

DeepMind联合谷歌大脑、MIT等机构27位作者发表重磅论（lùn）文，提出“图（tú）网络（luò）”（Graph network），将端到端学（xué）习（xí）与归纳推理相（xiàng）结合，有望解决深度（dù）学习无法进行关系推理的（de）问题。

前文说到，俞士（shì）纶团队把深度学习图谱（pǔ）处理的诸多（duō）进（jìn）展（zhǎn），梳理成 5 个子（zǐ）方向：1) Graph Convolution Networks、2) Graph Attention Networks、3) Graph Embedding、4) Graph Generative Networks、5) Graph Spatial-temporal Networks。

DeepMind 团队在 5 个（gè）子（zǐ）方（fāng）向中着力（lì）解决后 4 个方向，分别是 Graph Attention Networks、Graph Embedding、Graph Generative Networks 和 Graph Spatial-temporal Networks。他们把这（zhè）四个方向的成果，“融合（hé）”成统一的框架，命名为（wéi） Graph Networks。

在他们的论文中，对这个四个子方向沿途的诸（zhū）多（duō）成果，做（zuò）了“综（zōng）述”，但（dàn）是并没有综述 Graph Convolution Networks 方（fāng）向的成果（guǒ）。然后他（tā）们从这四个子（zǐ）方向的诸多成果中，挑（tiāo）选出了（le）他们认为最（zuì）有（yǒu）潜力的方法，形成自（zì）己的“提案”，这就是（shì）他们开源的代码 [4]。

DeepMind在（zài）2018年10月开源的Graph Nets library，用（yòng）于在TensorFlow中构建简单而强大的关系推（tuī）理网络（luò）。来源：github.com/deepmind/graph_nets

虽然论（lùn）文中，他（tā）们声称他（tā）们的提案解决了（le）四个子方向的问题，但是查看（kàn）他（tā）们（men）开源（yuán）的代码（mǎ），发现其（qí）实他们着力解决的是后两个（gè）子方向，Graph Attention Networks 和（hé） Graph Spatial-temporal Networks。

DeepMind 的思路是这样的：首先，把 [5] 的 message passing 点点融合（hé）的机制，与 [6] 图谱全局的聚焦机制相（xiàng）结合，构建（jiàn）通（tōng）用的 graph block 模块；其次，把 LSTM 要素融进 encoder-decoder 框架，构建时间序列机制；最后（hòu），把 graph block 模块（kuài）融进 encoder-decoder 框（kuàng）架，形成（chéng） Graph Spatial-temporal Networks 通用系统。

- 8 -

为什么 DeepMind 的成果很重（chóng）要？事关四件（jiàn）大事（shì）。

一、深度学习过程的解释

从原理上讲，深度学习譬如 CNN 的成果，来自于对图（tú）像的不断（duàn）抽象。也就是，从（cóng）原始（shǐ）的像素矩阵中，抽象出线段。从首尾相连的相邻（lín）线段中，抽象出实体（tǐ）的轮廓。从轮廓抽象出实（shí）体，从实（shí）体抽象出语义。

但是，如果窥探（tàn） CNN 每一层的中间结果，实际（jì）上很难（nán）明确（què），究（jiū）竟是哪（nǎ）一层的哪（nǎ）些节点，抽象出了轮廓，也不知（zhī）道哪（nǎ）一层的哪些（xiē）节（jiē）点，抽象出（chū）了实体。总而言之（zhī），CNN 的网络结构（gòu）是个迷，无法明确地解释网络结构隐（yǐn）藏的工作过程（chéng）的细节（jiē）。

无法解释工作过程的细节，也就谈不上人为干（gàn）预。如果 CNN 出了问题（tí），只好重新训（xùn）练。但重新训（xùn）练后的结（jié）果，是否能达到期待的效（xiào）果，无法事先（xiān）语料。往往按（àn）下（xià）葫芦浮起瓢，解决了这个缺陷（xiàn），却引发了（le）其它缺陷。

反过来说，如果能明确地搞（gǎo）清楚 CNN 工作过程的细节，就可以（yǐ）有针（zhēn）对性地调（diào）整（zhěng）个别层次的（de）个别节点（diǎn）的参数，事先人为精准干（gàn）预。

二、小（xiǎo）样本学（xué）习

深（shēn）度学习依赖（lài）训练（liàn）数据，训练数（shù）据的规模通常很大，少（shǎo）则几（jǐ）万，多（duō）大几百（bǎi）万。从哪里收集这么（me）多（duō）训练数（shù）据（jù），需要（yào）组织多少人力去对训练数据进行标注，都是巨（jù）大挑战。

如果对深度学习（xí）的过程细节，有（yǒu）更清晰的（de）了解，我们就可以改善卷积这（zhè）种蛮（mán）力的做法，用更少的训练数据，训练（liàn）更轻巧的深度学习模型（xíng）。

卷积的过程，是蛮力（lì）的过程（chéng），它对相邻的（de）点，无（wú）一（yī）遗漏地（dì）不分（fèn）青红皂白地进行（háng）卷积处理。

如果我们对点与点之间的关联关系，有更明确的了解（jiě），就不需要（yào）对相邻（lín）的点（diǎn），无一遗漏地不（bú）分青红皂白地（dì）进行卷积处理。只需要对有关联的点，进行卷积或者其（qí）它处理。

根据点（diǎn）与点之（zhī）间的（de）关（guān）联关系（xì），构建（jiàn）出来的网络，就是广义图谱。广义图谱的结构，通常比（bǐ） CNN 网络（luò）更加简单，所以，需要的（de）训（xùn）练数据量（liàng）也更少。

三、迁移学（xué）习和推理

用（yòng）当今的 CNN，可以从大（dà）量图片中，识别某种实体，譬如猫。

但是，如果（guǒ）想给识别猫的 CNN 扩（kuò）大（dà）能力，让它不仅能识（shí）别猫，还能（néng）识别狗，就需（xū）要额（é）外的识别狗的训（xùn）练数据。这（zhè）是迁移学习（xí）的过程。

能不能（néng）不提（tí）供额外的识（shí）别狗的训练数据，而只是用规则这样的（de）方式，告诉电脑猫与（yǔ）狗的区别，然后让电脑识别狗？这是推理的（de）目（mù）标。

如果对深度学习过程有更精准的了（le）解，就能把知识和（hé）规则，融进深度（dù）学习（xí）。

从广义范围说，深度学习（xí）和知识图（tú）谱，是机器学（xué）习阵营中诸多学派的两大主（zhǔ）流（liú）学派。迄今为止，这（zhè）两大（dà）学派隔岸叫阵，各有胜负。如何融合两大学（xué）派（pài），取长补短，是困（kùn）扰学界很（hěn）久（jiǔ）的（de）难（nán）题。把深度学习延伸（shēn）到图谱处理，给两大（dà）学（xué）派（pài）的融合，带（dài）来了希望（wàng）。

四、空间和时间的融（róng）合，像素与语义的融合

视频处理，可以说是（shì）深度（dù）学习的最高境界（jiè）。

视频处理融合了图像的空间分割，图像中实体的识别，实体对应的语义理解。

多帧（zhēn）静态图像串连（lián）在一起（qǐ）形成（chéng）视（shì）频，实际上是时间序列（liè）。同一个实体，在不（bú）同帧中所处的位（wèi）置，蕴含着实体的（de）运动。运动的背（bèi）后，是物理定（dìng）律和语（yǔ）义关（guān）联（lián）。

如何（hé）从一段视频（pín），总结出文本标题。或者反（fǎn）过来（lái），如何根据一句文本标题，找到最（zuì）贴切的视频。这（zhè）是视频（pín）处理的经典任务，也是难度（dù）超大的任务。

参考文献

Relational inductive biases, deep learning, and graph networks，https://arxiv.org/abs/1806.01261

Graph neural networks: A review ofmethods and applications，https://arxiv.org/abs/1812.08434

A Comprehensive Survey on Graph Neural Networks，https://arxiv.org/abs/1901.00596

Graph nets，https://github.com/deepmind/graph_nets

Neural message passing for quantum chemistry，https://arxiv.org/abs/1704.01212

Non-local neural networks，https://arxiv.org/abs/1711.07971