掌握图神网络GNN基篇文章够 3
图 (Graph) 3
图神网络 3
DeepWalk：第监督学节点嵌入算法 4
GraphSage：学节点嵌入 6
总结 7
图神网络(GNN)寻找短路径 8
引言 8
工智中图神网络GNN理解？（附斯坦福综述） 19
DeepMind谷歌脑MIT等机构联合提出图网络（GNN）端端学纳推理相结合解决深度学法进行关系推理问题 19
掌握图神网络GNN基篇文章够
新智元导读图神网络(GNN)领域越越受欢迎文介绍图神网络基知识两种更高级算法：DeepWalkGraphSage
图神网络 (GNN) 领域越越受欢迎包括社交网络知识图谱推荐系统甚生命科学
GNN 图形中节点间赖关系进行建模方面力强图分析相关研究领域取突破性进展文旨介绍图神网络基知识两种更高级算法：DeepWalk GraphSage
图 (Graph)
讨 GNN 前先解什图 (Graph)计算机科学中图两部件组成种数结构：顶点 (vertices) 边 (edges)图 G 包含顶点 V 边 E 集合描述
边取决顶点间否存方赖关系
图 (wiki)
顶点通常称节点 (nodes)文中两术语互换
图神网络
图神网络种直接图结构运行神网络GNN 典型应节点分类质图中节点标签相关联目预测没 groundtruth 节点标签
节描述 The graph neural network model (Scarselli F et al 2009) [1] 篇文中算法第次提出 GNN 文通常认原始 GNN
节点分类问题设置中节点 v 特征 x_v groundtruth 标签 t_v 相关联定部分标记 graph G目标利标记节点预测未标记节点标签学包含邻域信息 d 维量 h_v 表示节点：
中 x_co[v] 表示 v 相连边特征h_ne[v] 表示 v 相邻节点嵌入x_ne[v] 表示v 相邻节点特征函数 f 输入映射 d 维空间渡函数寻找 h_v 唯解应 Banach 动点定理面方程重写迭代更新程
通状态 h_v 特性 x_v 传递输出函数 g计算 GNN 输出
里 f g 解释前馈全连接神网络L1 loss 直接表述：
通梯度降进行优化
然原始 GNN 存三局限性：
果放宽 动点 (fixed point)假设利层感知器学更稳定表示删迭代更新程原始文中迭代转换函数 f 相参数 MLP 层中参数允许分层特征提取
处理边缘信息 (例知识图中边缘表示节点间关系)
动点会阻碍节点分布样性适合学表示节点
解决述问题研究员已提出 GNN 变体文重点
DeepWalk：第监督学节点嵌入算法
DeepWalk [2] 第提出监督方式学节点嵌入算法
训练程中非常类似词汇嵌入动机 graph 中节点语料库中单词分布遵循幂律图示：
该算法包含两步骤：
graph 中节点执行 random walks生成节点序列
运行 skipgram根步骤 1 中生成节点序列学节点嵌入
random walks 时间步骤中节点节点邻节点均匀采样然序列截断长度 2|w| + 1 子序列中 w 表示 skipgram 中窗口
文采 hierarchical softmax 解决节点数量庞导致 softmax 计算成高昂问题计算单独输出元素 softmax 值 必须计算元素 k e ^ xk
Softmax 定义
原始 softmax 计算时间 O(|V|)中 V 表示图中顶点集合
分层 softmax 利二叉树处理问题二叉树中叶子 (图中 v1 v2…v8) 表示 graph 中顶点部节点中二元分类器决定选择条路径计算定顶点 v_k 概率需计算根节点叶节点 v_k 路径子路径概率节点子节点概率 1顶点概率 1特性分层 softmax 中然保持变二叉树长路径 O(log(n))中 n表示叶节点数量元素计算时间现减少 O(log|V|)
Hierarchical Softmax
训练完 DeepWalk GNN 模型已学节点良表示图示颜色表示输入图中标签输出图 (2 维嵌入) 中具相标签节点聚集起具标签数节点正确分开
然DeepWalk 问题缺乏泛化力新节点出现时必须重新训练模型表示节点种 GNN 适图中节点断变化动态图
GraphSage：学节点嵌入
GraphSage 提供解决述问题办法种纳方式学节点嵌入
具体说GraphSage 节点邻域聚合 (aggregation) 表示图中出现训练程中没新节点然邻节点恰表示
面 GraphSage算法：
外层循环表示更新迭代数量 h ^ k_v 表示更新迭代 k 时节点 v 潜量次更新迭代时h ^ k_v 更新基聚合函数前次迭代中 v v 邻域潜量权重矩阵 W ^ k
文中提出三种聚合函数：
1 Mean aggregator：
mean aggregator 取节点邻域潜量均值
原始方程相删面伪代码中第 5 行中连接运算种运算作种 skipconnection文面部分中证明程度提高模型性
2 LSTM aggregator：
图中节点没序通节点进行排列机分配序
3 Pooling aggregator：
运算符相邻集执行 elementwise pooling 函数面 maxpooling 示例：
文 maxpooling 作默认聚合函数
损失函数定义：
中 u v 固定长度 random walk 中存 v_n u 存负样种损失函数鼓励距离较节点具相似嵌入距离较远节点投影空间中分离通种方法节点获越越关邻域信息
GraphSage 通聚合附节点见节点生成表示嵌入允许节点嵌入应涉动态图域中图结构断变化例Pinterest 采GraphSage 扩展版 PinSage 作容发现系统核心
总结
文中学图神网络DeepWalk GraphSage 基础知识GNN 复杂图结构建模方面强功确实令惊叹鉴效性相信久GNN AI 发展中发挥重作
图神网络(GNN)寻找短路径
文中展示具关注读写功图形网络执行短路径计算少培训该网络100％准确率执行务
引言
Octavian相信图表示复杂知识强媒介（例BenevolentAI代表药物研究知识)
神网络种创造类法表达函数方法型数集网络进行训练神网络处理模型门示例方法训练神网络拟合输入输出关系
门需够图结构中进行学神网络神网络学效纳偏置学处理图中函数基础门建立强神图系统
里门提出’面读写图网络’效处理短路径简单网络组合神网络组件系统易学典图算法例子
网络身新运算系统更重网络进步研究神图计算基础
代码里
httpsgithubcomOctavianaishortestpath
问题陈述
考虑问题站AB间短路径长度少？
果考虑图中意两点短路径呢
想通训练神网络返回整数答案
相关工作
机器学图表年轻断发展领域
详细请参见综述文章Graph Neural Networks A Review of Methods and Applications or our introduction
计算短路径典算法AstarDijkstraBellman Ford算法
方法效广泛应 Dijkstra例相似没路径成启发情况找两特定节点间短路径
早基神短路径解决方案工作通通信分组路驱动样似算法典算法速度更快 操作神网络完全迭代反传播解决特定图形短路径 该领域工作示例包括 Neural networks for routing communication traffic (1988) A Neural Network for Shortest Path Computation (2000) Neural Network for Optimization of Routing in Communication Networks (2006)
工作建立未知结构图中工作模型前文提解决某图中问题方法形成鲜明外门寻求输入输出中寻找解决复杂图问题运算提供基础
突破性解决方法 Differentiable neural computers 通图形作连接元组序列读写存储器学逐步算法实现点训练程学计划形式提供逐步提高图问题规模
相解决方案更路径（长度94）表现更（100％553％）需计划学需训练LSTM控制器参数更少网络更简单组件更少然没找公布解决方案解决问题类似技术问题相关例子：
• Commonsense Knowledge Aware Conversation Generation with Graph Attention 注意力读出知识图
• Deeply learning molecular structureproperty relationships using attention and gateaugmented graph convolutional network 图节点GRU模型节点处注意力机制
• DeepPath A Reinforcement Learning Method for Knowledge Graph Reasoning 策略网络图中进行导航知第注意力读写图形网络相结合例子
门解决问题
提出问题状态1状态15间少状态需正确答案6
更具体说GraphQuestionAnswer元组训练网络元组包含独特机生成图形英语语言问题预期答案
数分重叠训练集验证集测试集
数描述网络前未见新图形说学图算法
门 CLEVRGraph 数集描述问题
CLEVRGraph介绍
构建机器学解决方案方案求高精度时难知道模型否存缺陷者数否具固噪声模糊性
消种确定性手工数集 说根规生数集 数结构明确模型获100％准确率 较架构时确实
CLEVR图包含组关程序生成传输网络图问题答案 中传输网络样子（伦敦铁模型）示例问题答案：
CLEVRGraph中问题带答案产生图
CLEVRGraph生成许类型问题
文中生成短路径相关 通模版（AB间少站？）机生成图形中机选择站点组合起出( 图形 问题 答案)三元组
图形问题答案三元组生成YAML文件然编译TFRecords
问题模板培训数缺乏样性 会更然（类）源 数集更容易解决 语言样性作未延伸挑战（希读者解决方案）
解决方案
tensorflow建立神网络解决问题代码里 The code for this system is available in our repository
构建系统需问题执行次迭代处理然终生成输出：
结构循环神网络（RNN） RNN中相单元序执行次部状态前传递次执行
RNN单元问题图形作输入单元早期执行输出进行变换单元生成输出量更新节点状态
RNN单元部两组件：图形网络输出单元细节理解网络运作关键节详细介绍容
RNN单元前传递隐藏状态节点状态节点状态表图中节点量网络踪节点正进行计算
RNN单元执行固定次数（通实验确定通常两节点间长路径长）然终区输出作系统总输出
样完成整体结构简介绍接部分概述网络输入RNN单元工作原理
数输入
T建立系统第步建立输入数道提供3件事
• 输入问题两节点间距离
• 输入图结构
• 期输出
预处理成TFRecords效加载传递模型 程代码位附GitHub存储库中buildpy中 您载预编译TFRecords
问题文输入
英文问题转化成信息三步骤
• Split the text into a series of tokens’ (eg common words and special characters like and spaces)问题区分系列tokens
• 唯标记分配整数ID该标记实例表示该整数ID
• 标记（例单词特殊字符）嵌入矢量步骤模型运行时完成简单示例单热矢量编码整数
图输入
该图TFRecord示例中三数结构表示：
1具id名称属性节点列表
2边列表源节点ID目标节点ID边属性
3邻接矩阵映射节点间连接 果两节点直接连接10否00
维张量进行描述
期输出
期输出（该数集始终09整数）表示单文标记（作整数）问题文节点边缘属性相编码方案
训练模式期间预期答案进行损耗计算反传播验证测试期间测量模型精度确定调试失败数示例
RNN 工作
网络核心RNN RNN单元组成该单元重复执行结果前传递
实验中10次RNN迭代（通常迭代次数需等测试长路径）
RNN单元次迭代会做四件事：
1数写入选定节点状态
2图中边传播节点状态
3选定节点状态读取数
4获取读数先前RNN单元输出组合RNN迭代生成输出
需四步骤网络够轻松学计算短路径
图网络
图形网络该模型功关键 够计算图形结构功
图形网络中节点n时间t具状态量S(nt) 宽度4状态量次迭代节点状态传播节点邻居adj(n)
标标公式效果图中便理解函数符号S(nt)
初始状态S(n0)零量
种简单状态传播需两部分进行短路径计算：节点状态写入节点状态读取
节点状态写入节点状态读取
节点状态写入模型信号量添加图中特定节点状态机制：
该机制首先问题中提取单词形成写入查询q_write查询选择节点状态写入信号p添加
索引关注生成写查询计算问题词Q中应该关注索引（作RNN迭代id r单热矢量函数）然提取加权：
通获取RNN迭代id应具S形激活密集层计算写信号
接写入信号写入查询容层馈送注意确定写入信号添加节点状态 容注意力标准点积注意机制中项目点积查询进行较产生组分数 然通softmax分转换成总1分布：
种情况分数计算节点状态相关节点id写查询点积 写入信号分数成例添加节点状态：
节点状态读取
通获取RNN迭代id应具S形激活密集层计算写信号
接信号写入方式类似方式图中读取状态输入问题单词计算读取查询次索引注意：
然节点状态加权计算终读出值：
输出单元
RNN重部分输出单元网络成功关重（删前输出回调会精度降低95％）
输出单元总体
输出单元两部分：
通索引注意先前输出图形网络读取（节中读取写入查询相）
基前馈网络注意力输出转换单元输出
输出单元早期迭代输出前图形网络输出组合 允许单元重复组合先前输出提供简单递形式 助网络轻松回顾早期迭代输出RNN迭代总数
结果
网络训练
网络超参数通实验确定 Learning Rate Finder protocol识学速率通网格搜索确定参数例节点状态图形读写头数量RNN迭代数量
9k训练周期（MacBook Pro CPU2分钟）网络实现100％测试准确度 种快速收敛表明网络解决问题强纳性
观察模型工作
文测模式注意力进行视化您解网络正做什 显示读取写入输出注意力部分工作情况：
注意力显易见方式：
步第提站节点状态读取
步第二提站节点状态写入
输出单元网络读取值通常（少部分）步骤输出组合
方法效率
问题解决方案值方法进行较 里模型微分神计算机标准典方法进行较典方法Dijkstra相种方法（实际数神方法）效率较低：种模式需适量初始训练Dijkstra需预测模式期间该模型Dijkstra执行更操作行矩阵操作专硬件（例GPU）具类似运行时间两种方法相似运行时间：Dijksta标度O（| E | + | N | log | N |）中E边N节点方法缩放O（|长路径|）~O（| E |）
方法处根训练样例学功
Differentiable Neural Computers方法相门方法更效果
1DNC相该方法实现更高精度扩展性 100％（长度9路径）553％（长度4路径）相
2该方法需构建理学计划
3怀疑种方法DNC需更少培训资源（笔记电脑CPU2分钟获100％准确度）DNC文中没公布数
4种方法更简单网络具更少读头(Read head)（15）更存状态（64元素128）没LSTM单元
5怀疑种架构更容易扩展更图形行化图形探索（例DNC需更存读取头运行时处理更图形更高边缘密度）
学函数
作项工作部分探索节点门控循环单元（GRU）作节点状态更新功 效参数增加额外培训工作没带处终GRU禁 提出架构扩展留未工作学图形函数
工智中图神网络GNN理解？（附斯坦福综述）
DeepMind谷歌脑MIT等机构联合提出图网络（GNN）端端学纳推理相结合解决深度学法进行关系推理问题
年图神网络受家越越关注文分类(Text classification)序列标注（Sequence labeling） 神机器翻译（Neural machine translation）关系抽取（Relation extraction）事件抽取（Event extraction） 图分类（Image Classification）视觉推理（Visual Reasoning）语义分割（Semantic Segmentation）等等领域应
斯坦福学位博士博士生做综述：基神网络图网络务入手图神网络建立架构训练模式模型特征等方面做系统梳理介绍出产业界学术界应实例
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
图 (Graph) 3
图神网络 3
DeepWalk：第监督学节点嵌入算法 4
GraphSage：学节点嵌入 6
总结 7
图神网络(GNN)寻找短路径 8
引言 8
工智中图神网络GNN理解？（附斯坦福综述） 19
DeepMind谷歌脑MIT等机构联合提出图网络（GNN）端端学纳推理相结合解决深度学法进行关系推理问题 19
掌握图神网络GNN基篇文章够
新智元导读图神网络(GNN)领域越越受欢迎文介绍图神网络基知识两种更高级算法：DeepWalkGraphSage
图神网络 (GNN) 领域越越受欢迎包括社交网络知识图谱推荐系统甚生命科学
GNN 图形中节点间赖关系进行建模方面力强图分析相关研究领域取突破性进展文旨介绍图神网络基知识两种更高级算法：DeepWalk GraphSage
图 (Graph)
讨 GNN 前先解什图 (Graph)计算机科学中图两部件组成种数结构：顶点 (vertices) 边 (edges)图 G 包含顶点 V 边 E 集合描述
边取决顶点间否存方赖关系
图 (wiki)
顶点通常称节点 (nodes)文中两术语互换
图神网络
图神网络种直接图结构运行神网络GNN 典型应节点分类质图中节点标签相关联目预测没 groundtruth 节点标签
节描述 The graph neural network model (Scarselli F et al 2009) [1] 篇文中算法第次提出 GNN 文通常认原始 GNN
节点分类问题设置中节点 v 特征 x_v groundtruth 标签 t_v 相关联定部分标记 graph G目标利标记节点预测未标记节点标签学包含邻域信息 d 维量 h_v 表示节点：
中 x_co[v] 表示 v 相连边特征h_ne[v] 表示 v 相邻节点嵌入x_ne[v] 表示v 相邻节点特征函数 f 输入映射 d 维空间渡函数寻找 h_v 唯解应 Banach 动点定理面方程重写迭代更新程
通状态 h_v 特性 x_v 传递输出函数 g计算 GNN 输出
里 f g 解释前馈全连接神网络L1 loss 直接表述：
通梯度降进行优化
然原始 GNN 存三局限性：
果放宽 动点 (fixed point)假设利层感知器学更稳定表示删迭代更新程原始文中迭代转换函数 f 相参数 MLP 层中参数允许分层特征提取
处理边缘信息 (例知识图中边缘表示节点间关系)
动点会阻碍节点分布样性适合学表示节点
解决述问题研究员已提出 GNN 变体文重点
DeepWalk：第监督学节点嵌入算法
DeepWalk [2] 第提出监督方式学节点嵌入算法
训练程中非常类似词汇嵌入动机 graph 中节点语料库中单词分布遵循幂律图示：
该算法包含两步骤：
graph 中节点执行 random walks生成节点序列
运行 skipgram根步骤 1 中生成节点序列学节点嵌入
random walks 时间步骤中节点节点邻节点均匀采样然序列截断长度 2|w| + 1 子序列中 w 表示 skipgram 中窗口
文采 hierarchical softmax 解决节点数量庞导致 softmax 计算成高昂问题计算单独输出元素 softmax 值 必须计算元素 k e ^ xk
Softmax 定义
原始 softmax 计算时间 O(|V|)中 V 表示图中顶点集合
分层 softmax 利二叉树处理问题二叉树中叶子 (图中 v1 v2…v8) 表示 graph 中顶点部节点中二元分类器决定选择条路径计算定顶点 v_k 概率需计算根节点叶节点 v_k 路径子路径概率节点子节点概率 1顶点概率 1特性分层 softmax 中然保持变二叉树长路径 O(log(n))中 n表示叶节点数量元素计算时间现减少 O(log|V|)
Hierarchical Softmax
训练完 DeepWalk GNN 模型已学节点良表示图示颜色表示输入图中标签输出图 (2 维嵌入) 中具相标签节点聚集起具标签数节点正确分开
然DeepWalk 问题缺乏泛化力新节点出现时必须重新训练模型表示节点种 GNN 适图中节点断变化动态图
GraphSage：学节点嵌入
GraphSage 提供解决述问题办法种纳方式学节点嵌入
具体说GraphSage 节点邻域聚合 (aggregation) 表示图中出现训练程中没新节点然邻节点恰表示
面 GraphSage算法：
外层循环表示更新迭代数量 h ^ k_v 表示更新迭代 k 时节点 v 潜量次更新迭代时h ^ k_v 更新基聚合函数前次迭代中 v v 邻域潜量权重矩阵 W ^ k
文中提出三种聚合函数：
1 Mean aggregator：
mean aggregator 取节点邻域潜量均值
原始方程相删面伪代码中第 5 行中连接运算种运算作种 skipconnection文面部分中证明程度提高模型性
2 LSTM aggregator：
图中节点没序通节点进行排列机分配序
3 Pooling aggregator：
运算符相邻集执行 elementwise pooling 函数面 maxpooling 示例：
文 maxpooling 作默认聚合函数
损失函数定义：
中 u v 固定长度 random walk 中存 v_n u 存负样种损失函数鼓励距离较节点具相似嵌入距离较远节点投影空间中分离通种方法节点获越越关邻域信息
GraphSage 通聚合附节点见节点生成表示嵌入允许节点嵌入应涉动态图域中图结构断变化例Pinterest 采GraphSage 扩展版 PinSage 作容发现系统核心
总结
文中学图神网络DeepWalk GraphSage 基础知识GNN 复杂图结构建模方面强功确实令惊叹鉴效性相信久GNN AI 发展中发挥重作
图神网络(GNN)寻找短路径
文中展示具关注读写功图形网络执行短路径计算少培训该网络100％准确率执行务
引言
Octavian相信图表示复杂知识强媒介（例BenevolentAI代表药物研究知识)
神网络种创造类法表达函数方法型数集网络进行训练神网络处理模型门示例方法训练神网络拟合输入输出关系
门需够图结构中进行学神网络神网络学效纳偏置学处理图中函数基础门建立强神图系统
里门提出’面读写图网络’效处理短路径简单网络组合神网络组件系统易学典图算法例子
网络身新运算系统更重网络进步研究神图计算基础
代码里
httpsgithubcomOctavianaishortestpath
问题陈述
考虑问题站AB间短路径长度少？
果考虑图中意两点短路径呢
想通训练神网络返回整数答案
相关工作
机器学图表年轻断发展领域
详细请参见综述文章Graph Neural Networks A Review of Methods and Applications or our introduction
计算短路径典算法AstarDijkstraBellman Ford算法
方法效广泛应 Dijkstra例相似没路径成启发情况找两特定节点间短路径
早基神短路径解决方案工作通通信分组路驱动样似算法典算法速度更快 操作神网络完全迭代反传播解决特定图形短路径 该领域工作示例包括 Neural networks for routing communication traffic (1988) A Neural Network for Shortest Path Computation (2000) Neural Network for Optimization of Routing in Communication Networks (2006)
工作建立未知结构图中工作模型前文提解决某图中问题方法形成鲜明外门寻求输入输出中寻找解决复杂图问题运算提供基础
突破性解决方法 Differentiable neural computers 通图形作连接元组序列读写存储器学逐步算法实现点训练程学计划形式提供逐步提高图问题规模
相解决方案更路径（长度94）表现更（100％553％）需计划学需训练LSTM控制器参数更少网络更简单组件更少然没找公布解决方案解决问题类似技术问题相关例子：
• Commonsense Knowledge Aware Conversation Generation with Graph Attention 注意力读出知识图
• Deeply learning molecular structureproperty relationships using attention and gateaugmented graph convolutional network 图节点GRU模型节点处注意力机制
• DeepPath A Reinforcement Learning Method for Knowledge Graph Reasoning 策略网络图中进行导航知第注意力读写图形网络相结合例子
门解决问题
提出问题状态1状态15间少状态需正确答案6
更具体说GraphQuestionAnswer元组训练网络元组包含独特机生成图形英语语言问题预期答案
数分重叠训练集验证集测试集
数描述网络前未见新图形说学图算法
门 CLEVRGraph 数集描述问题
CLEVRGraph介绍
构建机器学解决方案方案求高精度时难知道模型否存缺陷者数否具固噪声模糊性
消种确定性手工数集 说根规生数集 数结构明确模型获100％准确率 较架构时确实
CLEVR图包含组关程序生成传输网络图问题答案 中传输网络样子（伦敦铁模型）示例问题答案：
CLEVRGraph中问题带答案产生图
CLEVRGraph生成许类型问题
文中生成短路径相关 通模版（AB间少站？）机生成图形中机选择站点组合起出( 图形 问题 答案)三元组
图形问题答案三元组生成YAML文件然编译TFRecords
问题模板培训数缺乏样性 会更然（类）源 数集更容易解决 语言样性作未延伸挑战（希读者解决方案）
解决方案
tensorflow建立神网络解决问题代码里 The code for this system is available in our repository
构建系统需问题执行次迭代处理然终生成输出：
结构循环神网络（RNN） RNN中相单元序执行次部状态前传递次执行
RNN单元问题图形作输入单元早期执行输出进行变换单元生成输出量更新节点状态
RNN单元部两组件：图形网络输出单元细节理解网络运作关键节详细介绍容
RNN单元前传递隐藏状态节点状态节点状态表图中节点量网络踪节点正进行计算
RNN单元执行固定次数（通实验确定通常两节点间长路径长）然终区输出作系统总输出
样完成整体结构简介绍接部分概述网络输入RNN单元工作原理
数输入
T建立系统第步建立输入数道提供3件事
• 输入问题两节点间距离
• 输入图结构
• 期输出
预处理成TFRecords效加载传递模型 程代码位附GitHub存储库中buildpy中 您载预编译TFRecords
问题文输入
英文问题转化成信息三步骤
• Split the text into a series of tokens’ (eg common words and special characters like and spaces)问题区分系列tokens
• 唯标记分配整数ID该标记实例表示该整数ID
• 标记（例单词特殊字符）嵌入矢量步骤模型运行时完成简单示例单热矢量编码整数
图输入
该图TFRecord示例中三数结构表示：
1具id名称属性节点列表
2边列表源节点ID目标节点ID边属性
3邻接矩阵映射节点间连接 果两节点直接连接10否00
维张量进行描述
期输出
期输出（该数集始终09整数）表示单文标记（作整数）问题文节点边缘属性相编码方案
训练模式期间预期答案进行损耗计算反传播验证测试期间测量模型精度确定调试失败数示例
RNN 工作
网络核心RNN RNN单元组成该单元重复执行结果前传递
实验中10次RNN迭代（通常迭代次数需等测试长路径）
RNN单元次迭代会做四件事：
1数写入选定节点状态
2图中边传播节点状态
3选定节点状态读取数
4获取读数先前RNN单元输出组合RNN迭代生成输出
需四步骤网络够轻松学计算短路径
图网络
图形网络该模型功关键 够计算图形结构功
图形网络中节点n时间t具状态量S(nt) 宽度4状态量次迭代节点状态传播节点邻居adj(n)
标标公式效果图中便理解函数符号S(nt)
初始状态S(n0)零量
种简单状态传播需两部分进行短路径计算：节点状态写入节点状态读取
节点状态写入节点状态读取
节点状态写入模型信号量添加图中特定节点状态机制：
该机制首先问题中提取单词形成写入查询q_write查询选择节点状态写入信号p添加
索引关注生成写查询计算问题词Q中应该关注索引（作RNN迭代id r单热矢量函数）然提取加权：
通获取RNN迭代id应具S形激活密集层计算写信号
接写入信号写入查询容层馈送注意确定写入信号添加节点状态 容注意力标准点积注意机制中项目点积查询进行较产生组分数 然通softmax分转换成总1分布：
种情况分数计算节点状态相关节点id写查询点积 写入信号分数成例添加节点状态：
节点状态读取
通获取RNN迭代id应具S形激活密集层计算写信号
接信号写入方式类似方式图中读取状态输入问题单词计算读取查询次索引注意：
然节点状态加权计算终读出值：
输出单元
RNN重部分输出单元网络成功关重（删前输出回调会精度降低95％）
输出单元总体
输出单元两部分：
通索引注意先前输出图形网络读取（节中读取写入查询相）
基前馈网络注意力输出转换单元输出
输出单元早期迭代输出前图形网络输出组合 允许单元重复组合先前输出提供简单递形式 助网络轻松回顾早期迭代输出RNN迭代总数
结果
网络训练
网络超参数通实验确定 Learning Rate Finder protocol识学速率通网格搜索确定参数例节点状态图形读写头数量RNN迭代数量
9k训练周期（MacBook Pro CPU2分钟）网络实现100％测试准确度 种快速收敛表明网络解决问题强纳性
观察模型工作
文测模式注意力进行视化您解网络正做什 显示读取写入输出注意力部分工作情况：
注意力显易见方式：
步第提站节点状态读取
步第二提站节点状态写入
输出单元网络读取值通常（少部分）步骤输出组合
方法效率
问题解决方案值方法进行较 里模型微分神计算机标准典方法进行较典方法Dijkstra相种方法（实际数神方法）效率较低：种模式需适量初始训练Dijkstra需预测模式期间该模型Dijkstra执行更操作行矩阵操作专硬件（例GPU）具类似运行时间两种方法相似运行时间：Dijksta标度O（| E | + | N | log | N |）中E边N节点方法缩放O（|长路径|）~O（| E |）
方法处根训练样例学功
Differentiable Neural Computers方法相门方法更效果
1DNC相该方法实现更高精度扩展性 100％（长度9路径）553％（长度4路径）相
2该方法需构建理学计划
3怀疑种方法DNC需更少培训资源（笔记电脑CPU2分钟获100％准确度）DNC文中没公布数
4种方法更简单网络具更少读头(Read head)（15）更存状态（64元素128）没LSTM单元
5怀疑种架构更容易扩展更图形行化图形探索（例DNC需更存读取头运行时处理更图形更高边缘密度）
学函数
作项工作部分探索节点门控循环单元（GRU）作节点状态更新功 效参数增加额外培训工作没带处终GRU禁 提出架构扩展留未工作学图形函数
工智中图神网络GNN理解？（附斯坦福综述）
DeepMind谷歌脑MIT等机构联合提出图网络（GNN）端端学纳推理相结合解决深度学法进行关系推理问题
年图神网络受家越越关注文分类(Text classification)序列标注（Sequence labeling） 神机器翻译（Neural machine translation）关系抽取（Relation extraction）事件抽取（Event extraction） 图分类（Image Classification）视觉推理（Visual Reasoning）语义分割（Semantic Segmentation）等等领域应
斯坦福学位博士博士生做综述：基神网络图网络务入手图神网络建立架构训练模式模型特征等方面做系统梳理介绍出产业界学术界应实例
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档