An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition

来自2019CVPR 的基于骨架的动作识别

本文主要贡献：

1.提过了一个新的针对骨架学习的框架AGC-LSTM network

2.在网络中使用了attention mechanism 去增加增强关键节点的特征

3.提出了temporal hierarchical architecture，提高了学习高层时空语义特征的能力，显著降低了计算量。

Neural networks with graph

主要包含两种方法

1. 一种称为图神经网络（gnn）的框架是图与递归神经网络的结合。通过消息传递和节点状态更新的多次迭代，每个节点在其相邻节点内捕获语义关系和结构信息。

2. 另一个框架是图卷积网络（gcn），它将卷积神经网络推广到图上。其中主要spectral GCNs 和spatial GCNs.。spectral GCNs在谱域上变换图形信号，然后在谱域上应用谱滤波器。对于spatial GCNs，利用其邻域信息，采用卷积运算为每个节点计算一个新的特征向量。

Graph Convolutional Neural Network

定义了图卷积中的卷积运算

其中Vt表示坐标的集合，vti代表时间t的i关节点。N(vti) = {vtj|d(vti,vtj) ≤ D}，代表两个关节点之间的距离。w（·）是一个权重函数，它从k个权重中分配一个由标签ℓ(vtj)索引的权重。zti（vtj）是对应子集的数目，它规范化特征表示。

Attention Enhanced Graph Convolutional LSTM

针对LSTM中的全连接换成对应的图卷积，完成基础的LSTMcell的改进。

整个架构与LSTM类似，只是把普通的卷积运算改为了图卷积。同时在隐藏状态中增加了attention机制，来衡量不同结点的重要性。

其中W是一个可学习的参数矩阵

at表示针对某一关节点的attention得分，具体的网络如如下。

其中包括全局特征fg t，聚焦节点的加权和作为局部特征fl

AGC-LSTM Network

整个网络可以包括两大部分。
第一步部分，主要完成首先使用线性层和LSTM层将每个关节的三维坐标映射到高维特征空间，第一线性层将关节坐标编码成256维向量，作为位置特征pt∈rn×256，而pt i∈r1×256表示关节i的位置表示，由于位置特征只包含位置信息，因此有利于学习图形模型中的空间结构特征。连续两帧的帧差特征vti可以方便地获取AGC-LSTM的动态信息。为了兼顾这两个优点，这两个特征的连接作为一个增强特征来丰富特征信息。然而，位置特征PTI与帧差特征VTI的级联存在特征向量的尺度差异。因此，我们采用LSTM层来消除两个特征之间的比例差异：

其中Eti是时间t时关节i的增强特征。
整个第一部分完胜关节的特征增江。
第二部分接入了AGC-LSTM，前面改进的LSTM单元，特别的在里面加入了TAP （Temporal Hierarchical Architecture）受CNN中空间池的启发，在时间域中使用平均池来增加顶级AGC-LSTM层的时间接收场。

LOSS function

其中y=（y1，…，yc）是Gound Truth标签。Tj表示第j个AGC-LSTM层上的时间步数。第三学期的目标是对不同的关节给予同等的关注。最后一项是限制感兴趣节点的数量。λ和β是重量衰减系数。注意，在最后一个时间步骤中，只有_yg t3和_yl t3的和概率用于预测人类行为的类别。

实验结果

NTU RGB+D dataset

Northwestern-UCLA Dataset

最后

以上就是活力向日葵为你收集整理的An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action RecognitionAn Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition的全部内容，希望文章能够帮你解决An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action RecognitionAn Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。