论文笔记-Temporal Extension Module for Skeleton-Based Action Recognition

Hello, 今天是论文阅读的第八天啦

目前每天一篇真的稍微有点吃不消啦，但是说好的30天论文阅读打卡，自己又不想就这样放弃啦。就像怡姐姐说的那样，什么是爱自己？自己说出的话，都全力去做到。这句话让我感受到了一种力量～

所以为了完成这个计划，我决定要做出适当的调整了。接下来我会每天早睡早起23睡6起，然后用早晨最宝贵最安静的时间来阅读论文。每天保证1-1.5小时的阅读论文时间，产出一片略读的论文应该还是能吃得消的。如果还有问题的话，就再继续做出调整。

给自己加油打气！

一、解读题目关键词

Temporal Extension Module：时序扩展模块，看题目就感觉是在时间处理上做了些工作。因为原论文的时序处理是非常简单且没有考虑过多的情况，所以很容易想到在这里做一些扩展。不过之后如果想在这里再做一些工作的话，得研究下GCN底层计算的一些特点了，然后在看怎么设计时序的依赖。

二、研究背景

本文是基于ST-GCN来改进的，主要是关注到了原论文在时序信息处理上过于简单，并不是最优的，所以对其进行了改进。

三、研究目标

改进的原因和想法：

• 原时间卷积的缺点：只有在同一帧的时候才能够提取到邻居节点的信息，否则提取不到邻居节点的信息。即可以提取到帧内关节点与其邻居节点的信息，但提取不到帧间同一关节点与其邻居节点信息。

  所以作者就将时间的子集也设为了3，不仅提取相同节点帧间的信息，也提取与其邻居节点的帧间信息。

作者提出了一个时序扩展模块，添加在了原论文的空间卷积和时间卷积的中间。传统的时间卷积为时间维度选择相同关节的特定轨迹，而作者的模型的时间卷积选择帧间的多个相邻关节，这有助于提取人体运动中连接的多个相邻关节的相关特征。简单来说，提出的这个扩展模块具体的做法，就是将原本只能提取同一节点帧间的连接的方法改为了可以提取到同一节点与它下一帧的相同节点及其它的邻居节点，捕获了关节点间更丰富的时序信息。

四、方法

总的来说，之前的基于GCN的方法首先提取当前时间的空间特征，然后再提取长期的时间特征。作者提出的模块可以提取帧间特征，为了逐渐扩展时间维度的采样区域，在传统的空间图和时间图卷积之间附加了这样的模块(即，首先计算传统的空间图卷积，然后计算我们的模块的时间卷积，最后计算传统的时间卷积)。该模块简单有效，通过扩展帧间时间图提取人体运动中相邻多个关节的特征。由于没有改变传统空间图卷积和时间卷积的结构，可以很容易地应用于许多现有的方法。

性能：

五、总结

这篇论文没有开源代码，所以也没有精读详学。大家如果是想尽快入门上手的话，可以找一些开源了代码的顶会顶刊的论文来详细学习，一点一点吃透它。这样慢慢就有进步啦～