新型黎曼网络在动作识别和节点分类方面优于传统模型

链接表

摘要和 1. 引言

2. 准备工作

3. 建议的方法

   3.1 符号

   3.2 SPD流形上的神经网络

   3.3 结构空间中的MLR

   3.4 格拉斯曼流形上的神经网络

4. 实验

5. 结论和参考文献

A. 符号

B. 结构空间中的 MLR

C. 从超平面距离的角度来表述 MLR

D. 人体动作识别

E.节点分类

F. 我们工作的局限性

G.一些相关定义

H. 规范表示的计算

一、命题3.2的证明

J.命题3.4的证明

K.命题3.5的证明

L.命题3.6的证明

命题 3.11 的证明

命题3.12的证明

4 实验

4.1 人类行为识别

我们使用三个数据集，即 HDM05（Muller 等人，2007 年）、FPHA（Garcia-Hernando 等人，2018 年）和 ¨ NTU RBG+D 60 (NTU60)（Shahroudy 等人，2016 年）。我们将我们的网络与以下最先进的模型进行比较：SPDNet（Huang & Gool，2017 年）[1]、SPDNetBN（Brooks 等人，2019 年）[2]、SPSDAI（Nguyen，2022a）、GyroAI-HAUNet（Nguyen，2022b）和 MLR-AI（Nguyen & Yang，2023 年）。

4.1.1 消融研究

SPD 神经网络中的卷积层我们的网络 GyroSpd++ 在卷积层之上堆叠了一个 MLR 层（见图 1）。使用卷积层的动机

是它可以从局部特征（从动作序列子序列内的关节坐标计算出的协方差矩阵）中提取全局特征。我们对卷积层使用仿射不变度量，对 MLR 层使用对数欧几里得度量。表 1 中的结果表明，GyroSpd++ 在平均准确率方面始终优于 SPD 基线。附录 D.4.1 给出了对其层采用不同黎曼度量设计的 GyroSpd++ 的结果。

结构空间中的 MLR我们通过将 GyroSpd++ 的 MLR 层替换为第 3.3 节中提出的 MLR 层来构建 GyroSpsd++。GyroSpsd++ 的结果如表 1 所示。除 SPSDAI 外，GyroSpsd++ 在 HDM05 数据集上的平均准确率优于其他基线。此外，GyroSpsd++ 在平均准确率方面优于 GyroSpd++ 和 FPHA 和 NTU60 数据集上的所有基线。这些结果表明，从陀螺矢量空间的角度在结构空间中设计 MLR 是有效的。

4.2 节点分类

我们使用三个数据集，即 Airport（Zhang & Chen，2018）、Pubmed（Namata 等，2012a）和 Cora（Sen 等，2008），每个数据集都包含一个带有数千个标记节点的图。我们基于 ONB 视角将我们的网络 Gr-GCN++（见图 1）与其变体 Gr-GCN-ONB（见附录 E.2.4）进行比较。结果显示在表 2 中。两个网络在 n = 14 和 p = 7 时均表现出色。可以看出，Gr-GCN++ 在所有情况下都优于 Gr-GCN-ONB。在 Pubmed 和 Cora 数据集上，性能差距很大。

[1] https://github.com/zhiwu-huang/SPDNet。

[2] https://papers.nips.cc/paper/2019/hash/6e69ebbfad976d4637bb4b39de261bf7-Abstract.html。