新しいリーマンネットワークは、アクション認識とノード分類において従来のモデルよりも優れている

リンク一覧

要約と1. はじめに

2. 予選

3. 提案されたアプローチ

   3.1 表記

   3.2 SPD多様体上のニューラルネットワーク

   3.3 構造空間におけるMLR

   3.4 グラスマン多様体上のニューラルネットワーク

4. 実験

5. 結論と参考文献

A. 表記

B. 構造空間におけるMLR

C. 超平面までの距離の観点からの MLR の定式化

D. 人間の行動認識

E. ノード分類

F. 私たちの研究の限界

G. 関連する定義

H. 正準表現の計算

I. 命題3.2の証明

J. 命題3.4の証明

K. 命題3.5の証明

L. 命題3.6の証明

M. 命題3.11の証明

N. 命題3.12の証明

4つの実験

4.1 人間の行動認識

我々は3つのデータセット、すなわちHDM05（Muller et al.、2007）、FPHA（Garcia-Hernando et al.、2018）、および¨ NTU RBG+D 60（NTU60）（Shahroudy et al.、2016）を使用します。我々はネットワークを以下の最先端モデルと比較します：SPDNet（Huang＆Gool、2017）[1]、SPDNetBN（Brooks et al.、2019）[2]、SPSDAI（Nguyen、2022a）、GyroAI-HAUNet（Nguyen、2022b）、およびMLR-AI（Nguyen＆Yang、2023）。

4.1.1 アブレーション研究

SPDニューラルネットワークの畳み込み層私たちのネットワークGyroSpd++には、畳み込み層の上にMLR層が積み重ねられています（図1を参照）。畳み込み層を使用する動機

GyroSpd++ の優れた点は、ローカルな特徴 (アクション シーケンスのサブシーケンス内のジョイント座標から計算された共分散行列) からグローバルな特徴を抽出できることです。畳み込み層にはアフィン不変メトリックを使用し、MLR 層には対数ユークリッド メトリックを使用します。表 1 の結果は、GyroSpd++ が平均精度の点で SPD ベースラインを一貫して上回っていることを示しています。層のリーマン メトリックの異なる設計を使用した GyroSpd++ の結果は、付録 D.4.1 に示されています。

構造空間における MLR GyroSpsd++ の MLR レイヤーをセクション 3.3 で提案された MLR レイヤーに置き換えることで、GyroSpsd++ を構築します。GyroSpsd++ の結果を表 1 に示します。SPSDAI を除き、GyroSpsd++ は HDM05 データセットで平均精度の点で他のベースラインよりも優れています。さらに、GyroSpsd++ は平均精度の点で GyroSpd++ および FPHA および NTU60 データセットのすべてのベースラインよりも優れています。これらの結果は、MLR がジャイロベクトル空間の観点から構造空間で設計されている場合に効果的であることを示しています。

4.2 ノードの分類

我々は3つのデータセット、すなわち、Airport（Zhang & Chen、2018）、Pubmed（Namata et al.、2012a）、およびCora（Sen et al.、2008）を使用します。これらにはそれぞれ、何千ものラベル付きノードを持つ単一のグラフが含まれています。ONBの観点に基づいて、ネットワークGr-GCN++（図1を参照）をそのバリアントGr-GCN-ONB（付録E.2.4を参照）と比較します。結果は表2に示されています。両方のネットワークは、n = 14およびp = 7で最高のパフォーマンスを示します。すべてのケースでGr-GCN++がGr-GCN-ONBよりも優れていることがわかります。パフォーマンスのギャップはPubmedおよびCoraデータセットで顕著です。

[1] https://github.com/zhiwu-huang/SPDNet。

[2] https://papers.nips.cc/paper/2019/hash/6e69ebbfad976d4637bb4b39de261bf7-Abstract.html.