Le nuove reti riemanniane superano i modelli tradizionali nel riconoscimento delle azioni e nella classificazione dei nodi

Tabella dei link

Abstract e 1. Introduzione

2. Preliminari

3. Approccio proposto

   3.1 Notazione

   3.2 Reti nucleari su collettori SPD

   3.3 MLR negli spazi di struttura

   3.4 Reti neurali su varietà di Grassmann

4. Esperimenti

5. Conclusione e riferimenti

A. Notazioni

B. MLR negli spazi di struttura

C. Formulazione di MLR dalla prospettiva delle distanze agli iperpiani

D. Riconoscimento dell'azione umana

E. Classificazione dei nodi

F. Limitazioni del nostro lavoro

G. Alcune definizioni correlate

H. Calcolo della rappresentazione canonica

I. Dimostrazione della Proposizione 3.2

J. Dimostrazione della Proposizione 3.4

K. Dimostrazione della Proposizione 3.5

L. Dimostrazione della Proposizione 3.6

M. Dimostrazione della Proposizione 3.11

N. Dimostrazione della Proposizione 3.12

4 ESPERIMENTI

4.1 RICONOSCIMENTO DELL'AZIONE UMANA

Utilizziamo tre set di dati, ovvero HDM05 (Muller et al., 2007), FPHA (Garcia-Hernando et al., 2018) e ¨ NTU RBG+D 60 (NTU60) (Shahroudy et al., 2016). Confrontiamo le nostre reti con i seguenti modelli all'avanguardia: SPDNet (Huang & Gool, 2017)[1], SPDNetBN (Brooks et al., 2019)[2], SPSDAI (Nguyen, 2022a), GyroAI-HAUNet (Nguyen, 2022b) e MLR-AI (Nguyen & Yang, 2023).

4.1.1 STUDIO DI ABLAZIONE

Livelli convoluzionali nelle reti neurali SPD La nostra rete GyroSpd++ ha uno strato MLR impilato sopra uno strato convoluzionale (vedere Fig. 1). La motivazione per l'utilizzo di uno strato convoluzionale

è che può estrarre le caratteristiche globali da quelle locali (matrici di covarianza calcolate da coordinate congiunte all'interno di sottosequenze di una sequenza di azioni). Utilizziamo metriche Affine-Invariant per lo strato convoluzionale e metriche Log-Euclidee per lo strato MLR. I risultati nella Tab. 1 mostrano che GyroSpd++ supera costantemente le linee di base SPD in termini di accuratezza media. I risultati di GyroSpd++ con diversi design di metriche Riemanniane per i suoi strati sono riportati nell'Appendice D.4.1.

MLR negli spazi di struttura Costruiamo GyroSpsd++ sostituendo lo strato MLR di GyroSpd++ con uno strato MLR proposto nella Sezione 3.3. I risultati di GyroSpsd++ sono riportati nella Tab. 1. Ad eccezione di SPSDAI, GyroSpsd++ supera le altre linee di base sul set di dati HDM05 in termini di accuratezza media. Inoltre, GyroSpsd++ supera GyroSpd++ e tutte le linee di base sui set di dati FPHA e NTU60 in termini di accuratezza media. Questi risultati mostrano che MLR è efficace quando viene progettato in spazi di struttura da una prospettiva di spazio girovettore.

4.2 CLASSIFICAZIONE DEI NODI

Utilizziamo tre set di dati, ovvero Airport (Zhang & Chen, 2018), Pubmed (Namata et al., 2012a) e Cora (Sen et al., 2008), ognuno dei quali contiene un singolo grafico con migliaia di nodi etichettati. Confrontiamo la nostra rete Gr-GCN++ (vedi Fig. 1) con la sua variante Gr-GCN-ONB (vedi Appendice E.2.4) in base alla prospettiva ONB. I risultati sono mostrati nella Tab. 2. Entrambe le reti offrono le migliori prestazioni per n = 14 e p = 7. Si può vedere che Gr-GCN++ supera Gr-GCN-ONB in tutti i casi. I divari di prestazioni sono significativi sui set di dati Pubmed e Cora.

[1] https://github.com/zhiwu-huang/SPDNet.

[2] https://papers.nips.cc/paper/2019/hash/6e69ebbfad976d4637bb4b39de261bf7-Abstract.html.