堅牢なマルチエグジットニューラルネットワークのための知識蒸留ベースの敵対的トレーニング

リンク一覧

要約と1. はじめに

2. 関連研究

3. 提案された NEO-KD アルゴリズムと 3.1 問題設定: マルチ出口ネットワークにおける敵対的学習

3.2 アルゴリズムの説明

4. 実験と4.1 実験のセットアップ

4.2. 主な実験結果

4.3. アブレーション研究と議論

5. 結論、謝辞および参考文献

A. 実験の詳細

B. クリーンテストの精度とC. 平均攻撃による敵対的トレーニング

D. ハイパーパラメータの調整

E. 後期出口でのパフォーマンス低下に関する議論

F. 単一出口ネットワークに対する最近の防御方法との比較

G. SKDとARDとの比較とH. より強力な攻撃アルゴリズムの実装

抽象的な

マルチ出口ニューラルネットワークは、早期出口を介して効率的な推論を行うための有望なソリューションと見なされていますが、敵対的攻撃に対抗することは依然として困難な問題です。マルチ出口ネットワークでは、異なるサブモデル間の依存性が高いため、特定の出口をターゲットとする敵対的サンプルは、ターゲット出口のパフォーマンスを低下させるだけでなく、他のすべての出口のパフォーマンスも同時に低下させます。これにより、マルチ出口ネットワークは単純な敵対的攻撃に対して非常に脆弱になります。この論文では、2つの主要な貢献に基づいてこの基本的な課題に取り組む知識蒸留ベースの敵対的トレーニング戦略であるNEO-KDを提案します。NEO-KDはまず、隣接知識蒸留に頼って、敵対的サンプルの出力を、クリーンなデータの隣接出口のアンサンブル出力に近づけるように導きます。NEO-KDはまた、異なるサブモデル間での敵対的転移性を減らすために、出口ごとの直交知識蒸留を採用しています。その結果、敵対的攻撃に対する堅牢性が大幅に向上します。さまざまなデータセット/モデルでの実験結果から、当社の方法は、マルチエグジットネットワークの既存の敵対的トレーニングや知識蒸留技術に依存するベースラインと比較して、計算予算を削減しながら最高の敵対的精度を達成することが示されています。

1 はじめに

マルチ出口ニューラルネットワークは、リソースが制限されたアプリケーションで動的な予測を行う能力があることから、大きな注目を集めています [9, 13, 26, 27, 28, 32]。完全なモデルの最終出力で予測を行う代わりに、現在の時間予算またはコンピューティング予算に応じて、より早い出口でより高速な予測を行うことができます。この意味で、マルチ出口ネットワークは、複数のサブモデルを持つアーキテクチャと見なすことができます。各サブモデルは、モデルの入力から特定の出口の出力までのパラメーターで構成されます。これらのサブモデルは、いくつかのモデルパラメーターを共有しているため、高い相関性があります。最後の出口の知識を他の出口に蒸留することで、つまり自己蒸留によって、すべてのサブモデルのパフォーマンスを向上できることもよく知られています [15, 20, 24, 27]。マルチ出口ネットワークのコンテキストで敵対的攻撃の問題に対処するための取り組みも行われています [3, 12]。

敵対的攻撃に対する堅牢性を提供することは、マルチ出口ネットワークでは特に困難です。異なるサブモデルはパラメータを共有することで高い相関関係を持つため、特定の出口をターゲットとする敵対的サンプルは、他のサブモデルのパフォーマンスを大幅に低下させる可能性があります。言い換えれば、敵対的サンプルは異なるサブモデル間で強力な敵対的転移性を持つ可能性があり、モデルは単純な敵対的攻撃（たとえば、単一の出口をターゲットとする敵対的攻撃）に対して非常に脆弱になります。

動機: マルチ出口ネットワークに対する敵対的防御戦略に焦点を当てた先行研究はごくわずかである [3, 12]。[12] の著者らは、マルチ出口ネットワークに合わせた敵対的サンプルの生成（最大平均攻撃によるサンプル生成など）に焦点を当て、すべての出口のクリーン損失と敵対的損失の合計を最小化するようにモデルをトレーニングした。[12] で構築された敵対的サンプルを考慮して、[3] の著者らは、トレーニング中に各出口で分類器の重みを減らすための正則化項を提案した。しかし、既存の敵対的防御戦略 [3, 12] は、異なるサブモデル間の高い相関関係を直接処理しないため、マルチ出口ネットワークでは敵対的転移性が高く、堅牢性が限られている。この困難に取り組むために、我々は先行研究 [3, 12] とは直交する形で知識蒸留ベースのアプローチを採用する。これまでの研究 [8, 23, 33, 34] では、従来のシングルエグジットネットワークにおけるモデルの堅牢性を向上させるために知識蒸留を利用できることが示されている。しかし、クリーンデータを使用してマルチエグジットネットワークをトレーニングするための自己蒸留に関する既存の研究は広範囲に渡っているものの [15, 20, 24, 27]、蒸留技術をマルチエグジットネットワークの敵対的トレーニングにどのように利用すべきかは現在のところ不明である。さらに、既存の蒸留ベースのスキームをマルチエグジットネットワークに適用すると、同じ出力 (たとえば、最後のエグジットの知識) がすべてのサブモデルに蒸留されるため、サブモデル間の依存性が高くなります。これらの制限を踏まえて、次の質問を提示します。知識蒸留を利用して、マルチエグジットネットワークの敵対的堅牢性を向上させるにはどうすればよいか。同時に、マルチエグジットネットワークの異なるサブモデル間での敵対的転移性をどのように低減できるか。

主な貢献。これらの質問に対処するために、堅牢なマルチ出口ニューラル ネットワークに高度にカスタマイズされた知識蒸留ベースの敵対的トレーニング戦略である NEO-KD を提案します。私たちのソリューションは、近傍知識蒸留と出口方向の直交知識蒸留の 2 つの側面から成ります。

• 特定の出口が与えられた場合、私たちのソリューションの最初の部分である近傍知識蒸留 (NKD) は、図 1a に示すように、クリーン データの近傍出口のアンサンブル予測を、対応する出口での敵対的サンプルの予測に蒸留します。この方法は、敵対的サンプルの出力がクリーン データの出力に従うようにガイドし、敵対的攻撃に対する堅牢性を向上させます。蒸留の前にクリーン データの近傍予測をアンサンブルすることにより、NKD は、同じ位置に 1 つの出口のみで蒸留する方式と比較して、対応する出口に高品質の機能を提供します。

• 私たちのソリューションの2番目の焦点である出口ごとの直交知識蒸留（EOKD）は、主に異なるサブモデル間での敵対的転移性を減らすことを目的としています。この部分は、（高い敵対的転移性に悩まされる）堅牢なマルチ出口ネットワーク[3、12]や（敵対的転移性がさらに高まる）自己蒸留ベースのマルチ出口ネットワーク[15、20、24、27]の既存の方法と比較して、私たちの研究のもう一つのユニークな貢献です。私たちのEOKDでは、i番目の出口でのクリーンデータの出力は、出口ごとにi番目の出口での敵対的サンプルの出力に蒸留されます。この出口ごとの蒸留プロセスでは、図1bに示すように、各出口に直交ソフトラベルを提供することで、個々の出口の非グラウンドトゥルース予測が相互に直交するように促します。 EOKD は、異なる出口出力間の依存関係を弱めることにより、ネットワーク内のすべてのサブモデルにわたる敵対的転送可能性を低減し、敵対的攻撃に対する堅牢性を向上させます。

私たちのアーキテクチャソリューションの NKD および EOKD コンポーネントは連携して、ネットワーク内のさまざまなサブモデル間での敵対的転移性を低減しながら、各出口での敵対的サンプルの予測を正しく導きます。さまざまなデータセットでの実験結果から、提案された戦略は、マルチ出口ネットワークの既存の敵対的トレーニング方法と比較して、計算予算を削減しながら最高の敵対的精度を達成することがわかります。私たちのソリューションはプラグアンドプレイ方式であり、マルチ出口ネットワークに合わせて調整された既存のトレーニング戦略と組み合わせて使用できます。