配送コスト予測における自己注意の力を明らかにする: 関連研究

リンク一覧

• 概要と序論
• 関連事業
• 方法論
• 実験
• 結論と今後の課題
• 参考文献

2. 関連研究

ツリーベースのアルゴリズムは、表形式データの機械学習で広く使用されています。決定木は、軸に沿った超平面に基づいてデータを複数の部分に再帰的に分割します (Hastie 他、2009)。ランダム フォレスト (RF) (Breiman、2001) と勾配ブースト決定木 (GBDT) (Friedman、2001) は、最も一般的に使用されているツリーベースのアンサンブルです。RF は、データのランダムなサブセットに複数の決定木を適合させ、予測を平均化/ポーリングして、決定木の過剰適合特性を軽減します。GBDT、XGBoost (Chen および Guestrin、2016)、および CatBoost (Prokhorenkova 他、2018) は、ブーストされたアンサンブル モデルであり、決定木を順次構築して、以前のツリーによるエラーを修正し、非線形関係を持つ複雑なデータセットでのパフォーマンスを向上させます。

最近、表形式データのディープラーニング モデルに大きな関心が集まっています。一部の方法では、決定木で使用される決定関数の微分可能な近似を導入して、決定木を微分可能にしています (Hazimeh ら、2020 年、Popov ら、2019 年)。これらの方法は、いくつかの問題ステートメントに対して純粋なツリーベースの問題よりも優れていますが、一貫して優れているわけではありません (Gorishniy ら、2021 年)。他の方法では、アテンション メカニズムを使用して DL 手法を表形式データに適応させています (Arik ら、2019 年、Huang ら、2020 年、Gorishniy ら、2021 年、Somepalli ら、2021 年、Chen ら、2022 年)。TabNet (Arik ら、2019 年) は、決定木の再帰分割を模倣するために複数のレイヤーに積み重ねられたスパース アテンション メカニズムを提案しています。多くのドメイン (Devlin et al., 2019; Dosovitskiy et al., 2021; Gong et al., 2021) での自己注意トランスフォーマー (Vaswani et al., 2017) の成功に触発されて、TabTransformer (Huang et al., 2020)、FT-Transformer (Gorishniy et al., 2021)、SAINT (Somepalli et al., 2021) などの方法が提案されました。TabTransformer は、すべてのカテゴリ変数を統一された埋め込み空間に埋め込み、カテゴリ埋め込みの文は自己注意トランスフォーマーレイヤーを通過します。FT-Transformer は、連続埋め込みを使用して数値特徴にも注意を払うことでこれをさらに拡張します。SAINT は、バッチのサンプル間の相互作用をキャプチャする新しい種類の注意を提案することで、FT-Transformer を基盤としています。ただし、サンプル間アテンションは、サンプル数と比較して次元数が多い場合にのみ有効であるため、SAINT は私たちの問題ステートメントに対して FT-Transformer よりも優れた利点を提供しません。したがって、RCT と SAINT を比較しません (Somepalli et al.、2021)。