Nakliye Maliyeti Tahmininde Kişisel Dikkatin Gücünü Ortaya Çıkarma: İlgili Çalışmalar

Bağlantı Tablosu

• Özet ve Giriş
• İlgili Çalışmalar
• Metodoloji
• Deney
• Sonuç ve gelecek iş
• Referanslar

2. İlgili Çalışmalar

Ağaç tabanlı algoritmalar, makine öğreniminde tablo verileri için yaygın olarak kullanılmaktadır. Karar ağaçları, verileri eksen hizalı hiper düzlemlere dayalı olarak yinelemeli olarak birden fazla parçaya böler (Hastie ve diğerleri, 2009). Rastgele Ormanlar (RF) (Breiman, 2001) ve Gradyan Artırılmış Karar Ağaçları (GBDT) (Friedman, 2001) en yaygın kullanılan ağaç tabanlı topluluklardır. RF, verilerin rastgele alt kümelerine birden fazla karar ağacı yerleştirir ve karar ağaçlarının aşırı uyum özelliğini hafifletmek için tahminlerin ortalamasını alır/yoklar. GBDT, XGBoost (Chen ve Guestrin, 2016) ve CatBoost (Prokhorenkova ve diğerleri, 2018), önceki ağaçların yaptığı hataları düzeltmek için karar ağaçlarını sırayla oluşturan güçlendirilmiş topluluk modelleridir ve bu da doğrusal olmayan ilişkilere sahip karmaşık veri kümelerinde performansın artmasına yol açar. .

Son zamanlarda tablosal verilere yönelik derin öğrenme modellerine ilgi oldukça fazla. Bazı yöntemler, karar ağaçlarında kullanılan karar fonksiyonlarının türevlenebilir yaklaşımlarını kullanarak onları türevlenebilir hale getirir (Hazimeh ve diğerleri, 2020; Popov ve diğerleri, 2019). Bu yöntemler bazı problem ifadeleri için saf ağaç tabanlı problemlerden daha iyi performans gösterir, ancak sürekli olarak daha iyi değildirler (Gorishniy ve diğerleri, 2021). Diğer yöntemler, DL yöntemlerini tablo verilerine uyarlamak için dikkat mekanizmalarını kullanmıştır (Arik ve diğerleri, 2019; Huang ve diğerleri, 2020; Gorishniy ve diğerleri, 2021; Somepalli ve diğerleri, 2021; Chen ve diğerleri, 2022). TabNet (Arik ve diğerleri, 2019), karar ağaçlarının yinelemeli bölünmesini taklit etmek için birden fazla katmana yığılmış bir seyrek dikkat mekanizması önermektedir. TabTransformer (Huang ve diğerleri. , 2020), FT-Transformer (Gorishniy ve diğerleri, 2021) ve SAINT (Somepalli ve diğerleri, 2021) önerilmiştir. TabTransformer, tüm kategorik değişkenleri birleşik bir yerleştirme alanına yerleştirir ve kategorik yerleştirmelerden oluşan bir cümle, kişisel dikkat transformatör katmanlarından geçirilir. FT-Transformer, sürekli yerleştirmeyi kullanarak sayısal özellikleri de dikkate alarak bunu daha da genişletir. SAINT, bir partinin numuneleri arasındaki etkileşimleri yakalayan yeni bir tür dikkat önererek FT-Transformer'ı temel alır. Bununla birlikte SAINT, problem açıklamamız için FT-Transformer'a göre herhangi bir avantaj sağlamaz, çünkü örnekler arası dikkat yalnızca boyut sayısı örnek sayısına kıyasla daha yüksek olduğunda etkilidir, dolayısıyla RCT'yi SAINT'le karşılaştırmıyoruz (Somepalli ve ark. ., 2021).