Раскрытие силы самовнимания для прогнозирования стоимости доставки: Краткое содержание и введение

Таблица ссылок

• Аннотация и введение
• Сопутствующие работы
• Методология
• Эксперимент
• Заключение и будущая работа
• Рекомендации

Абстрактный

Amazon ежегодно отправляет миллиарды посылок своим клиентам на территории США. Стоимость доставки этих посылок используется в день отправки (день 0) для оценки рентабельности продаж. Системы переработки и переработки используют в настоящее время нулевые оценки рентабельности для принятия финансовых решений, таких как стратегии ценообразования и исключение из списков убыточных продуктов. Однако получить точную оценку стоимости доставки в нулевой день сложно по таким причинам, как задержка в выставлении счетов-фактур перевозчиком или фиксированные компоненты затрат, регистрируемые ежемесячно. Неточная оценка стоимости доставки может привести к принятию неверных решений, например, к слишком низкой или высокой цене на товары или к продвижению покупателями не того продукта. Текущие решения для оценки стоимости доставки в нулевой день основаны на древовидных моделях, которые требуют значительных усилий по ручному проектированию. В этом исследовании мы предлагаем новую архитектуру под названием «Трансформатор тарифных карт» (RCT), которая использует самообслуживание для кодирования всей информации о доставке посылки, такой как атрибуты посылки, информация о перевозчике и план маршрута. В отличие от других табличных моделей на основе преобразователей, RCT имеет возможность кодировать список переменных отношений один-ко-многим для груза, что позволяет ему собирать больше информации об отправке. Например, RCT может кодировать свойства всех продуктов в упаковке. Наши результаты показывают, что прогнозы затрат, сделанные с помощью RCT, имеют на 28,82% меньшую ошибку по сравнению с древовидной моделью GBDT. Более того, RCT превосходит современную табличную модель на основе трансформатора FTTransformer на 6,08%. Мы также показываем, что RCT изучает обобщенное множество прейскурантов, что может повысить производительность древовидных моделей.

1. Введение

Amazon ежегодно отправляет своим клиентам в одних только США посылки на сумму порядка миллиардов. Планирование маршрута для этих посылок выполняется в день отправки, день 0. В рамках этого плана стоимость доставки каждой посылки оценивается путем разбиения пути следования посылки на более мелкие этапы и расчета стоимости каждого этапа с использованием тарифная карта. Оценки дневных затрат используются для расчета первоначальных оценок рентабельности для целей бухгалтерского учета, например, оценки прибыли/убытка для каждого товара в результате конкретной продажи покупателю. Эти оценки рентабельности используются несколькими последующими службами для принятия решений и планирования.

Однако оценки на день 0 могут отличаться от фактических затрат из-за таких факторов, как неправильная конфигурация прейскуранта, неправильные размеры упаковки, неправильный адрес доставки и т. д. Неточные оценки затрат приводят к искажению оценок рентабельности, что, в свою очередь, приводит к неоптимальным финансовым решениям нижестоящих компаний. системы. Например, если стоимость доставки товара постоянно завышена, товар может быть удален из каталога. С другой стороны, заниженная стоимость может привести к тому, что системы ценообразования занизят цену товара, что приведет к убыткам. Кроме того, неточная оценка также приводит к тому, что мы продвигаем покупателю неправильные продукты, что приводит к ухудшению качества обслуживания клиентов. Чтобы улучшить эти оценки стоимости доставки, мы предлагаем модель глубокого обучения на основе Transformer, которая точно прогнозирует стоимость доставки в нулевой день.

В контексте доставки посылка характеризуется ее физическими размерами, весом и содержимым. Он также включает сведения об перевозчике, ответственном за его транспортировку, и предполагаемом маршруте. Кроме того, посылка связана с переменным количеством атрибутов, описывающих находящийся внутри предмет(ы) и различные расходы, связанные с его доставкой. В совокупности мы называем эти атрибуты прейскурантом, связанным с пакетом. Для табличных наборов данных, таких как прейскуранты пакетов, древовидные модели, такие как деревья решений с градиентным усилением (GBDT), XGBoost (Chen and Guestrin, 2016) и т. д., считаются современными моделями (SOTA). Однако их эффективность во многом зависит от высококачественных входных функций (Arik et al., 2019), которые могут потребовать тщательной разработки функций. В нашем случае эта проблема еще больше усугубляется тем фактом, что целевая концепция зависит от комбинаторных взаимодействий высокого порядка между атрибутами прейскуранта. Например, если прейскурант неправильно настроен для больших контейнеров с легковоспламеняющимися веществами, отправляемых из Вашингтона, округ Колумбия, в Нью-Йорк перевозчиком ABC, тогда модель должна научиться связывать комбинацию свойств < размер = большой, предмет = легковоспламеняющийся, источник = Вашингтон. , пункт назначения = Нью-Йорк, перевозчик = ABC > с высоким отклонением между расчетными и фактическими затратами. При работе с комбинациями функций учет всех возможных взаимодействий более высокого порядка между свойствами пакета может быть непрактичным из-за экспоненциального увеличения количества взаимодействий с каждым увеличением порядка, что приводит к проклятию размерности (Bishop, 2006). Еще одним недостатком древовидных моделей является их неспособность обрабатывать список функций переменной длины. Посылка может содержать несколько предметов, а ее стоимость доставки может быть разбита на несколько типов сборов. Предыдущие эксперименты показали, что добавление функций, созданных на основе нескольких элементов и зарядов, улучшило производительность GBDT. Однако из-за неспособности древовидных моделей обрабатывать переменный список функций, полную информацию из них получить невозможно.

В этой статье, вдохновленной недавним успехом преобразователей в табличной области (Huang et al., 2020; Somepalli et al., 2021; Gorishniy et al., 2021), мы предлагаем новую архитектуру, называемую преобразователем тарифных карт (RCT). для прогнозирования стоимости доставки в день 0. Предлагаемая модель специально разработана для изучения встраивания прейскуранта, связанного с пакетом. RCT использует механизмы самообслуживания для эффективного выявления взаимозависимостей между различными компонентами прейскуранта путем изучения взаимодействия между входными функциями. В частности, наш вклад в эту работу включает в себя:

• Предложить новую архитектуру, преобразователь прейскурантов (RCT), которая использует архитектуру преобразователя для изучения множества прейскурантов и прогнозирования стоимости доставки в нулевой день. Кроме того, показано, что RCT превосходит как GBDT, так и современные технологии. арт-табличный преобразователь FT-Transformer (Горишный и др., 2021) в прогнозировании стоимости доставки.

• Проводятся обширные эксперименты, чтобы показать, что изученные внедрения являются достаточным представлением многообразия прейскурантов, а уровни самообслуживания являются эффективными обучающимися взаимодействиями функций. Исследования абляции проводятся для анализа влияния количества слоев преобразователя и головок внимания на производительность модели.