Подобно на много други, на мен ми отне известно време да осмисля резултатите от президентските избори в САЩ през 2024 г. Но има още едно важно нещо, което трябва да направя: да анализирам как прогнозите, които направих , всъщност се представиха. И най-накрая успях да го направя.
Като цяло направих три различни прогнози в течение на ~1,5 месеца: ① въз основа само на претеглени висококачествени анкети (изтеглих тези от 538); ② коригирано с пълното средно отклонение от социологическите проучвания от изборите през 2016 г. и 2020 г.; и ③ коригирано само с половината от пристрастието в анкетите за 2016/20 г.
Какви бяха мотивите ми да интегрирам пристрастията към социологическите проучвания от 2016 г. и 2020 г.? „Не обмислям избори преди това, защото откакто Тръмп излезе на сцената, динамиката на изборите се промени значително. Старите правила вече не се прилагат. 2024 г. ще прилича много повече на 2020 г. и 2016 г., отколкото на всички избори преди това.“ (Вижте първия ми
И защо включих тази с половината пристрастие към анкетата? В моята
В началото на ноември -- въз основа на много разумно звучащи аргументи -- също започнах да проучвам дали грешките в анкетите от 2012 г. и 2022 г. може да са подходящи за разглеждане. За съжаление, тези аргументи се оказаха напълно, напълно погрешни, така че ще изключим прогнозите ④ и ⑤ в този анализ след смъртта.
Това, което направиха прогнозите от ① до ③, беше да предскажат печалбата в седемте променящи се щата, което след това доведе до вероятност за победа във всеки щат за кандидатите, очаквани електорални гласове (EV) и, комбинирано (и въз основа на симулация на Монте Карло), общ шанс за спечелване на всичко. Това, върху което ще се съсредоточа тук, е да видя колко далеч са моите прогнози за маржове от действителните маржове в състоянията на суинг, защото те бяха тези, на които се основаваха всички други компоненти на прогнозата ми.
Избрах да направя това с три общи подхода: точност на посоката, средна абсолютна грешка (MAE) и средна квадратична грешка (RMSE). Докато MAE просто изчислява абсолютната разлика между прогнозираните маржове и действителните маржове и след това осреднява тези стойности, RMSE наказва по-сериозно големите грешки. Също така ще направя MAE и RMSE за еднакво претегляне на седемте състояния на колебание, както и за претегляне, базирано на EV. Еднаквото претегляне третира всяка прогноза за състояние с еднаква важност, като се фокусира изцяло върху точността на прогнозиране, независимо от стратегическото значение. Базираното на EV тегло обаче по-добре отразява електоралното значение на всяка прогноза. И за двете, MAE и RMSE, по-ниското е по-добро.
Като се има предвид всичко това, нека да се заемем с него. Нека да видим как се справят моите прогнози.
Метрика | Прогноза ① | Прогноза ② | Прогноза ③ |
|---|---|---|---|
Точност на насочване | 42,9% | 100% ✓ | 100% ✓ |
MAE (равни тегла) | 2.37 | 2.11 | 1,01 ✓ |
RMSE (равни тегла) | 2.46 | 2.32 | 1,32 ✓ |
MAE (EV-претеглено) | 2.26 | 2.11 | 0,81 ✓ |
RMSE (EV-претеглено) | 2.35 | 2.32 | 1,06 ✓ |
Както можем да видим, без значение кой метод използваме и как претегляме отделните състояния на колебание, предсказанието ③ лесно превъзхожда другите две (с изключение на точността на насочване, най-основната мярка, която разглежда колко състояния са прогнозирани правилно, независимо от маржа).
Тъй като и трите прогнози се основават на едни и същи социологически проучвания с едни и същи коефициенти и се различават само в това колко са били коригирани за кои пристрастия в социологическите проучвания, това показва, че предположенията, които първоначално направих, са разумни: Изборите с Тръмп като кандидат са различни от други избори; социологите все още са лоша подкрепа за Тръмп (поради „срамежливия гласоподавател на Тръмп“ и т.н.); анкетьорът все пак се подобри малко; простите модели (вземете средната грешка при гласуване от 2016/20 г. и просто я намалете наполовина) най-вече вършат работа.
За да завършим цялата тази тема (докато не започнем наново след по-малко от 4 години), още едно по-нататъшно четене: Има доклади, че френски залагащ в Polymarket е включил така нареченото проучване на съседите (много грубо казано, питайки „за кого мислите, че вашият съсед ще гласува?“ вместо „за кого ще гласувате?“), като по този начин прогнозира всичко правилно. Проф. Андрю Гелман е написал a
Добре тогава, ще се видим след 3,5 години. 👋🏻
