Tāpat kā daudziem citiem, man bija vajadzīgs laiks, lai sagremotu 2024. gada ASV prezidenta vēlēšanu rezultātus. Bet ir vēl viena svarīga lieta, kas jādara: analizēt, kā patiesībā veicās manām prognozēm . Un beidzot es to izdarīju.
Aptuveni 1,5 mēnešu laikā es parasti veicu trīs dažādas prognozes: ① pamatojoties tikai uz svērtām augstas kvalitātes aptaujām (es lejupielādēju tās no 538); ② koriģēts ar pilnu vidējo aptauju neobjektivitāti no 2016. un 2020. gada vēlēšanām; un ③ koriģēts tikai par pusi no 2016./2020. gada aptauju novirzes.
Kāds bija mans pamatojums 2016. un 2020. gada aptauju neobjektivitātes integrēšanai? "Pirms tam es neapsveru vēlēšanas, jo kopš Trampa stāšanās uz skatuves vēlēšanu dinamika ir būtiski mainījusies. Vecie noteikumi vairs netiek piemēroti. 2024. gads būs daudz līdzīgāks 2020. un 2016. gadam nekā jebkurām vēlēšanām pirms tam." (Skatiet manu pašu pirmo
Un kāpēc es iekļāvu to, kam ir puse aptaujas? Manā
Novembra sākumā, pamatojoties uz ļoti saprātīgiem argumentiem, es arī sāku pētīt, vai 2012. un 2022. gada aptaujas kļūdas varētu būt svarīgas. Diemžēl šie argumenti izrādījās pilnīgi, pilnīgi nepareizi, tāpēc mēs izslēgsim prognozes ④ un ⑤ šajā pēcnāves analīzē.
Prognozes no ① līdz ③ bija paredzētas uzvaras starpībai septiņos mainīgajos štatos, kas pēc tam nodrošināja kandidātu uzvaras iespējamību katrā štatā, sagaidāmās elektoru balsis (EV) un, apvienojot (un pamatojoties uz Montekarlo simulāciju), kopējo iespēju uzvarēt visā. Šeit es pievērsīšos tam, lai apskatītu, cik tālu manas maržas prognozes bija no faktiskajām robežām svārstību stāvokļos, jo tie bija tie, uz kuriem balstījās visas pārējās manas prognozes sastāvdaļas.
Esmu izvēlējies to darīt, izmantojot trīs izplatītas pieejas: virziena precizitāte, vidējā absolūtā kļūda (MAE) un vidējā kvadrātiskā kļūda (RMSE). Kamēr MAE vienkārši aprēķina absolūto atšķirību starp prognozētajām robežām un faktiskajām robežām un pēc tam aprēķina šīs vērtības vidējo vērtību, RMSE par lielām kļūdām tiek sodīts smagāk. Es arī izdarīšu MAE un RMSE, lai nodrošinātu vienādu septiņu svārstību stāvokļu svērumu, kā arī katram uz EV balstītu svērumu. Vienāds svērums katra stāvokļa prognozei tiek uzskatīta ar vienādu nozīmi, koncentrējoties tikai uz prognozēšanas precizitāti neatkarīgi no stratēģiskās nozīmes. Tomēr uz EV balstītais svērums labāk atspoguļo katras prognozes nozīmi vēlēšanās. Gan MAE, gan RMSE zemāks ir labāks.
Tas viss ir pateikts, ķersimies pie tā. Paskatīsimies, kā veicās manām prognozēm.
Metrika | Prognoze ① | Prognoze ② | Prognoze ③ |
|---|---|---|---|
Virziena precizitāte | 42,9% | 100% ✓ | 100% ✓ |
MAE (vienādi svari) | 2.37 | 2.11 | 1,01 ✓ |
RMSE (vienādi svari) | 2.46 | 2.32 | 1,32 ✓ |
MAE (EV-svērtais) | 2.26 | 2.11 | 0,81 ✓ |
RMSE (EV-svērtais) | 2.35 | 2.32 | 1,06 ✓ |
Kā redzam, neatkarīgi no tā, kādu metodi mēs izmantojam un kā nosveram atsevišķos svārstību stāvokļus, prognoze ③ viegli pārspēj pārējos divus (izņemot virziena precizitāti, visvienkāršāko mēru, kas parāda, cik stāvokļu tika prognozēti pareizi neatkarīgi no starpības).
Tā kā visas trīs prognozes ir balstītas uz vienām un tām pašām aptaujām ar vienādu svērumu un atšķiras tikai ar to, cik lielā mērā tās tika koriģētas, ņemot vērā aptauju aizspriedumus, tas liecina, ka manis sākotnēji izdarītie pieņēmumi bija pamatoti: vēlēšanas ar Trampu kā kandidātu atšķiras no citām vēlēšanām; aptauju veicēji joprojām ir slikti, lai iegūtu atbalstu Trampam (sakarā ar "kautrīgo Trampa vēlētāju" utt.); aptauja joprojām ir nedaudz uzlabojusies; vienkāršie modeļi (ņemt vidējo aptaujas kļūdu no 2016./2020. gada un vienkārši samazināt to uz pusēm) lielākoties dara to triku.
Noslēdzot visu šo tēmu (līdz sāksim no jauna pēc nepilniem 4 gadiem), vēl viens gabals tālākai lasīšanai: Ir ziņas, ka kāds franču derību slēdzējs polimārketā iesaistījis tā saukto kaimiņu aptauju (ļoti rupji runājot, jautājot "par ko, jūsuprāt, balsos jūsu kaimiņš?", nevis "par ko jūs balsosit?"), tādējādi visu pareizi paredzot. Prof. Endrjū Gelmans ir uzrakstījis a
Labi, tiekamies pēc 3,5 gadiem. 👋🏻
