Οι αγορές πρόβλεψης χρησιμεύουν εδώ και πολύ καιρό ως κρυστάλλινες μπάλες από crowdsourced, αποστάζοντας διασκορπισμένες πληροφορίες για την πρόβλεψη εκλογών, οικονομικών αλλαγών και τεχνολογικών ανακαλύψεων. Αλλά στην επιστήμη, ξεπερνούν την απλή πρόβλεψη - γίνονται ζωντανά εργαστήρια όπου οι υποθέσεις ελέγχονται, τελειοποιούνται και δίνονται οικονομικά κίνητρα σε πραγματικό χρόνο. Αυτό το άρθρο εξετάζει την επιστημική επανάσταση που πυροδότησε οι αγορές επιστημονικών προβλέψεων - πώς έχουν τη δυνατότητα να αντιμετωπίσουν συστημικά ελαττώματα στην έρευνα, να αναδιαμορφώσουν τους μηχανισμούς επικύρωσης και να επαναπροσδιορίσουν τι σημαίνει να δημιουργείς γνώση σε έναν ανοιχτό κόσμο.
Η εμπορευματοποίηση της αλήθειας
Τι θα γινόταν αν η επιστημονική αλήθεια δεν υπαγορευόταν από επιτροπές και παράγοντες επιρροής, αλλά από μια ανοιχτή αγορά όπου οι υποθέσεις αυξάνονται ή πέφτουν με βάση τα στοιχήματα σε πραγματικό χρόνο;
Για αιώνες, η επιστημονική επικύρωση εξαρτιόταν από τη στατική αξιολόγηση από ομοτίμους, τη θεσμική έγκριση και το ακαδημαϊκό κύρος – συστήματα γεμάτα μεροληψία, συμφόρηση και πολιτικά κίνητρα. Το αποτέλεσμα; Μια κρίση αναπαραγωγιμότητας, μια πλημμύρα ελλιπών μελετών και ένα σύστημα όπου η χρηματοδότηση υπαγορεύει ερευνητικές προτεραιότητες και όχι πραγματική επιστημική αξία (
Οι αγορές πρόβλεψης εισάγουν μια ριζική εναλλακτική: μια δομή οικονομικών κινήτρων για την παραγωγή γνώσης, όπου οι ιδέες δεν δημοσιεύονται απλώς - δοκιμάζονται με άγχος, βελτιώνονται και επικυρώνονται μέσω της αποκεντρωμένης συλλογικής νοημοσύνης. Είναι αντι-εύθραυστα — ευδοκιμούν στην αβεβαιότητα, προσαρμόζονται συνεχώς σε νέα δεδομένα και ιδέες.
Η θεωρητική ραχοκοκαλιά
Οι αγορές προβλέψεων θεωρούνται εδώ και καιρό ως μηχανές συλλογικής νοημοσύνης ως ανατρεπτική δύναμη στις επιστημονικές προβλέψεις και στη λήψη αποφάσεων (
Στον πυρήνα τους, οι αγορές προβλέψεων ενσωματώνουν τη «σοφία του πλήθους» στην υπερένταση — ένα αποκεντρωμένο σύστημα όπου οι πιθανότητες προσαρμόζονται σε πραγματικό χρόνο, απηχώντας τις αρχές της Μπεϋζιανής επιστημολογίας.
Η γνωσιολογική βάση των αγορών πρόβλεψης αντηχεί με τη φιλοσοφία της επιστήμης του Karl Popper, ιδιαίτερα την άποψή του ότι η επιστημονική πρόοδος ξετυλίγεται μέσω εικασιών και διαψεύσεων - μια διαδικασία κριτικής δέσμευσης αντί να βασίζεται σε απομονωμένη τεχνογνωσία. Οι αγορές πρόβλεψης παρέχουν ένα δομημένο περιβάλλον όπου διαφορετικές προοπτικές συγκλίνουν, ανταγωνίζονται και βελτιώνουν τις υποθέσεις με αποκεντρωμένο τρόπο. Ως
Επιπλέον, αυτές οι αγορές ενσωματώνουν τη θεωρία της γνώσης του Hayek, η οποία υποστηρίζει ότι η διάσπαρτη γνώση, όταν συγκεντρωθεί σωστά, αποδίδει πιο ακριβή και αποτελεσματική λήψη αποφάσεων από τον κεντρικό έλεγχο. Οι αγορές πρόβλεψης αφαιρούν την επιστημονική επικύρωση χωρίς ιεραρχικούς θεσμούς, μετατοπίζοντας την ισχύ σε ένα αποκεντρωμένο, ανοιχτό σύστημα όπου η γνώση παράγεται, δοκιμάζεται και τελειοποιείται συλλογικά. Περισσότερο από ένα εργαλείο, σχηματίζουν μια ζωντανή γνωσιακή υποδομή —διαφανή, συμμετοχική και δυναμικά εξελισσόμενη με κάθε νέο αποδεικτικό στοιχείο.
Η βασική ιδέα: Οι αγορές πρόβλεψης ως γνωσιολογικά εργαλεία
Οι αγορές πρόβλεψης λειτουργούν ως αποκεντρωμένοι μηχανισμοί για τη συγκέντρωση πληροφοριών. Οι συμμετέχοντες στοιχηματίζουν στην πιθανότητα ενός αποτελέσματος και η συλλογική νοημοσύνη της αγοράς προσαρμόζει τις τιμές ώστε να αντικατοπτρίζει το πιο πιθανό σενάριο.
Στο πλαίσιο της επιστήμης, οι αγορές προβλέψεων αναλαμβάνουν έναν μοναδικό ρόλο ως επιστημικά εργαλεία - συστήματα για τη δημιουργία, τη δοκιμή και τη βελτίωση της γνώσης. Δημιουργώντας αγορές γύρω από επιστημονικές υποθέσεις, οι συμμετέχοντες στοιχηματίζουν αν οι αξιώσεις θα επικυρωθούν πειραματικά, προσφέροντας μια δυναμική, σε πραγματικό χρόνο αξιολόγηση της αξιοπιστίας τους.
Μεταβαίνοντας από τα παραδοσιακά συστήματα αξιολόγησης με γνώμονα τους ειδικούς σε προβλέψεις με γνώμονα την αγορά, οι αγορές επιστημονικής πρόβλεψης παρέχουν αρκετές κρίσιμες γνωσιακές λειτουργίες:
- Συγκέντρωση πληροφοριών: Οι αγορές προβλέψεων υπερέχουν στην ενοποίηση της αποκεντρωμένης γνώσης από διαφορετικές πηγές, που συχνά οδηγεί σε πιο ακριβείς προβλέψεις από τις μεμονωμένες αξιολογήσεις.
- Ενσωμάτωση διάσπαρτης γνώσης: Η επιστήμη είναι βαθιά εξειδικευμένη, με ειδικούς να επικεντρώνονται σε στενούς τομείς. Οι αγορές προβλέψεων επιτρέπουν τόσο σε ειδικούς όσο και σε ενημερωμένους εξωτερικούς συνεργάτες να συνεισφέρουν σε μια κοινή πλατφόρμα προβλέψεων, αξιοποιώντας διαφορετικές γνώσεις (
Budescu & Chen, 2015 ). - Οικοδόμηση συναίνεσης: Σε κλάδους με σημαντικές επιστημονικές διαφωνίες, οι αγορές προβλέψεων συνθέτουν διαφορετικές απόψεις σε μια ενιαία τιμή αγοράς, προσφέροντας ένα συλλογικό μέτρο πεποίθησης που μπορεί να είναι πιο αξιόπιστο από τις παραδοσιακές μετα-αναλύσεις ή ομάδες ειδικών (
Wolfers & Zitzewitz, 2004 ).
The epistemic engine effect: Οικονομικό δέρμα στο παιχνίδι
Τι συμβαίνει όταν η αλήθεια έχει ένα τίμημα;
Στην παραδοσιακή επιστήμη, τα λάθη συχνά επιμένουν επειδή κανείς δεν τιμωρείται οικονομικά για λάθος. Οι ομότιμοι κριτές δεν χάνουν χρήματα όταν εγκρίνουν μια κακή εργασία. Οι συντάκτες περιοδικών δεν πληρώνουν για τη δημοσίευση αδύναμων μελετών. Στον ακαδημαϊκό χώρο, μπορεί να κάνεις λάθος για χρόνια και να πάρεις θητεία.
Οι αγορές προβλέψεων αλλάζουν το παιχνίδι επιβάλλοντας την ακρίβεια μέσω οικονομικών κινήτρων. Όταν τα χρήματα είναι στη γραμμή, η ιδεολογία παίρνει πίσω την αλήθεια - οι συμμετέχοντες ανταμείβονται για τη σωστή πρόβλεψη των αποτελεσμάτων, όχι για την υπεράσπιση των θεσμικών προκαταλήψεων ή την προώθηση αφηγήσεων. Αυτό δημιουργεί μια ισχυρή γνωσιακή μηχανή, όπου το να έχεις δίκιο είναι επικερδές και το να είσαι λάθος έχει πραγματικές συνέπειες.
Σε αυτό το σύστημα, η επιστημονική επικύρωση γίνεται ένα ανοιχτό πείραμα υψηλού διακυβεύματος, όπου οι ιδέες ανεβαίνουν και πέφτουν με βάση την πραγματική προγνωστική τους ισχύ και όχι τη θεσμική έγκριση. Αντί να απευθύνεται στην αρχή, η αγορά ανταμείβει μόνο ένα πράγμα: να έχει δίκιο για την πραγματικότητα.
Αντιμετώπιση της κρίσης αναπαραγωγιμότητας στην επιστήμη
Μία από τις πιο σημαντικές υποσχέσεις των αγορών πρόβλεψης είναι η δυνατότητά τους να αντιμετωπίσουν την κρίση αναπαραγωγιμότητας - ένα ζήτημα που υπονομεύει την αξιοπιστία της επιστημονικής έρευνας λόγω της εκτεταμένης αδυναμίας αναπαραγωγής δημοσιευμένων ευρημάτων.
Μια μελέτη ορόσημο που χρησιμοποιεί τις αγορές πρόβλεψης για την αξιολόγηση 44 ψυχολογικών μελετών έδειξε ότι οι αξιολογήσεις που βασίζονται στην αγορά θα μπορούσαν να προβλέψουν αποτελεσματικά τα αποτελέσματα της αναπαραγωγής, ξεπερνώντας τις παραδοσιακές μεθόδους έρευνας (
Αυτή η προσέγγιση ανατρέπει το σενάριο σχετικά με την επιστημονική επικύρωση, αντικαθιστώντας το αργό τρίξιμο της αναπαραγωγής μετά τη δημοσίευση με έναν δυναμικό, προληπτικό έλεγχο ποιότητας—κατευθύνοντας τους πόρους εκεί που έχουν τη μεγαλύτερη σημασία και διασφαλίζοντας ότι η πρωτοποριακή έρευνα θα πάρει το προσκήνιο που της αξίζει.
Πέρα από την αξιολόγηση από ομοτίμους: Ένα νέο μοντέλο επιστημονικής επικύρωσης
Το παραδοσιακό σύστημα αξιολόγησης από ομοτίμους, αν και είναι θεμελιώδες για την επιστημονική δημοσίευση, συχνά επικρίνεται ότι είναι αργό, αδιαφανές και επιρρεπές σε προκαταλήψεις όπως η ενίσχυση του status quo και η ομαδική σκέψη. Οι αγορές πρόβλεψης προσφέρουν μια εναλλακτική λύση - ένα συμμετοχικό και διαφανές σύστημα επιστημονικής επικύρωσης που λειτουργεί σε πραγματικό χρόνο.
Μια τέτοια αλλαγή θα μπορούσε να οδηγήσει σε ένα νέο παράδειγμα στην επικύρωση της έρευνας, όπου η επιστημονική αξιοπιστία δεν προσδιορίζεται μόνο μέσω στατικής αξιολόγησης από ομοτίμους, αλλά αξιολογείται δυναμικά σε αγορές προβλέψεων που ενημερώνονται συνεχώς με βάση νέα στοιχεία. Σε αυτόν τον κόσμο, η αλήθεια δεν αναδύεται από την εξουσία - ανταγωνίζεται σε μια ανοιχτή γνωσιολογική αγορά, όπου επιβιώνουν μόνο οι ισχυρότερες ιδέες.
Τα πλεονεκτήματα των αγορών πρόβλεψης στην επιστήμη
🟡 Δυναμικά αυτοδιορθωτικά μοντέλα
Σε αντίθεση με τις στατικές γνωματεύσεις ειδικών ή έρευνες, οι αγορές προβλέψεων ενημερώνονται συνεχώς καθώς αναδύονται νέες πληροφορίες, επιτρέποντας προσαρμογές σε πραγματικό χρόνο στις επιστημονικές προβλέψεις. Αυτό το χαρακτηριστικό τα καθιστά ιδιαίτερα πολύτιμα σε ταχέως εξελισσόμενους ερευνητικούς τομείς.
🟡 Μείωση γνωστικών προκαταλήψεων
Οι παραδοσιακές επιστημονικές αξιολογήσεις συχνά λυγίζουν κάτω από το βάρος των ακαδημαϊκών ιεραρχιών, των συγκρούσεων συμφερόντων και της συλλογικής αδράνειας. Συνδέοντας τα οικονομικά κίνητρα με ακριβείς προβλέψεις, οι αγορές προβλέψεων περιορίζουν τη θεσμική μεροληψία, επιβραβεύοντας την αντικειμενικότητα έναντι της σκέψης του status quo.
🟡 Βελτιστοποίηση κατανομής πόρων
Η επιστημονική χρηματοδότηση συχνά διανέμεται με βάση τις προηγούμενες ερευνητικές επιδόσεις και τη θεσμική φήμη και όχι τον μελλοντικό αντίκτυπο. Οι αγορές πρόβλεψης προσφέρουν μια εναλλακτική λύση ποσοτικοποιώντας την αναμενόμενη αξία των ερευνητικών προτάσεων σε πραγματικό χρόνο. Οι φορείς χρηματοδότησης μπορούν να αξιοποιήσουν αυτές τις γνώσεις για να δώσουν προτεραιότητα σε έργα με τον υψηλότερο αναμενόμενο αντίκτυπο, καθιστώντας την κατανομή των πόρων πιο αποτελεσματική (
🟡 Πρώιμα σήματα επιστημονικών ανακαλύψεων
Μια ρευστή και ενεργή αγορά προβλέψεων μπορεί να χρησιμεύσει ως πρώιμος δείκτης μεταβαλλόμενης επιστημονικής συναίνεσης. Αντί να περιμένουν επίσημους κύκλους δημοσίευσης και αξιολόγησης από ομοτίμους, οι ερευνητές μπορούν να ανταποκριθούν δυναμικά στα σήματα των αναδυόμενων αγορών, προσαρμόζοντας την εργασία τους ως απάντηση στα εξελισσόμενα στοιχεία.
🟡 Ενθάρρυνση της διαφάνειας και της ανοιχτής επιστήμης
Οι αγορές προβλέψεων μετατρέπουν τις συλλογικές προβλέψεις σε μια δημόσια, δυναμική συζήτηση, ενισχύοντας τη διαφάνεια στον επιστημονικό λόγο. Όταν συγχωνεύονται με πρωτοβουλίες ανοιχτής επιστήμης, δημιουργούν ένα αποκεντρωμένο σύστημα για την επικύρωση υποθέσεων — καλλιεργώντας μια ερευνητική κουλτούρα που ευδοκιμεί στην αυστηρότητα, τη συνεργασία και την υπευθυνότητα.
Γεφύρωση θεωρίας και πράξης: Τα εμπόδια στις αγορές επιστημονικών προβλέψεων
Παρά τη θεωρητική τους υπόσχεση, οι αγορές επιστημονικών προβλέψεων αντιμετωπίζουν σημαντικά πρακτικά εμπόδια στην εφαρμογή τους. Οι πρώτες προσπάθειες δυσκολεύτηκαν με την περιορισμένη συμμετοχή, τη χαμηλή ρευστότητα και την ελκυστικότητα σε εξειδικευμένες αγορές που εμποδίζουν αυτές τις αγορές να φτάσουν την κρίσιμη μάζα που απαιτείται για διαρκή αντίκτυπο.
Μία από τις πιο μακροχρόνιες πλατφόρμες,
Ομοίως,
Αντίθετα,
Ωστόσο, παρά αυτά τα πολλά υποσχόμενα αποτελέσματα, το SciCast παρέμεινε αδρανές για σχεδόν μια δεκαετία, αντανακλώντας τον ευρύτερο αγώνα για τη διατήρηση της ενεργού συμμετοχής στις αγορές επιστημονικών προβλέψεων.
Η υπόσχεση της αποκέντρωσης
Η άνοδος των αποκεντρωμένων πλατφορμών έχει δώσει νέα πνοή στις αγορές επιστημονικών προβλέψεων, απελευθερώνοντας τους περιορισμούς της θεσμικής πύλης και των κληροδοτημένων περιορισμών. Πλατφόρμες που βασίζονται σε κρυπτογράφηση όπως
Ωστόσο, ο δρόμος προς τις αποκεντρωμένες επιστημονικές προβλέψεις δεν ήταν ομαλή.
Μελλοντικές κατευθύνσεις για αγορές επιστημονικών προβλέψεων
Η ευρεία υιοθέτηση αγορών επιστημονικών προβλέψεων αντιμετωπίζει πολλές προκλήσεις, όπως ρυθμιστικές ανησυχίες (καθώς ορισμένες δικαιοδοσίες μπορεί να τις ταξινομούν ως πλατφόρμες τζόγου), ζητήματα ρευστότητας (διασφάλιση αρκετή συμμετοχή για τη δημιουργία ουσιαστικών προβλέψεων) και την ανάγκη για ισχυρούς μηχανισμούς επίλυσης για την επαλήθευση των επιστημονικών αποτελεσμάτων. Για να μεγιστοποιηθεί ο αντίκτυπός τους, οι μελλοντικές υλοποιήσεις θα πρέπει να λάβουν υπόψη:
- Ανάλυση AI και έξυπνοι χρησμοί: Αξιοποίηση τεχνητής νοημοσύνης και αποκεντρωμένων χρησμών για την αυτοματοποίηση της επαλήθευσης των επιστημονικών αποτελεσμάτων, μειώνοντας την υποκειμενικότητα και αυξάνοντας την εμπιστοσύνη στις αναλύσεις της αγοράς.
- Υβριδικά μοντέλα που συνδυάζουν αξιολόγηση από ομοτίμους και προβλέψεις αγοράς: Τα περιοδικά και οι φορείς χρηματοδότησης θα μπορούσαν να συμπληρώσουν τις παραδοσιακές διαδικασίες αναθεώρησης με αξιολογήσεις πιθανοτήτων που βασίζονται στην αγορά.
- Αυτοματοποιημένοι Διαπραγματευτές Αγοράς (AMM) για την επιστήμη: Χρήση αλγοριθμικών τεχνικών δημιουργίας αγορών, όπως οι κανόνες λογαριθμικής βαθμολογίας αγοράς (LMSR), για τη διασφάλιση ρευστότητας και ευκολίας συμμετοχής (Hanson, 2003).
- Ενσωμάτωση με πλατφόρμες ανοιχτής επιστήμης: Η ενσωμάτωση αγορών πρόβλεψης σε υπάρχουσες πλατφόρμες έρευνας ανοιχτής πρόσβασης μπορεί να ενθαρρύνει μεγαλύτερη συμμετοχή και διαφάνεια.
- Εκπαιδευτικές πρωτοβουλίες και πρωτοβουλίες προβολής: Η εξοικείωση των ερευνητών με τους μηχανισμούς και τα οφέλη των αγορών πρόβλεψης θα είναι ζωτικής σημασίας για την υιοθέτησή τους.
Προκλήσεις & λύσεις: Η σκοτεινή πλευρά της εμπορευματοποιημένης γνώσης
Κάθε επανάσταση συνοδεύεται από χάος, κινδύνους και ακούσιες συνέπειες. Ενώ οι αγορές προβλέψεων προσφέρουν ταχύτητα, διαφάνεια και αποκεντρωμένη νοημοσύνη, ανοίγουν επίσης την πόρτα σε χειραγώγηση, ηθικά διλήμματα και ρυθμιστικές νάρκες ξηράς. Αν η επιστήμη μετατραπεί σε αγορά στοιχημάτων, τι συμβαίνει όταν παίζεται το σύστημα; Πότε τα κίνητρα μετατοπίζονται από την αναζήτηση της αλήθειας στη μεγιστοποίηση του κέρδους; Όταν οι αγορές ενισχύουν τις προκαταλήψεις αντί να τις διαλύουν;
Σύναψη
Οι αγορές προβλέψεων δεν είναι απλώς ένα νέο εργαλείο στο επιστημονικό οπλοστάσιο - είναι μια εξέγερση ενάντια στον αργό, αδιαφανή και ιεραρχικό μηχανισμό της παραδοσιακής επικύρωσης. Περισσότερο από έναν μηχανισμό πρόβλεψης, σχηματίζουν μια ζωντανή επιστημική μηχανή που αναπνέει —που ευδοκιμεί στην αποκέντρωση, τη διαφάνεια και τον συλλογικό παλμό της ευφυΐας σε πραγματικό χρόνο.
Εάν ριζώσουν, οι αγορές επιστημονικών προβλέψεων δεν θα τροποποιήσουν απλώς το υπάρχον σύστημα. θα ξαναγράψουν το DNA του. Σε έναν κόσμο όπου η παραπληροφόρηση εξαπλώνεται ταχύτερα από την ανακάλυψη και η συναίνεση είναι εύθραυστη και αμφισβητούμενη, αυτές οι αγορές προσφέρουν μια τολμηρή εναλλακτική λύση: ένα δυναμικό δίκτυο αυτοδιόρθωσης όπου η αλήθεια δεν υπαγορεύεται από την κορυφή αλλά αναδύεται οργανικά από τη συλλογική λογική. Δεν πρόκειται για αξιολόγηση από ομοτίμους 2.0—είναι κάτι πολύ πιο ριζοσπαστικό: μια ανοιχτή, εξελισσόμενη και αντιεύθραυστη αγορά ιδεών, όπου η γνώση δοκιμάζεται συνεχώς, βελτιώνεται και επαναπροσδιορίζεται.
Αναφορές
Almenberg, J., Kittlitz, K., & Pfeiffer, T. (2009). Πρόβλεψη αγορών για την επιστήμη. Journal of Economic Behavior & Organization, 80 (1), 105–117.
Arrow, KJ, Forsythe, R., Gorham, Μ., Hahn, R., Hanson, R., Ledyard, J., Levmore, S., et al. (2008). Η υπόσχεση των αγορών πρόβλεψης. Science, 320 (5878), 877–878. https://doi.org/10.1126/science.1157675
Budescu, DV, & Chen, E. (2015). Προσδιορισμός τεχνογνωσίας για τη βελτίωση των προβλέψεων πλήθους. Management Science, 61 (2), 267–280.
Buckley, C. (2014). Ο ρόλος των αγορών πρόβλεψης στην επιστήμη και την πολιτική. Journal of Forecasting, 33 (4), 287–304.
Chen, Y., Kash, I., Ruberry, M., & Shnayder, V. (2011). Αγορές αποφάσεων με καλά κίνητρα. In Proceedings of Internet and Network Economics (σελ. 72–83). Πηδών.
Dreber, A., Pfeiffer, J., Almenberg, J., & Wilson, B. (2015). Χρήση αγορών πρόβλεψης για την εκτίμηση της αναπαραγωγιμότητας της επιστημονικής έρευνας. Proceedings of the National Academy of Sciences, 112 (50), 15343–15347.
Gordon, M., Viganola, D., Dreber, A., Johannesson, M., & Pfeiffer, T. (2021). Πρόβλεψη δυνατότητας αναπαραγωγής—Ανάλυση δεδομένων αγοράς έρευνας και πρόβλεψης από έργα πρόβλεψης μεγάλης κλίμακας. PLOS ONE, 16 (4), e0248780.
Hanson, R. (1995). Θα μπορούσε ο τζόγος να σώσει την επιστήμη; Ενθάρρυνση μιας ειλικρινούς συναίνεσης. Κοινωνική Επιστημολογία, 9 (1), 3–33.
Hanson, R. (1999). Αγορές αποφάσεων. IEEE Intelligent Systems, 14 (3), 16–19.
Hanson, R. (2003). Σχεδιασμός συνδυαστικής αγοράς πληροφοριών. Πληροφοριακά Συστήματα Σύνορα, 5 (1), 107–119.
Hanson, R., O'Leary, DE, & Zitzewitz, E. (2006). Θα μπορούσε ο τζόγος να σώσει την επιστήμη; Ενθάρρυνση μιας ειλικρινούς συναίνεσης. Research Policy, 35 (4), 557–570.
Holzmeister, F., Johannesson, Μ., Camerer, CF, Chen, Υ., Ho, Τ., Hoogeveen, S., et αϊ. (2024). Εξέταση της δυνατότητας αναπαραγωγής διαδικτυακών πειραμάτων που επιλέγονται από μια αγορά αποφάσεων. Φύση Ανθρώπινη Συμπεριφορά.
Hoogeveen, S., Sarafoglou, A., & Wagenmakers, E.-J. (2020). Οι απλοί άνθρωποι μπορούν να προβλέψουν ποιες μελέτες κοινωνικών επιστημών θα αναπαραχθούν με επιτυχία. Advances in Methods and Practices in Psychological Science, 3 (3), 267–285.
Hsu, E. (2011). Πρόβλεψη αγορών για την επιστήμη. Journal of Economic Behavior & Organization, 80 (1), 105–117.
Ιωαννίδης, JPA (2005). Γιατί τα περισσότερα δημοσιευμένα ευρήματα έρευνας είναι ψευδή. PLOS Medicine, 2 (8), e124.
Litfin, T., Chen, K.-Y., & Price, E. (2014). Βάζοντας σε λειτουργία την πρόβλεψη του πλήθους: Το έργο SciCast. Decision Analysis, 11 (4), 193–210.
Marcoci, Α., et αϊ. (2023). Πρόβλεψη της δυνατότητας αναπαραγωγής των ισχυρισμών κοινωνικής και συμπεριφορικής επιστήμης από το Covid-19 Preprint Replication Project με δομημένες ομάδες ειδικών και αρχαρίων. Προεκτύπωση MetaArXiv.
Munafo, MR, Pfeiffer, Τ., Altmejd, Α., Heikensten, Ε., Almenberg, J., Bird, Α., et αϊ. (2015). Χρήση αγορών πρόβλεψης για την πρόβλεψη ερευνητικών αξιολογήσεων. Royal Society Open Science, 2 (10), 150287. https://doi.org/10.1098/rsos.150287
Pfeiffer, T., & Almenberg, J. (2015). Πρόβλεψη αγορών για την επιστήμη: Είναι δικαιολογημένη η διαφημιστική εκστρατεία; Nature, 526 (7575), 179–182.
Potthoff, M. (2007). Οι δυνατότητες των αγορών πρόβλεψης στην επιστήμη. Futures, 39 (1), 45–53.
Spears, T., & Metaculus Team. (2020). Συλλογική νοημοσύνη στην πρόβλεψη: Η πλατφόρμα Metaculus. Journal of Forecasting, 39 (4), 589–602.
Surowiecki, J. (2004). Η σοφία του πλήθους. Anchor Books.
Tetlock, PE, & Gardner, D. (2015). Superforecasting: Η τέχνη και η επιστήμη της πρόβλεψης. Στέμμα.
Thicke, M. (2017). Τα όρια των αγορών πρόβλεψης για επιστημονική συναίνεση. Studies in History and Philosophy of Science, 58 (1), 50–58.
Τζιραλής, Γ., & Τατσιόπουλος, Ι. (2012). Πρόβλεψη αγορών: Μια εκτεταμένη βιβλιογραφική ανασκόπηση. Journal of Prediction Markets, 1 (1), 75–91.
Van Noorden, R. (2014). Παγκόσμια χρηματοδότηση έρευνας: Τι περικόπτεται; Nature, 505 (7485), 618–619.
Vaughan-Williams, D. (2019). Πρόβλεψη αγορών και συγκέντρωση πληροφοριών στην επιστήμη. Journal of Economic Perspectives, 33 (4), 75–98.
Wolfers, J., & Zitzewitz, E. (2004). Προγνωστικές αγορές. Journal of Economic Perspectives, 18 (2), 107–126.
Wang, W., & Pfeiffer, T. (2022). Αγορές αποφάσεων που βασίζονται σε τίτλους. In Proceedings of Distributed Artificial Intelligence, 13170 , 79–92. Πηδών.