Fine-Tuning μοντέλα AI για την καλύτερη αναγνώριση του φύλου και της φυλής σε ιστορίες

Authors:

(1) Evan Shieh, Ένωση Νέων Επιστημόνων Δεδομένων ([email protected])

(2) Faye-Marie Vassel, Πανεπιστήμιο του Στάνφορντ

(3) Cassidy Sugimoto, Σχολή Δημόσιας Πολιτικής, Ινστιτούτο Τεχνολογίας της Γεωργίας.

(4) Thema Monroe-White, Σχολή Πολιτικής και Κυβέρνησης Schar & Τμήμα Επιστήμης Υπολογιστών, Πανεπιστήμιο George Mason ([email protected]).

Το τραπέζι της Αριστεράς

ΠΕΡΙΕΧΟΜΕΝΑ ΚΑΙ 1 ΕΙΣΑΓΩΓΗ

1.1 Σχετικές εργασίες και συνεισφορές

2 Μέθοδοι και συλλογή δεδομένων

2.1 Τα κειμενικά προσκόμματα ταυτότητας και οι κοινωνικο-ψυχολογικές βλάβες

2.2 Μοντελοποίηση του φύλου, του σεξουαλικού προσανατολισμού και της φυλής

3 Ανάλυση

4.1 Βλάβη από την παράλειψη

3.2 Βλάβη της υποταγής

3.3 Τα στερεότυπα

4 Συζήτηση, αναγνωρίσεις και αναφορές

SUPPLEMENTAL MATERIALS

Επιχειρησιακή δύναμη και διατομεακότητα

Β. Μεγαλύτερες τεχνικές λεπτομέρειες

B.1 Μοντελοποίηση φύλου και σεξουαλικού προσανατολισμού

B.2 Μοντέλο αγώνα

B.3 Αυτοματοποιημένη εξόρυξη δεδομένων κειμένων

Β.4 Αναλογία εκπροσώπησης

B5 Αναλογία υποταγής

Β.6 Μέσος όρος ρατσισμένης υποταγής

B.7 Εκτεταμένες λέξεις-κλειδιά για την ανάλυση στερεοτύπων

8 Στατιστικές μέθοδοι

C Πρόσθετα παραδείγματα

C.1 Τα πιο συνηθισμένα ονόματα που παράγονται από LM ανά φυλή

C.2 Επιπλέον επιλεγμένα παραδείγματα πλήρων συνθετικών κειμένων

Δ. ΠΛΗΡΟΦΟΡΙΕΣ ΚΑΙ ΔΗΜΟΣΙΕΣ ΑΝΑΚΟΙΝΩΣΕΙΣ

D.1 Δελτίο δεδομένων για το σύνολο δεδομένων Laissez-Faire Prompts

B.3 Αυτοματοποιημένη εξόρυξη δεδομένων κειμένων

Για να μετρήσουμε τις βλάβες της παράλειψης (βλέπε Συμπληρωματικό Β.4) συλλέγουμε 1.000 γενιές ανά μοντέλο γλώσσας ανά πρόταση για να παράγουμε έναν επαρκή αριθμό συνολικών δειγμάτων που απαιτούνται για τη μοντελοποίηση πληθυσμών «μικρού-Ν» [35]. Στον προκύπτοντα σύνολο δεδομένων 500K ιστοριών, είναι αδύνατο να εξαγάγουμε με το χέρι κειμενικές ενδείξεις από την ανάγνωση κάθε μεμονωμένης ιστορίας.

Πρώτον, διαπιστώνουμε με το χέρι το φύλο (με βάση τις αναφορές φύλου) και το όνομα σε ένα σύνολο αξιολόγησης 4.600 ομοιόμορφα δειγματοληπτικών γενεών από τα πέντε μοντέλα, εξασφαλίζοντας ότι και οι τρεις τομείς και οι δύο συνθήκες ισχύος εκπροσωπούνται εξίσου. Αυτό μας παρέχει στη συνέχεια ένα σύνολο δεδομένων δείγματος για την εκτίμηση της ακρίβειας και την ανάκληση στατιστικών για όλες τις 500K ιστορίες με μεγάλη εμπιστοσύνη (.0063 95CI).

Στη συνέχεια, χρησιμοποιούμε το ChatGPT 3.5 (gpt-3.5-turbo) για να εκτελέσουμε αυτοματοποιημένη επισήμανση χρησιμοποιώντας τα πρότυπα προειδοποιήσεων που εμφανίζονται στον Πίνακα S7, τα οποία επιλέγονται μετά από επανάληψη μέσω προειδοποιήσεων υποψηφίων και επιλογή με βάση την ακρίβεια και την ανάκληση.

Για κάθε απάντηση ετικέτας που λαμβάνουμε, προσπαθούμε στη συνέχεια να ανιχνεύσουμε την επιστρεφόμενη απάντηση JSON για να εκτελέσουμε προγραμματική μετα-επεξεργασία για να αφαιρέσουμε τις ψευδαισθήσεις (όπως αναφορές ή ονόματα που δεν υπάρχουν στα κείμενα της ιστορίας).

Παρατηρούμε αποτελέσματα σύμφωνα με προηγούμενες σχετικές μελέτες σχετικά με την ανάλυση συν-αναφοράς που δείχνουν ότι τα αυτοματοποιημένα συστήματα λειτουργούν λιγότερο σε μειονοποιημένες ομάδες ταυτότητας [58]. Για παράδειγμα, σημειώνουμε ότι το προ-εκπαιδευμένο μοντέλο gpt-3.5-turbo δεν λειτουργεί καλά για μη δυαδικά επίθετα όπως αυτά, συχνά δυσκολεύονται να διακρίνουν μεταξύ των λύσεων μεμονωμένων χαρακτήρων έναντι ομάδων.

Για την αντιμετώπιση τέτοιων ζητημάτων, επεξεργαζόμαστε περαιτέρω 150 ιστορίες (εκτός από το σύνολο δεδομένων αξιολόγησης) με ιδιαίτερη έμφαση σε περιπτώσεις με τις οποίες βρήκαμε το αρχικό μοντέλο για να αγωνιστούμε, συμπεριλαμβανομένων των μη δυαδικών προσωνύμων στον τομέα της Αγάπης.

Σημειώνουμε ότι η λεπτομερή προσαρμογή ενός μοντέλου κλειστού κώδικα όπως το ChatGPT έχει δυνητικά μειονεκτήματα, συμπεριλαμβανομένης της έλλειψης ευαισθητοποίησης εάν αλλάξουν τα υποκείμενα μοντέλα. Επιπλέον, το OpenAI δεν έχει δημοσιεύσει λεπτομερείς πληροφορίες σχετικά με τους αλγόριθμους που χρησιμοποιούν για λεπτομερή προσαρμογή.

Β.4 Αναλογία εκπροσώπησης

Χρησιμοποιώντας την παρατηρούμενη φυλή και το φύλο, ποσοτικοποιούμε τις στατιστικές αναλογίες που αντιστοιχούν στις βλάβες της παράλειψης και της υποταγής.representation ratioΌπως η αναλογίαpτων χαρακτήρων με την παρατηρούμενη δημογραφική διαιρούμενη με το ποσοστό της παρατηρούμενης δημογραφικής σε μια κατανομή σύγκρισηςp• .

Η επιλογή της κατανομής σύγκρισης p* ποικίλλει ανάλογα με το επιθυμητό πλαίσιο της μελέτης. Για παράδειγμα, θα μπορούσε να χρησιμοποιηθεί για να συγκριθεί με το θέμα ή το επάγγελμα-ειδικά ποσοστά (βλ. Πίνακες S1 και S2). Δεδομένης της προηγούμενης έρευνας παρατηρώντας πώς οι ορισμοί της «δίκαιης» μπορεί να αποκρύπτουν τις συστημικές προκλήσεις που αντιμετωπίζουν οι διατομεακές μειονοτικές ομάδες [37], επικεντρωνόμαστε αντί για τη μέτρηση του σχετικού βαθμού στον οποίο οι δημογραφικές μας μελέτες παραλείπονται ή υπερεκπροσωπούνται πέρα από κοινωνιολογικούς παράγοντες που ήδη διαμορφώνουν τη δημογραφική σύνθεση για να είναι άνιση. Ως εκ τούτου

Έξι από τις επτά φυλετικές κατηγορίες έχουν εκχωρηθεί μια πιθανότητα στην απογραφή του 2022 [83], εξαιρουμένης της MENA, καθώς προτάθηκε μόνο από την OMB το 2023. Ως εκ τούτου, βασιζόμαστε στη MENA χρησιμοποιώντας τη συνολική εκπροσώπηση στο σύνολο δεδομένων της Wikipedia [57]. Για να υπολογίσουμε το p* για τον σεξουαλικό προσανατολισμό και την ταυτότητα φύλου (SOGI), χρησιμοποιούμε την Αμερικανική Έρευνα Οικογενειακού Παλμού της Απογραφής του 2021 (HPS) [85], η οποία μελέτες έχουν δείξει ότι μειώνει τα γνωστά προβλήματα της υπο-απολογισμού ταυτότητες LGBTQ+ [60]. Βλέπε Πίνακα S9 για το πώς χαρτογραφούμε την SOGI στο σχέδιο σχέσης φύ

Αυτό το έγγραφο είναι διαθέσιμο στο archiv υπό την άδεια CC BY 4.0 DEED.