Models d'IA de ajustament fin per reconèixer millor el gènere i la raça en les històries

Authors:

(1) Evan Shieh, Young Data Scientists League ([email protected])

(2) Faye-Marie Vassel, Universitat de Stanford;

(3) Cassidy Sugimoto, Escola de Política Pública, Institut de Tecnologia de Geòrgia;

(4) Thema Monroe-White, Escola Schar de Política i Govern i Departament d'Informàtica, Universitat George Mason ([email protected]).

Taula de l'esquerra

Abstract i 1 Introducció

1.1 Treballs i contribucions relacionats

2 Mètodes i recopilació de dades

2.1 Proxies de la identitat textual i danys sociopsicològics

2.2 Modelatge de gènere, orientació sexual i raça

3 Anàlisi

3.1 Danys de la omissió

3.2 Danys de la subordinació

3.3 Efectes de l'estereotip

4 Discussió, reconeixements i referències

SUPPLEMENTAL MATERIALS

Potència operativa i interseccionalitat

B. Detalls tècnics ampliats

B.1 Modelatge de gènere i orientació sexual

B.2 Cursa de modelatge

B.3 Mineria automatitzada de dades de text

B.4 Ratio de representació

B5 Ratio de subordinació

B.6 Ratio de subordinació racialitzada mitjana

B.7 Cues esteses per a l'anàlisi d'estereotips

8 Mètodes estadístics

C. Exemples addicionals

C.1 Els noms més comuns generats per LM per raça

C.2 Exemples addicionals de textos sintètics complets

D. Dades i divulgacions d'ús públic

D.1 Fitxa de dades per al conjunt de dades Laissez-Faire Prompts

B.3 Mineria automatitzada de dades de text

Per mesurar els danys de la omissió (veure Suplement B.4) recollim 1.000 generacions per model de llenguatge per prompt per produir un nombre adequat de mostres totals necessàries per modelar poblacions de "petits-N" [35]. En el conjunt de dades resultant de 500K històries, és intractable extreure manualment consells textuals de la lectura de cada història individual.

En primer lloc, es va inferir el gènere a mà (basat en referències de gènere) i es va nomenar un conjunt d'avaluació de 4.600 generacions d'històries uniformement mostrades de tots els cinc models, assegurant que tots tres dominis i ambdues condicions de potència estiguessin igualment representats.

A continuació, utilitzem ChatGPT 3.5 (gpt-3.5-turbo) per realitzar l'etiquetatge automatitzat utilitzant els plantilles de prompt mostrats a la Taula S7, seleccionats després d'iterar a través de les promptes candidates i seleccionant en funció de la precisió i el recull.

Per a cada resposta d'etiqueta que rebem, intentem analitzar la resposta de JSON retornada per dur a terme un post-processament programàtic per eliminar al·lucinacions (com ara referències o noms que no existeixen en els textos de la història).

Observem resultats en línia amb estudis relacionats anteriors de resolució de co-referència que mostren que els sistemes automatitzats tenen un rendiment inferior en els grups d'identitat minoritzats [58]. Per exemple, observem que el model de gpt-3.5-turbo pre-entrenat no funciona bé per a pronoms no binaris com ells, sovint tenint dificultats per distingir entre resolucions de caràcters individuals versus grups.

Per abordar aquests problemes, seguim etiquetant a mà 150 històries (fora del conjunt de dades d'avaluació) amb un enfocament específic en els casos amb els quals vam trobar el model inicial amb què lluitar, incloent els pronoms no binaris en el domini de l'Amor. Això augmenta la nostra precisió fins a més del 98% per a les referències de gènere i noms, com es mostra a la Taula S8b.

Observem que l'ajustament finit d'un model de codi tancat com ChatGPT té desavantatges potencials, incloent la falta de consciència si canvien els models subjacent. A més, OpenAI no ha publicat en el moment d'aquesta escriptura informació detallada sobre els algoritmes que utilitzen per a l'ajustament finit. Per al treball futur, l'elecció del model no s'ha de limitar a ChatGPT, i les alternatives de codi obert poden funcionar igualment.

B.4 Ratio de representació

Utilitzant la raça i el gènere observats, quantifiquem les proporcions estadístiques corresponents als danys de la omissió i la subordinació.representation ratioCom la proporciópde caràcters amb la demografia observada dividida per la proporció de la demografia observada en una distribució de comparacióp* El

L'elecció de la distribució comparativa p* varia depenent del context desitjat de l'estudi. Per exemple, es podria utilitzar per comparar amb percentatges específics de subjecte o ocupació (vegeu taules S1 i S2). Donada la investigació prèvia que observa com les definicions de "justícia" poden obscurar els reptes sistèmics que enfronten els grups minoritaris interseccionals [37], ens centrem en comptes de mesurar el grau relatiu en què les nostres demografies d'estudi són omeses o sobre-representades més enllà dels factors sociològics que ja formen la composició demogràfica com a desigual. Per tant, fixem p* en el nostre estudi com el Cens dels Estats Units [83, 85], tot i que assenyalem que els ideals més progressistes d'

Sis de les set categories racials s'assignen una probabilitat en el Cens de 2022 [83], excloent MENA com només va ser proposat per l'OMB el 2023. Per tant, basem MENA utilitzant la representació global en el conjunt de dades de Wikipedia [57]. Per calcular p* per a l'orientació sexual i la identitat de gènere (SOGI), utilitzem l'enquesta del Cens de 2021 dels Estats Units sobre el Puls Domèstic (HPS) [85], que els estudis han demostrat reduir els problemes coneguts de subcontar les identitats LGBTQ + [60]. Vegeu la Taula S9 per veure com mapem SOGI al nostre esquema de relació de gènere i tipus.

Aquest document està disponible en arxiu sota la llicència CC BY 4.0 DEED.