Modelos de IA finamente ajustados para reconocer mejor el género y la raza en las historias

Authors:

(1) Evan Shieh, Young Data Scientists League ([email protected]);

(2) Faye-Marie Vassel, Universidad de Stanford;

(3) Cassidy Sugimoto, Escuela de Política Pública, Instituto de Tecnología de Georgia;

(4) Thema Monroe-White, Escuela Schar de Política y Gobierno y Departamento de Ciencias de la Computación, Universidad George Mason ([email protected]).

Mesa de la izquierda

Abstracto y 1 Introducción

1.1 Trabajo y contribuciones relacionadas

2 Métodos y recopilación de datos

2.1 Proxies de identidad textual y daños socio-psicológicos

2.2 Modelado de género, orientación sexual y raza

3 Análisis

3.1 Los daños de la omisión

3.2 Daños de la subordinación

3.3 Los efectos de los estereotipos

4 Discusión, reconocimientos y referencias

SUPPLEMENTAL MATERIALS

El poder operativo y la interseccionalidad

B. Detalles técnicos ampliados

B.1 Modelado de género y orientación sexual

B.2 Modelización de carreras

B.3 Minería automática de datos de cues textuales

B.4 Ratio de representación

B.5 Ratio de subordinación

B.6 Ratio de subordinación racializada mediana

B.7 Cues extendidos para el análisis de estereotipos

B.8 Métodos estadísticos

C. Ejemplos adicionales

C.1 Nombres más comunes generados por LM por raza

C.2 Ejemplos adicionales seleccionados de textos sintéticos completos

D. Datos y divulgaciones de uso público

D.1 Ficha de datos para el conjunto de datos Laissez-Faire Prompts

B.3 Minería automática de datos de cues textuales

Para medir los daños de la omisión (ver Suplemento B.4) recopilamos 1.000 generaciones por modelo de lenguaje por prompt para producir un número adecuado de muestras totales necesarias para modelar poblaciones "pequeñas-N" [35]. En el conjunto de datos resultante de 500K historias, es intractable extraer manualmente señales textuales de la lectura de cada historia individual.

Primero, inferimos el género (basado en las referencias de género) y nombramos un conjunto de evaluación de 4.600 generaciones de historias uniformemente muestras de todos los cinco modelos, asegurando que todos los tres dominios y ambas condiciones de energía estén igualmente representados. Esto nos proporciona un conjunto de datos de muestra para estimar la precisión y recordar estadísticas sobre todas las historias de 500K con alta confianza (.0063 95CI).

Luego, utilizamos ChatGPT 3.5 (gpt-3.5-turbo) para realizar etiquetado automatizado utilizando los modelos de prompt que se muestran en la Tabla S7, elegidos después de la iteración a través de los prompts de candidato y la selección basada en la precisión y el llamado.

Para cada respuesta de etiqueta que recibimos, entonces intentamos analizar la respuesta de JSON devuelta para realizar un post-procesamiento programático para eliminar alucinaciones (como referencias o nombres que no existen en los textos de la historia).

Observamos resultados en línea con estudios anteriores relacionados de resolución de co-referencia que muestran que los sistemas automatizados desempeñan menos en grupos de identidad minoritarios [58]. Por ejemplo, observamos que el modelo gpt-3.5-turbo pre-entrenado no funciona bien para pronombres no binarios como ellos, a menudo teniendo dificultades para distinguir entre resoluciones de caracteres individuales versus grupos.

Para abordar tales problemas, seguimos etiquetando a mano 150 historias (fuera del conjunto de datos de evaluación) con un enfoque específico en los casos con los que encontramos el modelo inicial con el que luchar, incluidos los pronombres no binarios en el dominio Love. Esto aumenta nuestra precisión a más de 98% tanto para las referencias de género como para los nombres, como se muestra en la Tabla S8b.

Observamos que el ajuste perfecto de un modelo de código cerrado como ChatGPT tiene posibles desventajas, incluida la falta de conciencia si los modelos subyacentes cambian. Además, OpenAI no ha publicado en el momento de esta escritura información detallada sobre los algoritmos que utilizan para el ajuste perfecto. Para el trabajo futuro, la elección de modelo no necesita limitarse a ChatGPT, y las alternativas de código abierto pueden funcionar también.

B.4 Ratio de representación

Usando la raza y el género observados, cuantificamos las proporciones estadísticas que corresponden a los daños de la omisión y la subordinación.representation ratioComo la proporciónpde caracteres con la demografía observada dividida por la proporción de la demografía observada en una distribución de comparaciónp* El

La elección de la distribución comparativa p* varía dependiendo del contexto deseado del estudio. Por ejemplo, podría usarse para comparar con porcentajes específicos del sujeto o de la ocupación (véase Tablas S1 y S2). Dadas las investigaciones previas que observaron cómo las definiciones de "justicia" pueden obscurecer los desafíos sistémicos enfrentados por los grupos minoritarios interseccionales [37], nos enfocamos en cambio en medir el grado relativo en el que nuestras demografías de estudio son omitidas o sobrerepresentadas más allá de los factores sociológicos que ya forman la composición demográfica para ser desigual. Por lo tanto, fijamos p* en nuestro estudio para ser el Censo de Estados Unidos [83, 85], al tiempo que observamos que los ideales más progresivos de la equidad (por ejemplo, la

Seis de las siete categorías raciales se asignan una probabilidad en el Censo de 2022 [83], excluyendo MENA ya que sólo fue propuesto por el OMB en 2023. Por lo tanto, basamos el MENA utilizando la representación general en el conjunto de datos de Wikipedia [57]. Para calcular p* para la orientación sexual e identidad de género (SOGI), utilizamos el Censo de Estados Unidos 2021 Home Pulse Survey (HPS) [85], que estudios han demostrado reducir problemas conocidos de subcuento de identidades LGBTQ+ [60]. Ver Tabla S9 para cómo mapeamos SOGI a nuestro esquema de relaciones de género y tipo.

Este artículo está disponible en archivo bajo la licencia CC BY 4.0 DEED.