Nueva Historia

Cómo la IA asigna poder basado en la raza y el género

Demasiado Largo; Para Leer

Los modelos de idiomas no solo omiten —los subordinan. Cuando las promesas incluyen dinámicas de poder, los personajes minoritarios se mueven sobre todo en roles más débiles. Los personajes feminizados dominan como “estudiantes estrellas” en el aprendizaje, pero se vuelven impotentes en el Trabajo. Cuanto más racializado es el nombre, mayor es la probabilidad de subordinación. Por ejemplo, los personajes masculinizados latinos son más de 1.300 veces más propensos a ser retratados como estudiantes luchadores. Los nombres blancos dominan los roles neutros y poderosos —Sarah y John aparecen miles de veces como líderes— mientras que los nombres como Maria, Ahmed y Jamal aparecen desproporcionadamente como subordinados. Esta jerarquía, respaldada por relaciones de subordinación estad
featured image - Cómo la IA asigna poder basado en la raza y el género
Algorithmic Bias (dot tech) HackerNoon profile picture
0-item
y

Los autores:

y

(1) Evan Shieh, Young Data Scientists League ([email protected]);

y

(2) Faye-Marie Vassel, Universidad de Stanford;

y

(3) Cassidy Sugimoto, Escuela de Política Pública, Instituto de Tecnología de Georgia;

y

(4) Thema Monroe-White, Escuela Schar de Política y Gobierno y Departamento de Ciencias de la Computación, Universidad George Mason ([email protected]).

y

Authors:

(1) Evan Shieh, Young Data Scientists League ([email protected]);

(2) Faye-Marie Vassel, Universidad de Stanford;

(3) Cassidy Sugimoto, Escuela de Política Pública, Instituto de Tecnología de Georgia;

(4) Thema Monroe-White, Escuela Schar de Política y Gobierno y Departamento de Ciencias de la Computación, Universidad George Mason ([email protected]).

Mesa de la izquierda

Abstracto y 1 Introducción

1.1 Trabajo y contribuciones relacionadas

2 Métodos y recopilación de datos

2.1 Proxies de identidad textual y daños socio-psicológicos

2.2 Modelado de género, orientación sexual y raza

3 Análisis

3.1 Los daños de la omisión

3.2 Daños de la subordinación

3.3 Los efectos de los estereotipos

4 Discusión, reconocimientos y referencias


SUPPLEMENTAL MATERIALS

El poder operativo y la interseccionalidad

B. Detalles técnicos ampliados

B.1 Modelado de género y orientación sexual

B.2 Modelización de carreras

B.3 Minería automática de datos de cues textuales

B.4 Ratio de representación

B.5 Ratio de subordinación

B.6 Ratio de subordinación racializada mediana

B.7 Cues extendidos para el análisis de estereotipos

B.8 Métodos estadísticos

C. Ejemplos adicionales

C.1 Nombres más comunes generados por LM por raza

C.2 Ejemplos adicionales seleccionados de textos sintéticos completos

D. Datos y divulgaciones de uso público

D.1 Ficha de datos para el conjunto de datos Laissez-Faire Prompts

3.2 Daños de la subordinación

La representación de grupos minoritarios aumenta drásticamente cuando se añade la dinámica del poder a las promesas, específicamente con la introducción de un personaje subordinado (Tabla 1). En general, encontramos que la raza y los personajes minoritarios de género aparecen predominantemente en retratos donde están buscando ayuda o sin poder. Cuantificamos su frecuencia relativa utilizando la relación de subordinación (ver ecuación 4), que definimos como la proporción de una demografía observada en el papel subordinado en comparación con el papel dominante.


Figure 2. Overall Subordination Ratios by Gender and Race. 2a shows subordination ratios across all domains and models, increasing from left to right. Ratios for each model are indicated by different symbols plotted on a log scale, with a bar showing the median across all five models. Redder colors represent greater degrees of statistical confidence (p-values for the ratio distribution), compared against the null hypothesis (subordination ratio = 1, dotted). 2b shows the median subordination values across all five models by gender, race, and domain. Values above 1 indicate greater degrees of subordination and values below 1 indicate greater degrees of domination.


Si la relación de subordinación es menor que 1, observamos la dominación; si la relación de subordinación es mayor que 1, observamos la subordinación; y si la relación de subordinación es 1, entonces la demografía es neutral (independiente de la dinámica de poder).



En general, los personajes feminizados son generalmente dominantes en el dominio de Aprendizaje (es decir, subordinación < 1, lo que significa que son más propensos a ser retratados como un “estudiante estrella”). Sin embargo, ocupan posiciones ampliamente subordinadas en el dominio de Trabajo (es decir, subordinación > 1 – véase la Figura 2a,b). Los personajes feminizados blancos son uniformemente dominantes en las historias en todos los cinco modelos de Aprendizaje (subordinación media: 0,25), mientras que los personajes masculinizados blancos son uniformemente dominantes en el Trabajo (subordinación media: 0,69). Para el Amor, la mayoría de los modelos con excepción de PaLM2 y ChatGPT4 retratan a los personajes feminizados blancos como dominantes (subordinación


El mismo acceso universal al poder no se otorga cuando se consideran otras combinaciones de raza y género. Las intersecciones no binarias en todas las razas tienden a aparecer como más subordinadas (aunque estos resultados no son significativos para la mayoría de las poblaciones, debido a la omisión como se muestra en la Figura 1d). Como se muestra en la Figura 3, un resultado aún más sorprendente aparece cuando examinamos nombres que son cada vez más susceptibles de estar asociados con una raza (medidos utilizando el conteo fraccionado - véase la Ecuación 1). Con pocas excepciones (por ejemplo, PaLM2 tiende a repetir un único nombre negro de alta probabilidad, “Amari”, como estudiante estrella en el aprendizaje), los modelos responden a mayores grados de racialización con mayores grados de subordinación para todas las razas


Para cuantificar cómo la proporción de subordinación varía a través de nombres de grados crecientes de racialización, introducimos la proporción de subordinación racializada mediana para cuantificar la subordinación a través de un rango de posibles umbrales raciales. Primero, controlamos los posibles efectos confusores de las pistas textuales fuera del nombre condicionando las referencias de género (pronomes, títulos, etc.). Luego, para cada intersección de raza y género calculamos la media de todas las proporciones de subordinación para nombres por encima de un umbral de probabilidad variable t tal como se define en la ecuación (5). Con t suficientemente granular, esta estadística mide la subordinación teniendo en cuenta el espectro de probabilidades raciales. Para nuestros experimentos, establecemos t ∈ [



La Figura 3c muestra las relaciones de subordinación medianas interseccionales racializadas por raza y género. Encontramos las relaciones de subordinación medianas grandes para cada intersección binaria de género de caracteres asiáticos, negros, latinos y MENA en casi todos los modelos y dominios (recordemos que para los caracteres no binarios, los LM no producen un número significativo de nombres racializados de alta probabilidad para cualquier raza excepto blanca, por lo que nuestro enfoque en los géneros binarios para este análisis). En el 86.67% de todos los casos (es decir, 104 de las células de la tabla de 120) las razas minorizadas son subordinadas en comparación con el 3% de todos los casos para los nombres blancos (es decir, 1 de las células de 30). La magnitud de


Figure 3. Subordination Ratios by Name and Racial Likelihoods. 3a shows subordination ratios, increasing from left to right per plot, of unique first names across all LMs, by race for which likelihoods vary (the models do not generate high likelihood NH/PI or AI/AN names as shown in 1c). When a name has 0 occurrences in either dominant or subordinated roles, we impute using Laplace smoothing. 3b plots overall subordination across all models above a racial likelihood threshold ranging from 0 to 100. 3c. shows the median subordination ratio taken across all integer thresholds from 0 to 100, controlling for the effects of gender and categorized by domain, model, race, and gender (for non-binary characters, the models do not generate high likelihood racial names as shown in 1d).


Table 3: Most Common Highly Racialized Names by Race and Gender, Domain and Power Condition


Para ilustrar aún más esta subordinación por ejemplo, en la Tabla 3 proporcionamos cuentas para los nombres más comunes altamente racializados en los LM por raza, género, dominio y condición de poder (la línea de base es neutra; dominante y subordinado son cargados de poder). Los nombres asiáticos, negros, latinos y MENA son varios órdenes de magnitud más propensos a ser subordinados cuando se introduce una dinámica de poder. Por el contrario, los nombres blancos son varios órdenes de magnitud más propensos a aparecer que los nombres minoritizados en la línea de base y posiciones dominantes. En el dominio de aprendizaje, Sarah (74,9% blanco) y John (88.0% blanco) aparecen 11,699 y 5,915 veces, respectivamente, en la condición de base; y 10,


Alternativamente, esto es comúnmente patinizado cuando se trata de los roles subordinados, esta dinámica es revertida. María aparece subordinada 13,580 veces en comparación con 5,939 para Sarah y 3,005 para John (una diferencia relativa de 229% y 452% respectivamente) en el aprendizaje. Mientras que María es significativamente más probable que se retrate como un estudiante luchador que un estudiante estrella, lo contrario es cierto para Sarah y John. Este patrón revertido de subordinación se extiende a los nombres masculinizados latinos, negros, MENA y asiáticos. Por ejemplo, en el dominio de aprendizaje, Juan (86,9% latino masculino) y Jamal (73,4% negro) son 184,41 y 5,28 veces más propensos a tener un papel subordinado que un dominante. Los nombres masculiniz


y

Este artículo está disponible en archivo bajo la licencia CC BY 4.0 DEED.

y

Este artículo está disponible en archivo bajo la licencia CC BY 4.0 DEED.

Disponible en Archivo


Trending Topics

blockchaincryptocurrencyhackernoon-top-storyprogrammingsoftware-developmenttechnologystartuphackernoon-booksBitcoinbooks