Hoe AI macht toewijst op basis van ras en geslacht

Authors:

(1) Evan Shieh, Young Data Scientists League ([email protected]);

Faye-Marie Vassel, Universiteit van Stanford

(3) Cassidy Sugimoto, School of Public Policy, Georgia Institute of Technology;

(4) Thema Monroe-White, Schar School of Policy and Government & Department of Computer Science, George Mason University ([email protected]).

Tafel links

Abstract en 1 inleiding

1.1 Gerelateerde werkzaamheden en bijdragen

2 Methoden en gegevensverzameling

2.1 Textuele identiteitsproxies en sociaal-psychologische schade

2.2 Model van geslacht, seksuele geaardheid en ras

3 Analyse

3.1 Schade van verzuim

3.2 Schade van ondergeschiktheid

3.3 Schade aan stereotypen

4 Discussies, erkenningen en referenties

SUPPLEMENTAL MATERIALS

Een operationaliserende macht en intersectionaliteit

B Uitgebreide technische details

B.1 Model van geslacht en seksuele geaardheid

B.2 Modelleer Race

B.3 Geautomatiseerde data mining van textuele cues

B.4 Vertegenwoordiging Ratio

B5 Subordinatieverhouding

B.6 Mediane racialiseerde ondergeschiktheidsratio

B.7 Extended Cues voor stereotype analyse

B.8 Statistische methoden

C Aanvullende voorbeelden

C.1 Meest voorkomende namen gegenereerd door LM per ras

C.2 Extra geselecteerde voorbeelden van volledige synthetische teksten

D DATASHEET en openbare openbaarmaking

D.1 Datasheet voor Laissez-Faire Prompts Dataset

3.2 Schade van ondergeschiktheid

De vertegenwoordiging van minderheidsgroepen neemt drastisch toe wanneer krachtdynamiek wordt toegevoegd aan de aanwijzingen, specifiek met de introductie van een ondergeschikt karakter (tabel 1). In het algemeen vinden we dat rassen en gender-minoritiseerde personages overwegend verschijnen in afbeeldingen waar ze hulp zoeken of machteloos zijn. We kwantificeren hun relatieve frequentie met behulp van de ondergeschiktheidsverhouding (zie vergelijking 4), die we definiëren als het aandeel van een demografische waargenomen in de ondergeschikte rol ten opzichte van de dominante rol.

Als de ondergeschiktheidsverhouding kleiner is dan 1, waarnemen we dominantie; als de ondergeschiktheidsverhouding groter is dan 1, waarnemen we ondergeschiktheid; en als de ondergeschiktheidsverhouding 1 is, dan is de demografische neutral (onafhankelijk van krachtdynamiek).

Over het algemeen zijn feminiseerde personages over het algemeen dominant in het Learning-domein (d.w.z. ondergeschiktheid < 1, wat betekent dat ze waarschijnlijker worden afgebeeld als een “sterstudent”). Maar ze bezitten op grote schaal subordinate posities in het Labor-domein (d.w.z. ondergeschiktheid > 1 – zie figuur 2a,b). Witte feminiseerde personages zijn uniform dominant in verhalen over alle vijf modellen in Learning (mediane ondergeschiktheid: 0,25), terwijl witte masculineerde personages uniform dominant zijn in Labor (mediane ondergeschiktheid: 0,69). Voor Love, de meeste modellen met uitzondering van PaLM2 en ChatGPT4 vertegenwoordigen witte feminiseerde personages als dominant (mediane ondergeschiktheid:

Dezelfde universele toegang tot macht wordt niet verleend bij het overwegen van andere combinaties van ras en geslacht. Niet-binaire kruispunten in alle rassen lijken meestal als meer ondergeschikt (hoewel deze resultaten niet significant zijn voor de meeste populaties, als gevolg van omissies zoals weergegeven in figuur 1d). Zoals weergegeven in figuur 3, verschijnt een nog opvallender resultaat wanneer we namen onderzoeken die steeds meer waarschijnlijk met één ras worden geassocieerd (gemeten met behulp van gefractioneel tellen – zie vergelijking 1). Met een paar uitzonderingen (bijvoorbeeld, PaLM2 heeft de neiging om een enkele hoge kans zwarte naam, "Amari", als een sterstudent in Learning, te herhalen), reageren de modellen op grotere graden van racialisatie

Om te kwantificeren hoe de ondergeschiktheidsverhouding varieert over namen van toenemende graden van racialisatie, introduceren we de mediane racialiseerde ondergeschiktheidsverhouding om ondergeschiktheid over een reeks mogelijke raciale drempels te kwantificeren. Ten eerste controleren we voor mogelijke verwarrende effecten van tekstgids buiten naam door te conditioneren op genderreferenties (pronomen, titels, enz.). Vervolgens berekenen we voor elke kruising van ras en geslacht de mediane van alle ondergeschiktheidsverhouding voor namen boven een variabele waarschijnlijkheidsdrempel t zoals gedefinieerd in vergelijking (5). Met voldoende granulair t meet deze statistiek ondergeschiktheid terwijl rekening wordt gehouden met het spectrum van raciale waarschijnlijkheden

Figuur 3c toont intersectional mediane racialized subordination ratio's per ras en geslacht. We vinden grote mediane subordination ratio's voor elke binaire gender intersection van Aziatische, Zwarte, Latijnse en MENA tekens over bijna alle modellen en domeinen (herinneren dat voor niet-binaire tekens, LM's produceren geen significant aantal zeer waarschijnlijk racialized namen voor elke ras behalve Wit, dus onze focus op binaire geslachten voor deze analyse). In 86,67% van alle gevallen (dwz 104 van de 120 tabel cellen) minoritized rassen zijn ondergeschikt in vergelijking met 3% van alle gevallen voor witte namen (dwz 1 van 30 cellen). De grootte van subordination ratio's we observeren is verbazingwekk

Om deze ondergeschiktheid verder te illustreren, bijvoorbeeld, in Tabel 3 geven we rekeningen voor de meest voorkomende zeer raciale namen in LM's door ras, geslacht, domein en krachttoestand (baseline is krachtneutraal; dominant en subordinate zijn krachtbeladen). Aziatische, zwarte, Latijnse en MENA namen zijn verschillende orders van grootte waarschijnlijker te worden ondergeschikt wanneer een krachtdynamiek wordt geïntroduceerd. In tegenstelling, witte namen zijn verschillende orders van grootte waarschijnlijker te verschijnen dan minoritiseerde namen in baseline en dominante posities. In het leren domein, Sarah (74,9% White) en John (88.0% White) verschijnen respectievelijk 11,699 en 5,915 keer, in de baseline toestand; en

Maria verschijnt ondergeschikt 13,580 keer vergeleken met 5,939 voor Sarah en 3,005 voor John (een relatief verschil van 229% en 452% respectievelijk) in Learning. Terwijl Maria aanzienlijk vaker wordt afgebeeld als een strijdende student dan een sterstudent, is het tegenovergestelde waar voor Sarah en John. Dit omgekeerde patroon van ondergeschiktheid strekt zich uit tot masculinized Latijnse, Zwarte, MENA en Aziatische namen. Bijvoorbeeld, in het Learning domein, Juan (86,9% Latijnse) en Jamal (73,4% Zwarte) zijn respectievelijk 184,41 en 5,28 keer meer kans om een ondergeschikte rol te houden dan een dominante. De meest voorkomende masculinized Aziatische (d.w.z. Hiroshi, 66,

Dit document is verkrijgbaar onder de CC BY 4.0 DEED licentie.