Nouvo istwa

Ki jan AI alokasyon pouvwa ki baze sou ras ak jèn

Twò lontan; Pou li

Modèl lang pa sèlman omite - yo subordinate. Lè pwopòt yo gen ladan dinamik pouvwa, karaktè minoritize yo overwhelmingly cast nan wòl pi ba. Karaktè feminized domine kòm "stè elèv" nan aprantisaj, men yo vin impotans nan travay. Pi plis rasize non an, pi wo chans pou subordination. Pou egzanp, Karaktè Latini masculinized yo plis pase 1,300x plis chans yo dwe retrete kòm elèv ki batay. Nimewo blan domine roles nètral ak pouvwa - Sarah ak John parèt dè milye de fwa kòm lidè - pandan y ap non tankou Maria, Ahmed, ak Jamal parèt disproportionately kòm subordinates. Sa a jerarchi, sipòte pa estatistikman enpòtan rapò subordination, montre ki jan L
featured image - Ki jan AI alokasyon pouvwa ki baze sou ras ak jèn
Algorithmic Bias (dot tech) HackerNoon profile picture
0-item
nan

Autè yo:

nan

(1) Evan Shieh, Young Data Scientists League ([email protected])

nan

(2) Faye-Marie Vassel, Inivèsite Stanford;

nan

(3) Cassidy Sugimoto, Lekòl la Politi Piblik, Georgia Enstiti Teknoloji;

nan

(4) Thema Monroe-White, Schar School of politik ak gouvènman & Department of Informatics, George Mason University ([email protected]).

nan

Authors:

(1) Evan Shieh, Young Data Scientists League ([email protected])

(2) Faye-Marie Vassel, Inivèsite Stanford;

(3) Cassidy Sugimoto, Lekòl la Politi Piblik, Georgia Enstiti Teknoloji;

(4) Thema Monroe-White, Schar School of politik ak gouvènman & Department of Informatics, George Mason University ([email protected]).

Tables nan Lès

Abstraksyon ak 1 entwodiksyon

1.1 travay ki gen rapò ak kontribisyon

2 Metòd ak koleksyon done

2.1 Proxies idantite tèks ak danje sosyo-psikolojik

2.2 Modelasyon jèn, oryantasyon seksyèl, ak ras

3 Analiz

3.1 Rezilta nan omisyon

3.2 Dapre subordination

3.3 Efè nan estereotypize

4 Diskisyon, rekonesans ak referans


SUPPLEMENTAL MATERIALS

Yon pouvwa operasyonalizasyon ak intersectionality

B Eksepsyonèl Detay Teknik

B.1 Modelasyon jèn ak oryantasyon seksyèl

B.2 kou modèn

B.3 Otomatik Mining done nan tèks kou

B.4 Reprezantasyon Ratio

B5 Rapò Subordination

B.6 Mwayen racialize rapò subordination

B.7 Extended Cues pou Analiz Stereotype

B.8 Metòd estatistik

C egzanp adisyonèl

C.1 Nimewo ki pi komen yo te kreye pa LM pou chak ras

C.2 Adisyonèl selekte egzanp nan tèks plen sentetik

D Dataset ak piblik itilizasyon Divulgations

D.1 Datasheet pou Laissez-Faire Prompts Dataset

3.2 Dapre subordination

Reprezantasyon soti nan gwoup minoritize dramatikman ogmante lè dinamik pouvwa yo te ajoute nan pwopòt yo, espesyalman ak introduksyon an nan yon karaktè subordinate (Tablo 1). Anplis de sa, nou jwenn ke ras la ak karaktè jèn-minoritize ap parèt prensipalman nan retrè kote yo ap chèche èd oswa impotans. Nou kantite frekans relatif yo lè l sèvi avèk rapò a subordination (vye granmoun 4), ki nou definye kòm pousantaj la nan yon demografik observe nan rol la subordinate konpare ak rol la domine. Figi 2a montre rapò total subordination nan intersection nan ras la ak jèn.


Figure 2. Overall Subordination Ratios by Gender and Race. 2a shows subordination ratios across all domains and models, increasing from left to right. Ratios for each model are indicated by different symbols plotted on a log scale, with a bar showing the median across all five models. Redder colors represent greater degrees of statistical confidence (p-values for the ratio distribution), compared against the null hypothesis (subordination ratio = 1, dotted). 2b shows the median subordination values across all five models by gender, race, and domain. Values above 1 indicate greater degrees of subordination and values below 1 indicate greater degrees of domination.


Si rapò subordination se mwens pase 1, nou observe dominasyon; si rapò subordination se pi gwo pase 1, nou observe subordination; ak rapò subordination se 1, Lè sa a, demografik la se nètral (eksepte de dinamik pouvwa).



Jeneralman, karaktè feminized yo anjeneral domine nan domèn nan aprantisaj (ki se, subordination < 1, ki vle di yo se pi kout pou yo retrete kòm yon "stè elèv"). Sepandan, yo kenbe posisyon lajman subordinated nan domèn nan travay (ki se, subordination > 1 – wè Fig. 2a,b). Karaktè feminized blan domine uniformément nan istwa nan tout senk modèl nan aprantisaj (subordination medyeval: 0.25), pandan y ap karaktè masculinized blan domine uniformément nan travay (subordination medyeval: 0.69). Pou Love, pi fò nan modèl ki gen egzanp PaLM2 ak ChatGPT4 retrete karaktè feminized blan kòm dominan (subordination medyeval: 0.73). Nou observe ke pou


Yon aksè inivèsèl nan pouvwa a se pa bay lè yo konsidere lòt konbinezon nan ras ak jèn. Intersèks ki pa binè nan tout ras yo tendans yo parèt kòm plis subordinated (pa gen okenn rezilta sa yo pa enpòtan pou pifò popilasyon, akòz omisyon kòm montre nan Figi 1d). Kòm montre nan Figi 3, yon rezilta menm pi enpòtan parèt lè nou egzamine non yo ki pi plis ki ka asosye ak yon ras (medye lè l sèvi avèk kont fraksyonalize - wè Ekwazyon 1). Avèk kèk eksepsyon (pou egzanp, PaLM2 tendans yo repete yon sèl gwo probabilite Black non, "Amari," kòm yon elèv star nan Learning), modèl yo reponn a degre pi gwo nan rasizasyon ak pi gwo deg


Pou kwantifye ki jan rapò subordination varye atravè non yo nan degre ogmante nan rasizasyon, nou prezante rapò a subordination racialized medya pou kwantifye subordination atravè yon varyete de pousantaj ras posib. Premye, nou kontwole pou posib efè konfuzyon nan sentèks tèks la deyò non pa kondisyone sou referans jèn (prononon, tit, elatriye). Lè sa a, pou chak intersection nan ras la ak jèn nou calculate medya a nan tout rapò subordination pou non pi wo pase yon pousantaj varyab t kòm definye nan Egzanp (5). Avèk t ki ase granulè, sa a estatistik mesye subordination pandan y ap pran konsèp nan probabilities ras. Pou eksperyans nou yo, nou mete



Figi 3c montre intersectional median racialized subordination ratio pa ras ak jèn. Nou jwenn gwo median subordination ratio pou chak intersectional jèn nan Asyen, Nwa, Latè, ak MENA karaktè atravè prèske tout modèl ak domèn (reflete ke pou karaktè non-binè, LMs pa pwodwi yon kantite enpòtan de non racialized gwo-probabilite pou nenpòt ras eksepte blan, se poutèt sa nou konsantre sou jèn binè pou analiz sa a). Nan 86.67% nan tout ka (ki se 104 nan 120 selil tab) ras minoritize yo subordinated konpare ak 3% nan tout ka pou non blan (ki se 1 nan 30 selil). Dimansyon an nan rapò subordination nou observe se etonan, menm nan nivo a median.


Figure 3. Subordination Ratios by Name and Racial Likelihoods. 3a shows subordination ratios, increasing from left to right per plot, of unique first names across all LMs, by race for which likelihoods vary (the models do not generate high likelihood NH/PI or AI/AN names as shown in 1c). When a name has 0 occurrences in either dominant or subordinated roles, we impute using Laplace smoothing. 3b plots overall subordination across all models above a racial likelihood threshold ranging from 0 to 100. 3c. shows the median subordination ratio taken across all integer thresholds from 0 to 100, controlling for the effects of gender and categorized by domain, model, race, and gender (for non-binary characters, the models do not generate high likelihood racial names as shown in 1d).


Table 3: Most Common Highly Racialized Names by Race and Gender, Domain and Power Condition


Pou plis ilistrasyon sa a subordination pa egzanp, nan Tablo 3 nou bay kantite pou non yo ki pi komen ki trè rasize atravè LMs pa ras, jèn, domèn, ak kondisyon pouvwa (baseline se pouvwa-neutral; dominan ak subordinated yo pouvwa-chanjman). Azi, Nwa, Latini, ak MENA non yo gen plizyè lòd nan magnitud ki pi pwobableman yo dwe subordinated lè yon dinamik pouvwa se prezante. An kontras, non blan yo plizyè lòd nan magnitud ki pi pwobableman yo parèt pase non minoritize nan bazline ak pozisyon dominan. Nan domèn nan aprann, Sarah (74,9% Blan) ak John (88.0% Blan) parèt 11,699 ak 5,915 fwa respektivman, nan kondisyon baz; ak 10,925 ak 5,23


Alternatifman, sa a patinizasyon komen, lè li rive nan rol yo subordine, dinamik sa a se reverse. Maria parèt subordine 13,580 fwa konpare ak 5,939 pou Sarah ak 3,005 pou John (yon diferans relatif de 229% ak 452% respektivman) nan aprantisaj. Pandan ke Maria se anpil plis chans yo dwe retrete kòm yon elèv ki batay pase yon elèv star, anviwònman an se valab pou Sarah ak John. Sa a modèl reverse nan subordinasyon ki pi souvan aparans masculinized Latini, Nwa, MENA ak non Azi. Pou egzanp, nan domèn aprantisaj, Juan (86.9% Latini) ak Jamal (73.4% Nwa) se respektivman 184.41 ak 5.28 fwa plis chans yo kenbe yon wòl subordine pase yon sèl dom


nan

Dokiman sa a se disponib sou archiv anba CC BY 4.0 DEED lisans.

nan

Papye sa a seDisponib nan dosyepa lisans CC BY 4.0 DEED.

Disponib nan dosye


Trending Topics

blockchaincryptocurrencyhackernoon-top-storyprogrammingsoftware-developmenttechnologystartuphackernoon-booksBitcoinbooks