Нова историја

Како АИ додјељује моћ на основу расе и пола

од стране Algorithmic Bias (dot tech)7m2025/04/22
Read on Terminal Reader

Предуго; Читати

Језички модели не само да изостављају – они су подређени. Када позиви укључују моћну динамику, мањини ликови се претежно бацају у слабије улоге. Феминизирани ликови доминирају као „звездани ученици“ у учењу, али постају немоћни у раду. Што је име расистичније, то је већа вероватноћа подређености. На пример, латински маскулинизовани ликови су преко 1300 пута вероватније да се приказују као борбени ученици. Бела имена доминирају неутралним и моћним улогама – Сара и Џон се појављују хиљаде пута као вођа – док се имена као што су Марија, Ахмед и Џамал појављују непропорционално као подређени. Ова хије
featured image - Како АИ додјељује моћ на основу расе и пола
Algorithmic Bias (dot tech) HackerNoon profile picture
0-item

Autori :

(1) Еван Схие, Лига младих научника података ([email protected]);

(2) Фаие-Мари Васел, Универзитет Станфорд;

(3) Касиди Сугимото, Школа јавне политике, Грузијски институт за технологију;

(4) Thema Monroe-White, Schar School of Policy and Government & Department of Computer Science, George Mason University ([email protected]).

Authors:

(1) Еван Схие, Лига младих научника података ([email protected]);

(2) Фаие-Мари Васел, Универзитет Станфорд;

(3) Касиди Сугимото, Школа јавне политике, Грузијски институт за технологију;

(4) Thema Monroe-White, Schar School of Policy and Government & Department of Computer Science, George Mason University ([email protected]).

Табела левице

АБСТРАКТ И 1 УВОД

1.1 Поврзани рад и доприноси

2 Методе и прикупљање података

2.1 Проксии текстовног идентитета и социо-психолошке штете

2.2 Моделирање пола, сексуалне оријентације и расе

3 Анализа

3.1 Штета од пропуста

3.2 Штета од подређености

3.3 Штете од стереотипа

4 Дискусија, признања и референце


SUPPLEMENTAL MATERIALS

Операционализацијска моћ и интерсекционалност

Б Проширени технички детаљи

Б.1 Моделирање пола и сексуалне оријентације

Б.2 Моделирање трке

Б.3 Аутоматско рударство података текстуалних редова

Б.4 Представнички однос

Б.5 Однос подређености

Б.6 Медијан рационализовани однос подређености

Б.7 Проширене речи за анализу стереотипа

B.8 Statistical Methods

Ц Додатни примери

C.1 Најчешћа имена генерисана од стране LM по раси

C.2 Dodatni odabrani primeri kompletnih sintetičkih tekstova

D. Датотеке и откривања јавне употребе

D.1 Датотечни лист за Laissez-Faire Prompts Dataset

3.2 Штета од подређености

Представљеност мањинских група драстично се повећава када се динамика моћи додаје на позиве, посебно са увођењем подређеног карактера (Табела 1). Широко, налазимо да се раса и родни мањински ликови претежно појављују у портретима где траже помоћ или су беспомоћни. Квантификујемо њихову релативну учесталост користећи однос подређености (види једначину 4), коју дефинишемо као пропорцију демографског узорака у подређеној улози у односу на доминантну улогу.


Figure 2. Overall Subordination Ratios by Gender and Race. 2a shows subordination ratios across all domains and models, increasing from left to right. Ratios for each model are indicated by different symbols plotted on a log scale, with a bar showing the median across all five models. Redder colors represent greater degrees of statistical confidence (p-values for the ratio distribution), compared against the null hypothesis (subordination ratio = 1, dotted). 2b shows the median subordination values across all five models by gender, race, and domain. Values above 1 indicate greater degrees of subordination and values below 1 indicate greater degrees of domination.


Овај приступ нам омогућава да се усредсредимо на релативне разлике у приказивању ликова када се уводе напомене за напајање.Ако је однос подређености мањи од 1, посматрамо доминацију; ако је однос подређености већи од 1, посматрамо подређеност; а ако је однос подређености 1, онда је демографски неутралан (независтан од динамике снаге).



Уопштено говорећи, феминизирани ликови су генерално доминантни у домену учења (тј. подређеност < 1, што значи да су они вероватније приказани као „звездани ученик“). Међутим, они заузимају широко подређене позиције у домену рада (тј. подређеност > 1 – види Слика 2а,б). Бели феминизирани ликови су униформно доминантни у причама преко свих пет модела у учењу (средња подређеност: 0,25), док су бели мастурбирани ликови униформно доминантни у раду (средња подређеност: 0,69). За љубав, већина модела, осим ПаЛМ2 и ЦхатГПТ4, приказују бели феминизирани ликови као доминантни (средња


Исти универзални приступ моћи се не даје када се размотре друге комбинације расе и пола. Небинарни пресеци у свим расама имају тенденцију да се појављују као подређени (иако ови резултати нису значајни за већину популација, због пропуста као што је приказано на слици 1г). Као што је приказано на слици 3, још упечатљивији резултат се појављује када се испитају имена која су све вероватније повезана са једним расом (измерена помоћу фракционализованог бројања – погледајте једначину 1). Са неколико изузетака (нпр., ПаЛМ2 има тенденцију да понавља једно високо вероватно црно име, „Амари“, као звезда студент у учењу), модели реагују на веће степене


Да бисмо квантификовали како се однос подређености разликује између имена растућих степена расизације, уводимо медијан однос подређености раса да бисмо квантификовали подређеност преко низа могућих расних прагова. Прво, контролишемо могуће збуњујуће ефекте текстуалних знакова ван имена условљавањем на родне референце (преносе, наслове, итд.). Затим, за сваки пресек расе и пола израчунавамо медијан свих односа подређености за имена изнад променљивог прага вероватноће т као што је дефинисано у једначини (5). Са довољно грануларним т, ова статистика мери подређеност узимајући у обзир спектар расних вероватноћа. За наше експерименте,



Слика 3ц показује интерсекционалне медијалне расистисане подређене односе по раси и полова. Проналазимо велике медијалне подређене односе за сваки бинарни родни пресек азијских, црних, латинских и МЕНА карактера преко готово свих модела и домена (присетимо се да за не-бинарне карактере, ЛМс не производе значајан број високо вероватноће расистисаних имена за било коју расу осим белог, стога је наш фокус на бинарним пољима за ову анализу). У 86.67% свих случајева (тј. 104 од 120 ћелија табеле) малцинизоване расе су подређене у поређењу са 3% свих случајева за бела имена (тј. 1 од 30 ћелија


Figure 3. Subordination Ratios by Name and Racial Likelihoods. 3a shows subordination ratios, increasing from left to right per plot, of unique first names across all LMs, by race for which likelihoods vary (the models do not generate high likelihood NH/PI or AI/AN names as shown in 1c). When a name has 0 occurrences in either dominant or subordinated roles, we impute using Laplace smoothing. 3b plots overall subordination across all models above a racial likelihood threshold ranging from 0 to 100. 3c. shows the median subordination ratio taken across all integer thresholds from 0 to 100, controlling for the effects of gender and categorized by domain, model, race, and gender (for non-binary characters, the models do not generate high likelihood racial names as shown in 1d).


Table 3: Most Common Highly Racialized Names by Race and Gender, Domain and Power Condition


Да бисмо даље илустровали ову подређеност на пример, у Табели 3 пружамо бројеве најчешћих високо расизованих имена широм ЛМ-а по раси, полу, домену и стању моћи (основна линија је моћ-неутрална; доминантна и подређена су пуна моћи). Азијска, Црна, Латинска и Мена имена су неколико реда величине вероватније да ће бити подређена када се уведе динамика моћи. За разлику од тога, бела имена су неколико реда величине вероватније да ће се појавити него мањинизована имена у основној линији и доминантним позицијама. У домену учења, Сара (74,9% Бела) и Јован (88.0% Бела) појављују се 11,699 и 5,915


Марија се појављује подређена 13,580 пута у поређењу са 5,939 за Сару и 3,005 за Јована (релативна разлика од 229% и 452% респективно) у учењу. Док је Марија значајно већа вероватноћа да се приказује као ученик који се бори него ученик звезда, супротно је истинито за Сару и Јована. Овај обратни образац подређења проширује се на маскулинизоване латинске, црне, МЕНА и азијске имена. На пример, у домену учења, Хуан (86,9% латински мушки) и Џамал (73,4% црни) су респективно 184,41 и 5,28 пута вероватније да имају подређену улогу од доминантног. Најчешће се јављају маскулинизоване


Овај документ је доступан на архиву под лиценцом CC BY 4.0 DEED.

Ovaj papir jeДоступно у архивипод лиценцом CC BY 4.0 DEED.

Доступно у архиви


Trending Topics

blockchaincryptocurrencyhackernoon-top-storyprogrammingsoftware-developmenttechnologystartuphackernoon-booksBitcoinbooks