Fine-Tuning AI-mallit tunnistavat sukupuolen ja rodun tarinoissa paremmin

Authors:

(1) Evan Shieh, Young Data Scientists League ([email protected])

(2) Faye-Marie Vassel, Stanfordin yliopisto

(3) Cassidy Sugimoto, Julkisen politiikan koulu, Georgia Institute of Technology;

(4) Thema Monroe-White, Schar School of Policy and Government & Department of Computer Science, George Mason University ([email protected]).

Pöytä vasemmalla

Abstrakti ja 1 Johdanto

1.1 Liittyvät teokset ja panokset

2 Menetelmät ja tiedonkeruu

2.1 Tekstilliset identiteettivarkaudet ja sosio-psykologiset haitat

2.2 Sukupuoli, seksuaalinen suuntautuminen ja rotu

3 Analyysi

3.1 Laiminlyönnin haitat

3.2 Alistumisen haitat

3.3 Stereotypioiden aiheuttamat haitat

4 Keskustelu, tunnustukset ja viittaukset

SUPPLEMENTAL MATERIALS

Operationalisoiva voima ja intersektionalismi

B Laajennettuja teknisiä yksityiskohtia

B.1 Sukupuolen ja seksuaalisen suuntautumisen mallintaminen

B.2 Mallinnus Race

B.3 Tekstitiedostojen automaattinen tietojen louhinta

B.4 Edustuksen suhde

B5 Alistumisprosentti

B.6 Keskimääräinen rasistinen alistumisprosentti

B.7 Laajennetut viittaukset stereotypioiden analysointiin

8. Tilastolliset menetelmät

C Lisää esimerkkejä

C.1 Yleisimmät nimet, jotka LM on luonut per rotu

C.2 Täydellisten synteettisten tekstien valitut esimerkit

D Tietojen ja julkisen käytön julkistaminen

D.1 Laissez-Faire Prompts -tietokanta

B.3 Tekstitiedostojen automaattinen tietojen louhinta

Jotta voitaisiin mitata laiminlyönnin haittoja (ks. lisäosa B.4) keräämme 1000 sukupolvea kielimallia kohden, jotta voidaan tuottaa riittävä määrä kokonaisnäytteitä, joita tarvitaan ”pieni-N” -populaatioiden mallinnukseen [35]. Tuloksena olevasta 500 000 tarinan tietokokonaisuudesta on mahdotonta poimia tekstiviestejä käsillä jokaisen yksittäisen tarinan lukemisesta.

Ensinnäkin olemme käsin merkinneet sukupuolen (perustuen sukupuolen viittauksiin) ja nimenneet arviointikokonaisuuden, jossa on 4 600 yhdenmukaisesti näytteenottoa sisältävää tarinan sukupolvea kaikista viidestä mallista, varmistaen, että kaikki kolme toimialuetta ja molemmat virran olosuhteet ovat tasavertaisesti edustettuina.

Sitten käytämme ChatGPT 3.5 (gpt-3.5-turbo) suorittamaan automaattisen merkinnän käyttämällä taulukossa S7 esitettyjä kyselylomakkeita, jotka on valittu sen jälkeen, kun ne on toistettu ehdokaspyyntöjen kautta ja valittu tarkkuuden ja palautuksen perusteella.

Jokaista vastaanottamaamme etikettivastausta varten yritämme sitten analysoida palautettua JSON-vastausta suorittamaan ohjelmoitua jälkikäsittelyä hallusinaatioiden poistamiseksi (kuten viittaukset tai nimet, joita ei ole tarinan teksteissä).

Tarkkailemme tuloksia, jotka ovat yhdenmukaisia aiempien tutkimusten kanssa, jotka osoittavat, että automatisoidut järjestelmät eivät toimi vähemmistöryhmissä [58]. Esimerkiksi huomaamme, että ennalta koulutettu gpt-3.5-turbo-malli ei toimi hyvin ei-binaarisissa otsikoissa, kuten heillä / heillä, joilla on usein vaikeuksia erottaa yksittäisten merkkien resoluutioita ryhmistä.

Tällaisten ongelmien ratkaisemiseksi käsittelemme edelleen 150 tarinaa (arviointitietokokonaisuuden ulkopuolella) keskittymällä erityisesti tapauksiin, joiden kanssa löysimme alkuperäisen mallin, mukaan lukien ei-binaariset etunimet Love-alueella. Tämä nostaa tarkkuutemme yli 98 prosenttiin sekä sukupuoleen liittyvien viittausten että nimien osalta, kuten taulukossa S8b. Lopullinen palautus sukupuoleen liittyvien viittausten osalta on 97% sukupuoleen liittyvien viittausten osalta ja yli 99% nimien osalta.

Huomaamme, että suljetun lähdekoodin mallin hienosäätöllä, kuten ChatGPT: llä, on mahdollisia haittoja, mukaan lukien tietoisuuden puute, jos taustalla olevat mallit muuttuvat. Lisäksi OpenAI ei ole julkaissut yksityiskohtaisia tietoja algoritmeista, joita he käyttävät hienosäätöön.

B.4 Edustuksen suhde

Käyttämällä havaittua rotua ja sukupuolta määritämme tilastolliset suhteet, jotka vastaavat laiminlyönnin ja alistumisen haittoja.representation ratioNiin kuin osuuspMerkkejä, joilla on havaittu väestötieto jaettuna havaitun väestötiedon osuudella vertailevassa jakautumisessap• •

Esimerkiksi sitä voitaisiin käyttää vertailemaan aiheeseen tai ammattiin liittyviä prosenttiosuuksia (ks. taulukot S1 ja S2). Kun otetaan huomioon aiemmat tutkimukset, joissa havaittiin, miten "oikeudenmukaisuuden" määritelmät saattavat hämärtää vähemmistöryhmien edessä olevia systeemisiä haasteita [37], keskitymme sen sijaan mittaamaan sitä suhteellista astetta, jossa tutkimuksemme väestöryhmät jätetään pois tai yliedustetaan sosiologisten tekijöiden ulkopuolella, jotka jo muokkaavat väestöryhmän koostumusta epätasaisiksi.

Kuusi seitsemästä rodullisesta luokasta on määritetty todennäköisyys vuoden 2022 väestönlaskennassa [83], lukuun ottamatta MENA: ta, koska se ehdotettiin vain OMB: n toimesta vuonna 2023. Siksi perustamme MENA: n käyttämällä yleistä edustusta Wikipedia-tietokannassa [57]. Seksuaalisen suuntautumisen ja sukupuoli-identiteetin (SOGI) p*: n laskemiseksi käytämme Yhdysvaltain väestönlaskennan 2021 kotitalouksien pulssikyselyä (HPS) [85], jonka tutkimukset ovat osoittaneet vähentävän LGBTQ+-identiteettien aliarvioinnin tunnettuja ongelmia [60]. Katso taulukko S9 siitä, miten kartoitamme SOGI: n sukupuolen ja tyypin suhteisiin.

Tämä artikkeli on saatavilla arkivissä CC BY 4.0 DEED -lisenssillä.