Per pavasario semestrą Hahnas pastebėjo šių klaidingų teigiamų rezultatų modelį. Turnitino įrankis buvo daug labiau linkęs pažymėti, kad tarptautinių studentų rašymas yra sukurtas dirbtinio intelekto.
Taylor Hahn, kuris moko Johns Hopkins universiteto, gavo įspėjimą, kai vertinant studentų popieriaus praėjusią pavasarį komunikacijos kursą. jis įkėlė užduotį į Turnitin, programinę įrangą, kurią naudoja daugiau nei 16 000 akademinių institucijų visame pasaulyje nustatyti plagijavimo tekstą ir, nuo balandžio, vėliava AI generuojamas rašymas.
Hahnas su studentu surengė „Zoom“ susitikimą ir paaiškino išvadas, paprašydamas pamatyti užrašus ir kitas medžiagas, naudojamas rašant dokumentą.
"Šis studentas, iš karto, be išankstinio įspėjimo, kad tai yra AI problema, jie parodė man projektus, PDF su jų akcentavimu", - sakė Hahnas.
Kitas atvejis, Hahnas dirbo tiesiogiai su studentu ant apžvalgos ir projektų popieriaus, tik turėti dauguma pateiktų popieriaus ženklinti Turnitin kaip AI generuojamas.
Per pavasario semestrą Hahnas pastebėjo šių klaidingų teigiamų reiškinių modelį. Turnitino įrankis buvo daug labiau tikėtina, kad tarptautinių studentų rašymas taptų AI sukurtas. Kai Hahnas pradėjo matyti šią tendenciją, Stanfordo kompiuterių mokslininkų grupė sukūrė eksperimentą, kad geriau suprastų AI detektorių patikimumą rašant ne gimtoji anglų kalba. Jie praėjusį mėnesį paskelbė straipsnį Rasti aiškų šališkumą
Tuo tarpu detektoriai beveik niekada nepadarė tokių klaidų vertindami anglų kalbos gimtakalbių rašymą.
AI detektoriai paprastai yra užprogramuoti, kad pažymėtų rašymą kaip AI sukurtą, kai žodžio pasirinkimas yra nuspėjamas ir sakiniai yra paprastesni.
Žmonės paprastai turi didesnį žodyną ir geriau supranta sudėtingą gramatiką savo pirmosiomis kalbomis. Tai reiškia, kad ne gimtoji anglų kalba paprastai rašo paprasčiau anglų kalba. Taip pat veikia ChatGPT. Iš tikrųjų jis imituoja žmogaus rašymą, analizuodamas viską, ką jis kada nors apdorojo, ir kurdamas sakinius, naudojant dažniausiai pasitaikančius žodžius ir frazes. Net jei AI detektoriai nėra specialiai apmokyti žymėti mažiau sudėtingą rašymą, įrankiai išmoksta tai padaryti, nuolat matydami, kad AI sukurtas rašymas yra mažiau sudėtingas.
„Daugelio GPT detektorių dizainas iš esmės diskriminuoja ne gimtąsias autorius, ypač tuos, kurie demonstruoja ribotą kalbų įvairovę ir žodžių pasirinkimą“, – elektroniniu paštu sakė Liang.
Hai Long Do, augantis jaunesnysis Majamio universitete Oksforde, Ohajo valstijoje, sakė, kad baisu galvoti, kad valandos, kurias jis praleidžia tyrinėdamas, rengiant ir peržiūrėdamas savo straipsnius, gali būti užginčytos dėl nepatikimų AI detektorių.
„Daug blogiau“, - sakė Do, „yra tai, kad AI vėliava gali paveikti mano reputaciją apskritai.“
Shyam Sharma yra Stony Brook universiteto profesorius, rašantis knygą apie Jungtinių Valstijų požiūrį į tarptautinių studentų švietimą.Jis sako, kad universitetai nuolat nepalaiko šios pogrupio savo universitetuose, o profesoriai dažnai nesupranta jų unikalių aplinkybių.
„Kadangi auka, būtent čia, yra mažiau svarbi“, – sakė Šarma. „Auka čia yra mažiau verta antros minties, arba įrankio abejojimo.“
Liango dokumente jo komanda pažymėjo, kad klaidingi apgaulės kaltinimai gali pakenkti studento akademinei karjerai ir psichologinei gerovei.
„Atsižvelgiant į galimą nepasitikėjimą ir nerimą, kurį sukelia GPT detektorių diegimas, kyla klausimų, ar neigiamas poveikis mokymosi aplinkai viršija suvokiamą naudą“, – rašė jie.
Diane Larryeu, gimtoji Prancūzijoje, šiemet studijuoja Cardozo teisės mokykloje Niujorke. Pernai, bendrosios teisės magistro programoje netoli Paryžiaus, jos draugo anglų kalbos esė buvo pažymėta kaip sukurta AI, sakė ji. Paklaustas, ar ji nerimauja, kad tai gali atsitikti su ja, nes, kaip ir jos draugas, anglų kalba yra jos antroji kalba, jos atsakymas buvo tiesioginis: „Žinoma.“ Viskas, ką ji gali padaryti, yra tikėtis, kad tai bus išspręsta greitai. „Aš tiesiog paaiškinčiau savo mokytojui ir tikiuosi, kad jie supras“, - sakė Larryeu.
OpenAI shut down jo AI detektorius liepos pabaigoje dėl mažo tikslumo, o Quill.org ir CommonLit padarė tą patį su savo AI rašymo patikrinimu, sakydamas, kad generaciniai AI įrankiai yra pernelyg sudėtingi aptikimui.išjungtidarė tą patįAnnie Chechitelli, "Turnitin" vyriausiasis produktų vadovas, sakė, kad bendrovės įrankis buvo apmokytas rašyti anglų kalba Jungtinėse Amerikos Valstijose ir užsienyje, taip pat daugiakalbiai studentai, todėl neturėtų būti nustatyta šališkumo Liango popierius.
Bendrovė atlieka savo tyrimus, ar įrankis yra mažiau tikslus vertinant ne gimtojo anglų kalbos rašytojų rašymą. nors šis tyrimas dar nebuvo paskelbtas, Chechitelli sakė, kad kol kas atrodo, kad atsakymas yra ne.
Žymos archyvas: „YouTube“
Tačiau ji pripažino, kad įrankis baigia mokytis, kad sudėtingesnis rašymas greičiausiai bus žmogus, atsižvelgiant į mokymo esė modelius.
Heewon Yang, kylanti vyresnioji Niujorko universiteto ir Pietų Korėjos gimtoji, yra nusivylusi AI detektorių ir jos pažeidžiamumu jiems. „Jei tai yra AI, kuris paima mūsų kalbos modelius ir automatiškai nusprendžia, aš nežinau, kaip aš galiu tai užkirsti kelią“, - sakė ji.
Todėl Liang sakė, kad jis yra skeptiškas Turnitino detektorius gali išvengti jo komandos nustatytų polinkių savo dokumente.
„Nors „Turnitin“ požiūris atrodo geranoriškas“, – elektroniniu paštu sakė jis, „labai svarbu pamatyti jų vykstančių bandymų rezultatus ir bet kokius trečiųjų šalių vertinimus, kad būtų galima visapusiškai suprasti jų įrankio našumą realiuose scenarijuose“.
Birželio mėn. „Turnitin“ atnaujino savo programinę įrangą, kad institucijos galėtų išjungti AI rašymo indikatorių, taigi, nors programinė įranga ir toliau vertins rašymą AI, jos išvados instruktoriams nebus rodomos.Išjungti AI rašymo indikatorių
Birželio pabaigoje universiteto mokymo centras pareiškė, kad nepalaiko jokių AI detektorų naudojimo, nurodydamas faktą, kad klaidingi teigiami duomenys „neša studentų pasitikėjimo, pasitikėjimo ir motyvacijos praradimo riziką, prastą viešumą ir galimas teisines sankcijas“.
Nors tarptautinių studentų patirtis nebuvo jų sprendimų priėmimo centre, Pitsburgo universiteto laikinasis mokymo palaikymo direktorius Johnas Radziłowiczas sakė, kad jo komanda išbandė keletą turimų AI detektorų ir nusprendė, kad klaidingi teigiami duomenys yra pernelyg dažni, kad pateisintų jų naudojimą.
„Mes manome, kad dėmesys sukčiavimui ir plagiatui yra šiek tiek perdėtas ir hiperbolinis“, - sakė Radziłowicz.
Ar esate neteisingai apkaltintas sukčiavimu?
Jei AI detektorius klaidingai nustatė, kad jūsų rašymas sukurtas AI, mes norime apie tai sužinoti. el. paštas [email protected].
