Turnitin labelde meer dan 90 procent van het papier van de student als door AI gegenereerd. Hahn richtte een Zoom-bijeenkomst op met de student en legde de bevindingen uit en vroeg om notities en andere materialen te bekijken die werden gebruikt om het papier te schrijven.
"Deze student, onmiddellijk, zonder voorafgaande kennisgeving dat dit een AI-kwestie was, toonden ze me ontwerpen, PDF's met hoogtepunten over hen," zei Hahn.
In een ander geval werkte Hahn rechtstreeks met een student aan een schets en ontwerpen van een paper, alleen om de meerderheid van het ingediende papier door Turnitin te laten vlaggen als door AI gegenereerd.
In de loop van het voorjaarssemester merkte Hahn een patroon van deze valse positieven op. Turnitin's tool was veel waarschijnlijker om het schrijven van internationale studenten als AI-gegenereerd te markeren. Toen Hahn deze trend begon te zien, ontwierp een groep Stanford computerwetenschappers een experiment om de betrouwbaarheid van AI-detectoren beter te begrijpen bij het schrijven door niet-native Engelssprekers. Ze publiceerden vorige maand een paper, het vinden van een duidelijke vooroordeel
In de tussentijd maakten de detectoren bijna nooit dergelijke fouten bij het beoordelen van het schrijven van moedertaalsprekers.
AI-detectoren zijn meestal geprogrammeerd om te vlaggen schrijven als door AI gegenereerd wanneer de woordkeuze voorspelbaar is en de zinnen eenvoudiger zijn.
Mensen hebben meestal grotere woordenschat en een beter begrip van complexe grammatica in hun eerste talen. Dit betekent dat niet-native-Engelse sprekers de neiging hebben om eenvoudiger in het Engels te schrijven. Zo doet ChatGPT. In feite nabootst het menselijk schrijven door alles te analyseren wat het ooit heeft verwerkt en zinnen te maken met behulp van de meest voorkomende woorden en zinnen. Zelfs als AI-detectors niet specifiek zijn opgeleid om minder complex schrijven, leren de hulpmiddelen dit te doen door steeds opnieuw te zien dat door AI gegenereerd schrijven minder complex is.
Weixin Liang, een van de auteurs van de Stanford studie, leerde Cantonese en Mandarin voor Engels. Hij was sceptisch over claims van near-perfect aansprakenbijna-perfectnauwkeurigheid
Na ChatGPT debuteerde in november vorig jaar, veel van de nationale bijna 950.000 internationale studenten in het hele land, net als hun collega's, overwogen de implicaties. opvoeders waren in paniek over het vooruitzicht van studenten met behulp van generatieve AI om taken te voltooien. En internationale studenten, toegestaan om hier te studeren met onderwijs-specifieke visa, realiseerden zich snel hun kwetsbaarheid in de wapenwedloop die ontstond tussen AI-generatoren en detectoren.
bijna 950.000
"Veel erger," zei Do, "is dat een AI-vlag mijn reputatie in het algemeen kan beïnvloeden."
“Omdat het slachtoffer hier minder belangrijk is”, zei Sharma. „Het slachtoffer hier is minder waardig van een tweede gedachte, of twijfel aan het instrument.”
Er zijn onderwijzers geweest die echter de tool in twijfel hebben gesteld, ontdekken, zoals Hahn, de foutbaarheid van AI-detectoren en de ernstige gevolgen van ongrondeloze beschuldigingen Als de campus opnieuw wordt geopend voor het herfstsemester, moet de faculteit overwegen of het nieuwste onderzoek een duidelijker geval maakt voor hetontdekken, zoals Hahn, de foutbaarheidongegronde beschuldigingen
In Liang's paper wees zijn team erop dat valse beschuldigingen van bedrog schadelijk kunnen zijn voor de academische carrière en het psychologische welzijn van een student.
Diane Larryeu, een inwoner van Frankrijk, studeert dit jaar aan de Cardozo School of Law in New York City. Vorig jaar, in een masteropleiding in het gemeenschappelijk recht in de buurt van Parijs, werd het Engelse essay van haar vriend gemarkeerd als door AI gegenereerd, zei ze.
OpenAI shut down zijn AI-detector aan het einde van juli vanwege lage nauwkeurigheid, en Quill.org en CommonLit deed hetzelfde met hun AI Writing Check, zeggen generatieve AI-tools zijn te verfijnd voor detectie. Turnitin, echter, heeft slechts verdubbeld op zijn claims van hoge nauwkeurigheid.
shut downdeed hetzelfdeAnnie Chechitelli, Chief Product Officer voor Turnitin, zei dat het gereedschap van het bedrijf werd getraind in het schrijven door Engels sprekende mensen in de VS en in het buitenland, evenals meertalige studenten, dus de vooroordelen van Liang's papier zouden niet moeten worden geïdentificeerd.
Het bedrijf voert zijn eigen onderzoek uit naar de vraag of de tool minder nauwkeurig is bij het beoordelen van het schrijven van niet-native-Engelstalige mensen.
Hoewel dat onderzoek nog niet is gepubliceerd, zei Chechitelli tot nu toe dat het antwoord lijkt nee.
Krediet: YouTube
Toch heeft ze toegegeven dat de tool uiteindelijk leert dat complexer schrijven waarschijnlijker menselijk is, gezien de patronen in trainingsessays.
Dat is de reden waarom Liang zei dat hij sceptisch is Turnitin's detector kan de vooroordelen zijn team geïdentificeerd in hun paper te vermijden.
In juni heeft Turnitin zijn software bijgewerkt om instellingen in staat te stellen de AI-schrijfindicator uit te schakelen, dus hoewel de software het schrijven voor AI zal blijven beoordelen, zal de conclusie ervan niet worden weergegeven aan instructeurs. Aan het einde van juli hadden slechts twee procent van de instellingen van Turnitin-klanten die optie gebruikt, volgens het bedrijf.
de AI schrijfindicator uitschakelen
“We denken dat de focus op fraude en plagiaat een beetje overdreven en hyperbolisch is”, zei Radziłowicz.
Heb je vals beschuldigd van bedrog?
Als een AI-detector uw schrijven ten onrechte als door AI gegenereerd heeft geïdentificeerd, willen we erover horen. E-mail [email protected].
[email protected]‘hr’Kredieten
- Tara Garcia Mathewson Onderzoeksreporter
Design en grafisch ontwerp
Video opnemen
Betrokkenheid
Copy editing en productie
Bewerken
Ook gepubliceerd hier
Ook gepubliceerd hierhier
Foto van gaspar zaldo op UnsplashFoto van gaspar zaldo op Unsplashgaspar zaldoUnsplash
