Ο Taylor Hahn, ο οποίος διδάσκει στο Πανεπιστήμιο Johns Hopkins, έλαβε μια ειδοποίηση ενώ βαθμολόγησε μια εργασία φοιτητή την περασμένη άνοιξη για ένα μάθημα επικοινωνίας. Είχε ανεβάσει την εργασία στο Turnitin, λογισμικό που χρησιμοποιείται από περισσότερα από 16.000 ακαδημαϊκά ιδρύματα σε όλο τον κόσμο για να εντοπίσει λογοκλοπή κειμένων και, από τον Απρίλιο, να επισημάνει τη γραφή που δημιουργείται από την τεχνητή νοημοσύνη.
Ο Turnitin χαρακτήρισε πάνω από το 90 τοις εκατό της εργασίας του μαθητή ως δημιουργημένο από AI. Ο Hahn διοργάνωσε μια συνάντηση Zoom με τον μαθητή και εξήγησε το εύρημα, ζητώντας να δει σημειώσεις και άλλα υλικά που χρησιμοποιήθηκαν για τη συγγραφή της εργασίας.
«Αυτός ο μαθητής, αμέσως, χωρίς προηγούμενη ειδοποίηση ότι επρόκειτο για τεχνητή νοημοσύνη, μου έδειξε προσχέδια, PDF με highlighter πάνω τους», είπε ο Χαν. Ήταν πεπεισμένος ότι το εργαλείο του Turnitin είχε κάνει λάθος.
Σε μια άλλη περίπτωση, ο Hahn εργάστηκε απευθείας με έναν μαθητή σε ένα περίγραμμα και προσχέδια μιας εργασίας, μόνο για να επισημανθεί η πλειονότητα της εργασίας που υποβλήθηκε από τον Turnitin ως δημιουργημένη από AI.
Κατά τη διάρκεια του εαρινού εξαμήνου, ο Hahn παρατήρησε ένα μοτίβο αυτών των ψευδώς θετικών. Το εργαλείο του Turnitin ήταν πολύ πιο πιθανό να επισημάνει τη γραφή διεθνών φοιτητών ως τεχνητή νοημοσύνη. Καθώς ο Χαν άρχισε να βλέπει αυτή την τάση, μια ομάδα επιστημόνων υπολογιστών του Στάνφορντ σχεδίασε ένα πείραμα για να κατανοήσει καλύτερα την αξιοπιστία των ανιχνευτών τεχνητής νοημοσύνης στη γραφή από άτομα που δεν μιλούν την αγγλική γλώσσα. Δημοσίευσαν ένα έγγραφο τον περασμένο μήνα, βρίσκοντας μια σαφή μεροληψία . Αν και δεν πραγματοποίησαν το πείραμά τους με το Turnitin, ανακάλυψαν ότι επτά άλλοι ανιχνευτές τεχνητής νοημοσύνης επισήμαναν τη γραφή από μη εγγενείς ομιλητές ως τεχνητή νοημοσύνη στο 61 τοις εκατό των περιπτώσεων. Σε περίπου 20 τοις εκατό των εγγράφων, αυτή η εσφαλμένη αξιολόγηση ήταν ομόφωνη.
Εν τω μεταξύ, οι ανιχνευτές σχεδόν ποτέ δεν έκαναν τέτοια λάθη κατά την αξιολόγηση της γραφής των φυσικών αγγλόφωνων.
Οι ανιχνευτές τεχνητής νοημοσύνης τείνουν να προγραμματίζονται για να επισημαίνουν τη γραφή ως δημιουργημένη από τεχνητή νοημοσύνη όταν η επιλογή λέξης είναι προβλέψιμη και οι προτάσεις είναι πιο απλές. Όπως αποδεικνύεται, το γράψιμο από μη μητρικούς αγγλόφωνους ταιριάζει συχνά σε αυτό το μοτίβο και εκεί έγκειται το πρόβλημα.
Οι άνθρωποι έχουν συνήθως μεγαλύτερα λεξιλόγια και καλύτερη κατανόηση της σύνθετης γραμματικής στις πρώτες τους γλώσσες. Αυτό σημαίνει ότι οι μη γηγενείς αγγλόφωνοι τείνουν να γράφουν πιο απλά στα αγγλικά. Το ίδιο και το ChatGPT. Στην πραγματικότητα, μιμείται την ανθρώπινη γραφή αναλύοντας όλα όσα έχει επεξεργαστεί ποτέ και δημιουργώντας προτάσεις χρησιμοποιώντας τις πιο κοινές λέξεις και φράσεις. Ακόμα κι αν οι ανιχνευτές τεχνητής νοημοσύνης δεν είναι ειδικά εκπαιδευμένοι για να επισημαίνουν λιγότερο περίπλοκη γραφή, τα εργαλεία μαθαίνουν να το κάνουν βλέποντας ξανά και ξανά ότι η γραφή που δημιουργείται από την τεχνητή νοημοσύνη είναι λιγότερο περίπλοκη.
Ο Weixin Liang, ένας από τους συγγραφείς της μελέτης του Stanford, έμαθε καντονέζικα και μανδαρινικά πριν από τα αγγλικά. Ήταν δύσπιστος σχετικά με τους ισχυρισμούς σχεδόν τέλειας ακρίβειας με τους ανιχνευτές τεχνητής νοημοσύνης και ήθελε να εξετάσει πιο προσεκτικά πώς λειτουργούσαν για μαθητές με γλωσσικό υπόβαθρο σαν το δικό του.
«Ο σχεδιασμός πολλών ανιχνευτών GPT κάνει εγγενώς διακρίσεις σε βάρος μη εγγενών συγγραφέων, ιδιαίτερα εκείνων που παρουσιάζουν περιορισμένη γλωσσική ποικιλομορφία και επιλογή λέξεων», είπε ο Liang μέσω email.
Μετά το ντεμπούτο του ChatGPT τον Νοέμβριο του περασμένου έτους, πολλοί από τους σχεδόν 950.000 διεθνείς φοιτητές σε όλη τη χώρα, όπως και οι συνομήλικοί τους, εξέτασαν τις συνέπειες. Οι εκπαιδευτικοί πανικοβλήθηκαν σχετικά με την προοπτική των μαθητών να χρησιμοποιούν γενετική τεχνητή νοημοσύνη για να ολοκληρώσουν εργασίες. Και οι ξένοι φοιτητές, στους οποίους επιτράπηκε να σπουδάσουν εδώ με βίζα ειδικά για την εκπαίδευση, συνειδητοποίησαν γρήγορα την ευπάθειά τους στον αγώνα εξοπλισμών που ξεπήδησε μεταξύ γεννητριών τεχνητής νοημοσύνης και ανιχνευτών.
Ο Χάι Λονγκ Ντο, ανερχόμενος νεώτερος στο Πανεπιστήμιο του Μαϊάμι στην Οξφόρδη του Οχάιο, είπε ότι είναι τρομακτικό να πιστεύει κανείς ότι οι ώρες που αφιερώνει στην έρευνα, τη σύνταξη και την αναθεώρηση των εγγράφων του θα μπορούσαν να τεθούν υπό αμφισβήτηση λόγω των αναξιόπιστων ανιχνευτών τεχνητής νοημοσύνης. Για αυτόν, έναν ντόπιο Βιετνάμ, οι προκατειλημμένοι ανιχνευτές αντιπροσωπεύουν απειλή για τους βαθμούς του και επομένως την αξιοπιστία του.
«Πολύ χειρότερο», είπε ο Do, «είναι ότι μια σημαία AI μπορεί να επηρεάσει τη φήμη μου συνολικά».
Ορισμένοι διεθνείς φοιτητές βλέπουν επιπλέον κινδύνους. Τα κολέγια και τα πανεπιστήμια συμβουλεύουν συστηματικά τους ξένους φοιτητές τους ότι οι κατηγορίες για ακαδημαϊκό παράπτωμα μπορεί να οδηγήσουν σε αναστολή ή αποβολή που θα υπονόμευε το καθεστώς βίζας τους. Η απειλή της απέλασης μπορεί να μοιάζει με νόμιμο φόβο.
Ο Shyam Sharma είναι αναπληρωτής καθηγητής στο Πανεπιστήμιο Stony Brook που γράφει ένα βιβλίο σχετικά με την προσέγγιση των Ηνωμένων Πολιτειών στην εκπαίδευση ξένων φοιτητών. Λέει ότι τα πανεπιστήμια συνήθως αποτυγχάνουν να υποστηρίξουν αυτήν την υποομάδα στις πανεπιστημιουπόλεις τους και οι καθηγητές συχνά δεν καταλαβαίνουν τις μοναδικές τους συνθήκες. Η Sharma βλέπει τη συνεχιζόμενη χρήση ελαττωματικών ανιχνευτών τεχνητής νοημοσύνης ως παράδειγμα του τρόπου με τον οποίο τα ιδρύματα αγνοούν τους διεθνείς φοιτητές της χώρας.
«Επειδή το θύμα, εδώ, είναι λιγότερο σημαντικό», είπε η Sharma. «Το θύμα εδώ αξίζει λιγότερο μια δεύτερη σκέψη ή να αμφισβητήσει το εργαλείο».
Ωστόσο, υπήρξαν εκπαιδευτικοί που αμφισβήτησαν το εργαλείο, ανακαλύπτοντας, όπως ο Hahn, το σφάλμα των ανιχνευτών AI και σημειώνοντας τις σοβαρές συνέπειες των αβάσιμων κατηγοριών . Καθώς οι πανεπιστημιουπόλεις ανοίγουν ξανά για το φθινοπωρινό εξάμηνο, η σχολή πρέπει να εξετάσει εάν η πιο πρόσφατη έρευνα καθιστά σαφέστερη την υπόθεση για την απόσυρση των ανιχνευτών τεχνητής νοημοσύνης συνολικά.
Στην εργασία του Liang, η ομάδα του επεσήμανε ότι οι ψευδείς κατηγορίες για απάτη μπορεί να είναι επιζήμιες για την ακαδημαϊκή καριέρα και την ψυχολογική ευημερία ενός μαθητή. Οι κατηγορίες αναγκάζουν τους μαθητές να αποδείξουν τη δική τους αθωότητα.
«Δεδομένης της πιθανότητας δυσπιστίας και ανησυχίας που προκαλείται από την ανάπτυξη των ανιχνευτών GPT, εγείρει ερωτήματα σχετικά με το εάν οι αρνητικές επιπτώσεις στο μαθησιακό περιβάλλον υπερτερούν των αντιληπτών οφελών», έγραψαν.
Η Diane Larryeu, με καταγωγή από τη Γαλλία, σπουδάζει στη Νομική Σχολή Cardozo φέτος στη Νέα Υόρκη. Πέρυσι, σε ένα μεταπτυχιακό πρόγραμμα του κοινού δικαίου κοντά στο Παρίσι, το αγγλικό δοκίμιο της φίλης της επισημάνθηκε ως δημιουργημένο από AI, είπε. Όταν ρωτήθηκε αν ανησυχούσε ότι μπορεί να συμβεί το ίδιο, επειδή, όπως και η φίλη της, τα αγγλικά είναι η δεύτερη γλώσσα της, η απάντησή της ήταν άμεση: «Φυσικά». Το μόνο που μπορεί να κάνει είναι να ελπίζει ότι θα επιλυθεί γρήγορα. «Θα εξηγούσα απλώς στον δάσκαλό μου και ελπίζω να καταλάβουν», είπε ο Larryeu.
Το OpenAI έκλεισε τον ανιχνευτή AI στα τέλη Ιουλίου λόγω χαμηλής ακρίβειας και το Quill.org και το CommonLit έκαναν το ίδιο με τον Έλεγχο γραφής AI, λέγοντας ότι τα εργαλεία παραγωγής τεχνητής νοημοσύνης είναι πολύ εξελιγμένα για ανίχνευση. Ωστόσο, η Turnitin έχει διπλασιάσει μόνο τους ισχυρισμούς της για υψηλή ακρίβεια.
Η Annie Chechitelli, chief product officer για το Turnitin, είπε ότι το εργαλείο της εταιρείας εκπαιδεύτηκε στη γραφή από αγγλόφωνους στις ΗΠΑ και στο εξωτερικό καθώς και από πολύγλωσσους φοιτητές, επομένως δεν θα έπρεπε να προσδιορίζεται η μεροληψία της εργασίας του Liang.
Η εταιρεία διεξάγει τη δική της έρευνα για το εάν το εργαλείο είναι λιγότερο ακριβές κατά την αξιολόγηση της γραφής γλωσσών που δεν μιλούν την αγγλική γλώσσα. Αν και αυτή η έρευνα δεν έχει δημοσιευθεί ακόμη, ο Chechitelli είπε ότι μέχρι στιγμής φαίνεται ότι η απάντηση είναι αρνητική.
Πίστωση:YouTube
Ωστόσο, παραδέχτηκε ότι το εργαλείο καταλήγει να μαθαίνει ότι η πιο σύνθετη γραφή είναι πιο πιθανό να είναι ανθρώπινη, δεδομένων των μοτίβων στα δοκίμια κατάρτισης.
Η Heewon Yang, ανερχόμενη τελειόφοιτη στο Πανεπιστήμιο της Νέας Υόρκης και καταγωγή από τη Νότια Κορέα, είναι απογοητευμένη από τους ανιχνευτές τεχνητής νοημοσύνης και την ευαλωτότητά της σε αυτούς. «Αν η τεχνητή νοημοσύνη επιλέγει τα γλωσσικά μας μοτίβα και αποφασίζει αυτόματα, δεν ξέρω πώς μπορώ να το αποτρέψω», είπε.
Γι' αυτό ο Liang είπε ότι είναι δύσπιστος ότι ο ανιχνευτής Turnitin μπορεί να αποφύγει τις προκαταλήψεις που εντόπισε η ομάδα του στο έγγραφό τους.
«Αν και η προσέγγιση του Turnitin φαίνεται καλοπροαίρετη», είπε μέσω email, «είναι ζωτικής σημασίας να δούμε τα αποτελέσματα των συνεχιζόμενων δοκιμών τους και τυχόν αξιολογήσεις τρίτων για να σχηματίσουμε μια ολοκληρωμένη κατανόηση της απόδοσης του εργαλείου τους σε σενάρια πραγματικού κόσμου».
Τον Ιούνιο, η Turnitin ενημέρωσε το λογισμικό της για να επιτρέψει στα ιδρύματα να απενεργοποιήσουν τον δείκτη γραφής τεχνητής νοημοσύνης , επομένως, παρόλο που το λογισμικό θα συνεχίσει να αξιολογεί τη γραφή για τεχνητή νοημοσύνη, το συμπέρασμά του δεν θα εμφανίζεται στους εκπαιδευτές. Από τα τέλη Ιουλίου, μόνο το δύο τοις εκατό των ιδρυμάτων πελατών Turnitin είχαν εκμεταλλευτεί αυτή την επιλογή, σύμφωνα με την εταιρεία.
Το Πανεπιστήμιο του Πίτσμπουργκ ήταν ένα. Σε σημείωμα προς το διδακτικό προσωπικό στα τέλη Ιουνίου, το διδακτικό κέντρο του πανεπιστημίου είπε ότι δεν υποστηρίζει τη χρήση ανιχνευτών τεχνητής νοημοσύνης, αναφέροντας το γεγονός ότι τα ψευδώς θετικά «ενέχουν τον κίνδυνο απώλειας της εμπιστοσύνης των φοιτητών, της εμπιστοσύνης και των κινήτρων, κακής δημοσιότητας και πιθανών νομικών κυρώσεων».
Αν και η εμπειρία των ξένων φοιτητών δεν ήταν στο επίκεντρο της λήψης των αποφάσεών τους, ο John Radziłowicz, προσωρινός διευθυντής υποστήριξης διδασκαλίας στο Πανεπιστήμιο του Πίτσμπουργκ, είπε ότι η ομάδα του δοκίμασε μια χούφτα διαθέσιμων ανιχνευτών AI και αποφάσισε ότι τα ψευδώς θετικά ήταν πολύ κοινά για να δικαιολογήσουν τη χρήση τους. Γνωρίζει ότι οι καθηγητές είναι συγκλονισμένοι με την ιδέα των μαθητών να χρησιμοποιούν τεχνητή νοημοσύνη για να εξαπατήσουν, αλλά είπε ότι τους ενθαρρύνει να επικεντρωθούν στα πιθανά οφέλη της τεχνητής νοημοσύνης.
«Πιστεύουμε ότι η εστίαση στην εξαπάτηση και τη λογοκλοπή είναι λίγο υπερβολική και υπερβολική», είπε ο Radziłowicz. Κατά την άποψή του, η χρήση ανιχνευτών τεχνητής νοημοσύνης ως αντίμετρο δημιουργεί πάρα πολλές πιθανότητες να κάνει κακό.
Σας έχουν κατηγορήσει ψευδώς για εξαπάτηση;
Εάν ένας ανιχνευτής τεχνητής νοημοσύνης έχει αναγνωρίσει κατά λάθος το γραπτό σας ως δημιουργημένο από τεχνητή νοημοσύνη, θέλουμε να το ακούσουμε. Στείλτε email [email protected] .
Πιστώσεις
- Ερευνητική δημοσιογράφος Tara García Mathewson
Σχεδιασμός και Γραφικά
Λεζάντα βίντεο
Σύμπλεξη
Επιμέλεια και Παραγωγή αντιγράφων
Επεξεργασία
Δημοσιεύτηκε επίσης εδώ
Φωτογραφία του gaspar zaldo στο Unsplash
