«Ω, δηλαδή είναι σαν το Shazam, αλλά για την τέχνη;» ρώτησε ένας φίλος αφού πέρασα τα δύο τελευταία λεπτά εξηγώντας το τελευταίο μου έργο.
Ήταν μια πλατφόρμα που θα μπορούσε να βοηθήσει τους λάτρεις της τέχνης να προσδιορίσουν ποια καλλιτέχνιδα έκανε έναν πίνακα και μόλις το είχε εξηγήσει με 5 λέξεις. «Όπως το Shazam, αλλά για την τέχνη».
Αυτό το άρθρο αφορά γιατί ξεκίνησα το έργο και επίσης πώς έφτιαξα την πρώτη έκδοση.
Γιατί;
Αγαπούσα την τέχνη σε όλη μου τη ζωή.
Έχω περάσει χρόνια ερευνώντας κινήματα τέχνης, φτιάχνοντας και εκθέτω τα δικά μου έργα τέχνης και γενικά κάνω παρέα σε καλλιτέχνες και γκαλερί. Με τον καιρό, ανέπτυξα την ικανότητα να μαντεύω (με υψηλά επίπεδα ακρίβειας) ποιος καλλιτέχνης έκανε έναν πίνακα, ειδικά αν ήταν Αφρικανός καλλιτέχνης.
Στην αναγέννηση της τεχνητής νοημοσύνης του 2022, εμπνεύστηκα και σκέφτηκα ότι θα ήταν διασκεδαστικό να δω αν θα μπορούσα να εκπαιδεύσω τους υπολογιστές για να πετύχουν το ίδιο πράγμα, οπότε ξεκίνησα ένα μικρό προσωπικό έργο.
Ενώ το δούλευα, συνειδητοποίησα γρήγορα ότι υπήρχαν μεγαλύτερα προβλήματα. Προβλήματα γύρω από την τεκμηρίωση, την αναγνώριση και την ανταλλαγή γνώσεων αφρικανικής τέχνης. Για παράδειγμα, υπάρχουν παλιοί Αφρικανοί μάστορες των οποίων οι πίνακες είναι δύσκολο να βρεθούν στο διαδίκτυο. Πρέπει να πας σε παλιά σχολικά βιβλία τέχνης ή σε προσωπικές συλλογές για να τα βρεις. Ανησύχησα ότι καθώς ο κόσμος κινείται πλήρως ψηφιακός, πολλά από αυτά τα έργα μπορεί να χαθούν στην ιστορία.
Η εμπειρία αυτής της πρόκλησης με έκανε να αποφασίσω να δημοσιοποιήσω το έργο και να το επεκτείνω στην ψηφιακή διατήρηση και ανταλλαγή γνώσεων για την αφρικανική τέχνη και καλλιτέχνες.
Επικεντρώνεται στην αφρικανική τέχνη γιατί ήξερα ότι κανείς άλλος δεν θα το έκανε, αλλά έπρεπε να γίνει, οπότε έπρεπε να ξεκινήσει από εμένα.
Πώς λειτουργεί
Η χρήση της πλατφόρμας είναι απλή.
Ανεβάζετε μια φωτογραφία ενός πίνακα ή επιλέγετε μία από τις διαθέσιμες δειγματοληπτικές εικόνες.
Η πλατφόρμα επεξεργάζεται την εικόνα, προσδιορίζει τους καλλιτέχνες των οποίων τα στυλ τέχνης είναι πιο παρόμοια με το ανεβασμένο έργο τέχνης, δημιουργεί μια βαθμολογία εμπιστοσύνης για κάθε καλλιτέχνη με βάση το πόσο παρόμοια είναι η φωτογραφία που ανέβηκε με το στυλ τέχνης του και επιλέγει τον καλλιτέχνη με την υψηλότερη βαθμολογία εμπιστοσύνης.
Στη συνέχεια, εμφανίζονται πληροφορίες για τον καλλιτέχνη στην παρακάτω μορφή.
Ο δείκτης εμπιστοσύνης δημοσιοποιείται για να σας δείξει πώς κατέληξε σε αυτήν την πρόβλεψη και να σας επιτρέψει να αποφασίσετε πώς θέλετε να χρησιμοποιήσετε το παρεχόμενο αποτέλεσμα.
Υπάρχει επίσης μια ενότητα σχολίων (με αντίχειρες πάνω ή κάτω) ώστε να μπορείτε να συνεισφέρετε στο έργο και να συμβάλλετε στη βελτίωση του μοντέλου.
Αυτή είναι μια απλοποιημένη εξήγηση του τρόπου λειτουργίας της πλατφόρμας. Παρακάτω υπάρχουν περισσότερες πληροφορίες (με όσο το δυνατόν λιγότερη τεχνική ορολογία) για το πώς κατασκευάστηκε.
Προετοιμασία Τεχνολογίας / Δεδομένων
Συλλογή και επεξεργασία δεδομένων
Αυτό δεν ήταν το πρώτο μου έργο ML, οπότε ήξερα ότι ο χυμός θα ήταν στα δεδομένα της εκπαίδευσης. Έπρεπε να βρω και να προετοιμάσω αρκετά δεδομένα υψηλής ποιότητας για το μοντέλο, προκειμένου να έχω καλά αποτελέσματα. Αυτό αποδείχτηκε πιο δύσκολο από όσο νόμιζα.
Άρχισα να συγκεντρώνω και να κατηγοριοποιώ τα δεδομένα εκπαίδευσης, αλλά γρήγορα συνειδητοποίησα ότι θα χρειαζόταν πολύς χρόνος, έτσι έβαλα την αδερφή μου και δύο ασκούμενους να δουλέψουν πάνω σε αυτό μαζί μου για μερικούς μήνες. (Πληρώθηκαν για τη δουλειά τους)
Το επόμενο βήμα ήταν ο καθαρισμός και η τυποποίηση των δεδομένων.
- Αφαίρεση διπλότυπων και κανονικοποίηση των δεδομένων
- Διασφάλιση της σωστής επισήμανσης των δεδομένων
- Διασφάλιση ότι κάθε καλλιτέχνης είχε περίπου τον ίδιο όγκο δεδομένων εκπαίδευσης για την αποφυγή μεροληψίας στο μοντέλο λόγω ανισορροπίας τάξης.
- Διασφάλιση ότι τα δεδομένα εκπαίδευσης για κάθε καλλιτέχνη περιλάμβαναν αρκετή ποικιλία των διαφορετικών στυλ ζωγραφικής και των μέσων τους, ώστε να αποφευχθεί η υπερβολική προσαρμογή σε ένα συγκεκριμένο στυλ/μέσο από έναν καλλιτέχνη.
- Διασφάλιση ότι οι φωτογραφίες της εκπαίδευσης είχαν πίνακες ζωγραφικής σε διαφορετικά πλαίσια. Φωτογραφίες από πίνακες σε διαφορετικά περιβάλλοντα, φωτογραφίες από πίνακες ανάποδα, ασπρόμαυρες εκδόσεις των πινάκων κ.λπ. Αυτή η ποικιλομορφία θα βοηθούσε το μοντέλο να έχει καλή απόδοση στις περισσότερες περιπτώσεις.
Ήταν πολλή δουλειά, αλλά το να το πετύχεις αυτό θα έκανε το μοντέλο να έχει καλή απόδοση.
Μόλις ολοκληρώθηκε η διαδικασία προετοιμασίας των δεδομένων, χώρισα τα δεδομένα σε δεδομένα εκπαίδευσης και δεδομένα δοκιμών (έλεγχος) για να διευκολύνω τη χρήση τους και να επαληθεύσω την ακρίβεια.
Κατασκευή/Εκπαίδευση των Μοντέλων
Όταν σκεφτόμουν τα μοντέλα, είχα δύο επιλογές.
Βασιστείτε σε ένα μοντέλο θεμελίωσης ανοιχτού κώδικα ή βασιστείτε σε ένα ιδιόκτητο μοντέλο που βασίζεται σε Cloud, π.χ. το AutoML του GCP.
Επιχείρησα και τις δύο προσεγγίσεις, αλλά δεδομένου ότι το έργο αρχικά υποτίθεται ότι ήταν μια απόδειξη της ιδέας, η διαχείριση κόστους ήταν ο μεγαλύτερος παράγοντας που έπρεπε να εξετάσω.
Τελικά άρχισα να χρησιμοποιώ το μοντέλο θεμελίωσης ανοιχτού κώδικα, EfficientNet. Είναι δωρεάν στη χρήση, Είναι καλό στο να αναγνωρίζει χαρακτηριστικά στα δεδομένα, δεν απαιτεί πολύ υπολογισμό για να εκτελεστεί, προσφέρει ευελιξία στην ανάπτυξη και το είχα χρησιμοποιήσει κάπως στο παρελθόν.
Βρήκα μια υλοποίηση Tensorflow του EfficientNet και τη χρησιμοποίησα ως τη ραχοκοκαλιά του μοντέλου. Υποστήριξε το Keras, έτσι που βοήθησε επίσης στη διαχείριση της πολυπλοκότητας.
Ήταν αρκετά αποτελεσματικό ώστε να μπορούσα να εκπαιδεύσω δοκιμαστικές εκδόσεις σε ένα Macbook M1 Pro με 16 GB μνήμης RAM (όμως έπρεπε να αντιμετωπίσω τον φορητό υπολογιστή μου που κατά καιρούς παγώνει).
Κάτω από την κουκούλα, το μοντέλο επεξεργάζεται τις φωτογραφίες για να εντοπίσει βασικά χαρακτηριστικά, όπως πινελιές, συνδυασμούς χρωμάτων, σύνθεση κ.λπ., και συμπυκνώνει τις πληροφορίες για να διατηρήσει τα σημαντικά μέρη. Χρησιμοποιεί αυτές τις πληροφορίες για να εντοπίσει ομοιότητες μεταξύ φωτογραφιών ζωγραφικής που παρέχονται πρόσφατα και των δεδομένων εκπαίδευσης.
Πειραματίστηκα με διάφορες αξίες εποχής και σταμάτησα νωρίς για να δω τι λειτούργησε καλύτερα και τελικά κατέληξα σε ενδιαφέρουσες μετρήσεις.
Συνέχισα να προσθέτω περισσότερους καλλιτέχνες και να πειραματίζομαι με διαφορετικές αξίες για να αποκτήσω κάτι αρκετά ακριβές για να ξεκινήσω.
Η τελική υλοποίηση περιελάμβανε δύο μοντέλα. Ένα για την αναγνώριση του στυλ ζωγραφικής και ένα άλλο για την αναγνώριση του ζωγραφικού μέσου.
Πήρα βοήθεια για να βελτιώσω περαιτέρω τα μοντέλα και τελικά να τα αναπτύξω με περιτυλίγματα API.
Σχεδιασμός & Ανάπτυξη της εφαρμογής
Μόλις τα μοντέλα ταξινομήθηκαν, η υπόλοιπη πλατφόρμα ήταν εύκολη στην κατασκευή. Η τελική υλοποίηση φαινόταν ως εξής:
Πλατφόρμα Backend/API : Κατασκεύασα το backend/API με τη Laravel για να χειρίζομαι αποτελεσματικά αιτήματα λογικής και δρομολόγησης στα πραγματικά μοντέλα. Αυτό το επίπεδο χειρίζεται όλη την επεξεργασία εικόνας, την αποθήκευση, την επικύρωση, τις πληροφορίες καλλιτέχνη και τη διαλογή αιτημάτων, δηλαδή τον έλεγχο των αιτημάτων που αποστέλλονται στα μοντέλα.
Frontend : Το frontend δημιουργήθηκε με το React. Πραγματικά δεν μου αρέσει να γράφω κώδικα front-end, οπότε έλαβα βοήθεια για την κατασκευή αυτού του τμήματος. Βασικά ελέγχει την εμφάνιση των πληροφοριών και των αιτημάτων των χρηστών που αποστέλλονται στο backend.
Διακομιστής/Φιλοξενία: Φιλοξένησα ολόκληρη την εφαρμογή στο Heroku (περιλαμβάνονται τα μοντέλα). Επέλεξα το Heroku γιατί μου επέτρεψε να έχω πολλές έτοιμες υπηρεσίες και υποστήριξη με διαχειρίσιμο κόστος. Μετά από μήνες δουλειάς για τη συλλογή δεδομένων, την εκπαίδευση των μοντέλων και τη δημιουργία της βασικής πλατφόρμας, δεν ήθελα άλλη δουλειά, απλώς ήθελα να βγω ζωντανά!
Τελικές Σημειώσεις
Ηθική
Εκπαίδευσα τα μοντέλα αποκλειστικά σε δημόσια διαθέσιμα δεδομένα.
Καθώς ανέπτυξα το έργο, έκανα check in με διάφορους καλλιτέχνες για να δω αν είχαν προβλήματα με το έργο και δεν έλαβα καμία απώθηση. Ωστόσο, εάν κάποιος καλλιτέχνης που έχω συμπεριλάβει στο έργο θέλει να αποκλειστεί, παρακαλώ ενημερώστε με. Θα το κάνω αμέσως.
Μελλοντικά σχέδια
Βλέπω πολλές περιπτώσεις χρήσης για αυτό στην εκπαίδευση, την ανακάλυψη τέχνης, τον τουρισμό και το εμπόριο. Υπάρχουν επίσης μερικά χαρακτηριστικά που έχω σκεφτεί. έναν κατάλογο καλλιτεχνών, παιχνίδια τέχνης που βασίζονται στο διαδίκτυο, προτάσεις καλλιτεχνών και πολλά άλλα.
Το σχέδιό μου είναι να συνεχίσω να βελτιώνω το έργο και να μαθαίνω τι θέλουν να δουν στη συνέχεια οι καλλιτέχνες, τα ενδιαφερόμενα μέρη της βιομηχανίας και οι λάτρεις της τέχνης.
Είμαι πολύ χαρούμενος που ξεκίνησα αυτό το έργο. Από τη μια, μου έδωσε μια μοναδική ευκαιρία να συνδυάσω δύο πράγματα με τα οποία είμαι παθιασμένος (τέχνη + τεχνολογία), από την άλλη με προκάλεσε και με ανάγκασε να σκεφτώ δημιουργικά διάφορα προβλήματα. Νιώθω επίσης ότι συμβάλλω ενεργά στην ανάπτυξη και τη διατήρηση της αφρικανικής τέχνης, και αυτό είναι υπέροχο.
Σύνδεσμος έργου (beta) : https://beta.whomadethisartwork.com/
Σημείωση *: Η έκδοση beta περιορίζεται σε 100 Αφρικανούς καλλιτέχνες με σχέδια να συμπεριλάβει περισσότερους σύντομα.*
Επίδειξη :
Αν σας άρεσε να διαβάζετε αυτό το άρθρο, είναι επειδή χρησιμοποίησα μια τεχνική γραφής που ονομάζεται «η ολισθηρή κλίση» για να το κάνω διασκεδαστικό στην ανάγνωση. Είναι μια τεχνική που χρησιμοποιείται από πολλούς σπουδαίους συγγραφείς αλλά και κειμενογράφους. Αυτή η τεχνική και πολλές άλλες διδάσκονται σε ένα μάθημα που ονομάζεται CopyThat και είναι το μόνο μάθημα γραφής που θα χρειαστείτε ποτέ. Το καλύτερο μέρος είναι ότι χρειάζονται μόνο 10 ημέρες για να ολοκληρωθεί. 10 μέρες για να γίνεις πραγματικά καλός συγγραφέας. Επισκεφτείτε το CopyThat τώρα για να ξεκινήσετε το ταξίδι σας για να γίνετε σπουδαίος συγγραφέας.
