Arta creării datelor: în culisele antrenamentului AI

Știți cum sunt realizate blockbusterele la scară largă? Procesul include locații atent selectate, echipamente profesionale, actori, operatori de cameră, specialiști în iluminat și o întreagă echipă pentru a recrea fiecare scenă cu precizie. În lumea AI, crearea datelor funcționează în același mod. Oglindește acest proces cinematografic, dar în loc să distreze publicul, scopul este de a produce „cadrele” necesare pentru ca algoritmii să învețe eficient.

Potrivit Cognilytica , 80% din dezvoltarea AI nu se referă la formarea propriu-zisă, ci la pregătirea datelor - crearea, colectarea, adnotarea și procesarea. Într-una dintre aceste etape, când datele din lumea reală sunt insuficiente, intervine crearea datelor. Cu cât „scena” este mai realistă și mai diversă, cu atât AI devine mai inteligentă.

Șeful Keymakr de management de proiect, Dennis Sorokin, împărtășește informații despre importanța, procesele, provocările și aplicațiile din lumea reală ale creării datelor.

Ce este crearea datelor?

Crearea datelor este procesul de generare a seturilor de date de imagini și video personalizate adaptate nevoilor specifice ale proiectului. Aceste seturi de date ar trebui să reflecte cu acuratețe scenarii din lumea reală. Crearea de date devine din ce în ce mai populară din cauza cerințelor tot mai mari pentru calitatea și volumul datelor, în special în domeniul auto, medicină, sisteme de securitate, sport și retail. Companiile investesc în crearea de date pentru a îmbunătăți acuratețea și performanța modelului.

Crearea datelor este utilizată de obicei atunci când datele din lumea reală nu sunt disponibile sau sunt insuficiente. Acest proces poate include:

• Creșterea seturilor de date existente: modificarea condițiilor, adăugarea de obiecte sau creșterea variabilității. Companiile pot achiziționa seturi de date existente și le pot face adnotate de companii specializate.

  
  

• Generarea de date sintetice: Utilizarea instrumentelor software pentru a crea imagini, texte sau videoclipuri pentru antrenamentul modelului. De exemplu, software-ul poate genera imagini sau videoclipuri pe baza unui scenariu dat. Cu toate acestea, datele sintetice au limitări: sunt generate pe baza unor parametri predefiniți și nu au variabilitatea naturală a datelor reale. După cum explică Dennis Sorokin, „În sarcinile din lumea reală, mai ales când este necesară o precizie de peste 99%, datele sintetice nu oferă calitatea necesară. Un sistem cu o rată de eroare chiar de 0,1% ar putea identifica greșit sute de oameni într-un aeroport sau poate provoca situații periculoase pe drum. De aceea scenariile personalizate sunt cruciale.”

  
  

• Crearea datelor pentru carcase Edge: Capturarea de imagini și videoclipuri în scenarii unice pentru fiabilitatea modelului. Pentru sarcini complexe, datele reale sunt esențiale. De exemplu, pentru a instrui un model să recunoască inconștiența șoferului, sunt necesare cel puțin 1.000 de videoclipuri cu persoane diferite care simulează această afecțiune. Participanții primesc instrucțiuni simple, cum ar fi „pretinde că își pierd cunoștința”, fără a specifica cum. O persoană s-ar putea să-și lase capul în jos, alta ar putea închide ochii și alta s-ar putea apleca în lateral. Această variabilitate naturală face ca datele reale să fie incredibil de valoroase, îmbunătățind semnificativ precizia antrenamentului modelului.

Cazuri de utilizare pentru crearea de date

Portofoliul Keymakr include numeroase filmări pentru proiecte diverse, fiecare cu cerințe unice — de la echipamente și camere până la actori și locații din Europa, America și Canada. „Înțelegerea tuturor nuanțelor proiectului este esențială pentru a oferi soluții unice. Acest proces seamănă cu adevărat cu regia unui film de la Hollywood și este extrem de captivant. Orice scenariu este rezolvabil atâta timp cât se aliniază cu standardele etice, morale și legale”, spune Sorokin.

Proiecte în cabină

Un exemplu sunt proiectele axate pe detectarea distragerii șoferului. Keymakr a dezvoltat o serie de scenarii pentru a simula comportamente comune de distragere a atenției, cum ar fi:

• Utilizarea telefoanelor mobile în timpul conducerii
• Verificați frecvent oglinda retrovizoare în loc să vă concentrați pe drum
• Aprinderea țigărilor sau folosirea brichetelor
• Se bea din sticle sau prin paie
• Purtând pălării care le ascund fețele, îngreunând modelele să le identifice

Aceste scenarii au fost modelate în condiții controlate cu zeci de participanți. Pentru un proiect, peste 5.000 de videoclipuri scurte de 1-5 minute au surprins participanții care desfășoară diverse activități care distrag atenția. Acest lucru a permis sistemului să recunoască tiparele comportamentale și să răspundă în mod corespunzător la situații neobișnuite.

Recunoașterea atacurilor armate

Crearea datelor este adesea folosită pentru modelele AI axate pe securitatea biroului. Un proiect recent a implicat scenarii care simulează:

• Apariția unei persoane înarmate care amenință ostaticii
• Transferul de arme între indivizi
• Incidente de împușcături și victime rănite

Antrenarea modelului a necesitat peste 3.000 de videoclipuri care prezintă diferite combinații de comportament agresiv, mișcări de grup și manipulare a obiectelor.

Proiecte de securitate

Keymakr a lucrat la proiecte pentru camerele de securitate ale aeroporturilor, concepute pentru a înlocui polițiștii de frontieră. Camerele trebuiau să:

• Recunoașteți fețele și potriviți-le cu datele pașapoartelor
• Controlează automat porțile de acces

Proiectul a necesitat:

• Date de la 5.000 de indivizi din medii etnice diverse
• Aproximativ 1.000 de scenarii în diferite condiții (iluminare scăzută, expunere directă la lumină, vreme rea)
• Scenarii în care participanții și-au acoperit fața cu mâinile, au purtat ochelari, pălării sau glugă

Un aspect critic a fost strângerea de date de la anumite categorii demografice, cum ar fi afro-americanii de peste 50 de ani sau indivizii din Asia de Sud. Astfel de date de nișă nu sunt disponibile public, subliniind necesitatea creării de date personalizate.

Date medicale și instructori virtuali de fitness

Keymakr creează, de asemenea, date pentru proiecte medicale și sisteme virtuale de instructori de fitness. În timp ce acesta din urmă este încă în curs de dezvoltare, cererea este în creștere, în special odată cu creșterea antrenamentelor la distanță și a reabilitării.

Similar cu Xbox Kinect, aceste sisteme folosesc senzori pentru a urmări mișcările utilizatorilor în timp real. Tehnologia modernă permite nu doar urmărirea mișcării, ci și analiza detaliată a execuției exercițiului. Pentru reabilitare, mișcările precise sunt cruciale, cum ar fi atingerea vârfului degetului la umăr la un unghi specific. Sistemul oferă feedback, corectează postura, evidențiază erorile și sugerează ajustări.

Pentru un proiect, Keymak a filmat pe larg sesiuni de antrenament, inclusiv exerciții precum fandari, sărituri și ridicări de picioare. Aproximativ 60 de participanți au efectuat exerciții timp de 15 minute fiecare, cu înregistrare continuă pentru a colecta date pentru adnotarea exactă a mișcării. Filmările au fost solicitante din punct de vedere fizic, chiar și pentru participanții mai tineri, din cauza activităților repetitive, de mare intensitate.

Studii medicale: reacția pupilei la lumină

Pentru un proiect de companie de biometrie, Keymakr a captat date despre reacțiile elevilor la stimuli lumini folosind echipamente specializate asemănătoare cu binoclul. Scopul a fost de a analiza timpii de răspuns ale elevilor la condițiile de lumină în schimbare.

Au participat aproximativ 200 de participanți. Ei au fost bine informați pentru a asigura siguranța procedurii.

Experimentul a implicat:

• Stingând luminile
• Așteptați 30 de secunde
• Creșterea treptată a luminii Analizând reacțiile pupilei
• Studiul a oferit date valoroase despre dinamica răspunsului ochilor, ajutând la diagnosticarea afecțiunilor neurologice și oculare.

Procesul de creare a datelor

Crearea datelor de calitate este un proces în mai mulți pași care implică o planificare atentă, colectare, procesare și livrare. În funcție de sarcină, acest proces poate varia semnificativ.

Etapele cheie includ:

1. Definirea obiectivelor: Clarificarea cerințelor modelului, a scenariilor și a rezultatelor așteptate. Domeniul de activitate include:

• Tipuri de date necesare Condiții de fotografiere (iluminare, mediu, unghiuri)
• Datele demografice ale participanților (vârstă, sex, etnie)
• Echipamente (camere, senzori, dispozitive)
• Metode de adnotare

2. Organizarea și desfășurarea filmărilor: procesul depinde de tipul de date:

• Cercetarea medicală folosește senzori specializați

• Analiza mișcării folosește configurații cu mai multe camere

• Camerele din mașină captează comportamentul șoferului/pasagerului

  
  

Înainte de filmare, echipamentul este verificat, scenariile sunt testate și participanții sunt informați. O atenție deosebită este acordată creării de date în condiții care imită îndeaproape operațiunile din lumea reală. De exemplu, în proiectele de analiză a oboselii șoferului, condițiile călătoriilor lungi sunt simulate, în timp ce în studiile de rău de mișcare, modificările stării pasagerilor sunt înregistrate în diferite condiții de mișcare.

3. Procesarea datelor și adnotare: După fotografiere:

• Filtrați și selectați filmările relevante
• Reglați calitatea imaginii (culoare, iluminare, claritate)
• Adnotă puncte cheie (ochi, buze, mâini, postura corpului)
• Clasificați acțiunile (întoarcerea capului, clipirea, utilizarea telefonului)

Pentru adnotare sunt folosite atât metode manuale, cât și instrumente automate. Uneori, clienții au nevoie de detalii specifice, cum ar fi urmărirea mișcărilor micro-ochilor în cercetarea medicală sau analiza a sute de parametri de comportament al șoferului.

4. Livrarea datelor: seturile de date finale sunt structurate pentru utilizarea clientului, inclusiv:

• Videoclipuri adnotate
• Imagini etichetate
• Tabele de parametri cu caracteristici de mișcare

Sunt de asemenea luate în considerare problemele legate de stocarea și transferul de date. De exemplu, volumul video 4K de la câteva ore de filmare poate ajunge la câțiva terabytes, ceea ce necesită servere speciale sau soluții cloud.

Provocări în crearea datelor

Oferind crearea de date, este esențial să luați în considerare nu numai limitările tehnice, ci și aspectele legale și etice ale lucrului cu date.

„În lumea datelor, în care fiecare detaliu contează, nu este suficient să creezi doar date; este esențial să le asigurăm acuratețea, diversitatea și conformitatea cu standardele etice. Fără aceasta, întregul proces își pierde valoarea și riscă să distorsioneze realitatea”, spune Dennis Sorokin.

• Diversitatea participanților

În funcție de proiect, participanții pot fi nevoiți să provină din diferite grupe de vârstă, gen, naționalități și tonuri ale pielii. În unele cazuri, sunt solicitați participanți cu caracteristici specifice - cum ar fi persoane în vârstă pentru studii medicale cu diferite expresii faciale pentru analiza emoțiilor sau persoane cu trăsături fiziologice speciale pentru sisteme biometrice.

Găsirea participanților potriviți în diferite regiuni poate fi o provocare. Uneori, procesul de „casting” poate dura săptămâni sau chiar luni pentru a asigura numărul potrivit de participanți pentru a crea seturi de date cu adevărat variate cu diferiți membri ai comunității.

• Volumul datelor și limitările tehnice

Capturarea videoclipurilor de înaltă calitate necesită resurse substanțiale de stocare și transfer de date. De exemplu, înregistrarea unui videoclip 4K timp de o oră poate dura câteva zeci de gigaocteți. Camerele speciale precum infraroșu, termice etc. pot produce și mai multe date. Dacă în proiect sunt utilizate mai multe camere, volumul total de date poate crește la câțiva teraocteți. Organizarea fluxului de lucru necesită echipamente puternice și logistică atent planificată, de la transferul eficient de date până la adnotare și livrare către clienți.

• Provocări etice și juridice

Crearea datelor ridică mai multe preocupări etice și juridice, mai ales atunci când implică colectarea de informații care conțin imagini cu persoane, date biometrice sau acțiuni în locuri publice. Din punct de vedere etic, toți participanții la filmări trebuie să își dea consimțământul informat pentru ca datele lor să fie folosite prin semnarea documentelor necesare. Confidențialitatea joacă, de asemenea, un rol esențial; este necesar să se asigure că persoanele nu pot fi identificate atunci când clientul nu o solicită și să se respecte standardele de protecție a datelor. O altă problemă presantă este manipularea datelor - modelarea artificială sau scenele în scenă trebuie să reflecte îndeaproape realitatea pentru a preveni distorsiunile informațiilor și prejudecățile algoritmice.

Din punct de vedere juridic, principala provocare constă în protejarea datelor cu caracter personal. Reglementări precum GDPR în Europa și CCPA în SUA stabilesc linii directoare stricte pentru colectarea și prelucrarea datelor, inclusiv drepturile participanților de a solicita ștergerea datelor lor. Există, de asemenea, restricții privind utilizarea datelor colectate în scopuri comerciale: informațiile adunate pentru un proiect nu pot fi întotdeauna revândute sau utilizate în alte cercetări fără acordul participanților. În plus, legile privind filmările publice diferă de la o țară la alta — unele locuri permit filmarea oamenilor fără consimțământul lor. În schimb, altele necesită permisiuni specifice, mai ales atunci când datele sunt utilizate în scopuri comerciale sau de cercetare. Respectarea standardelor etice și a cerințelor legale este un aspect cheie al manipulării datelor, ajutând la atenuarea riscurilor și asigurând că informațiile sunt utilizate în mod corespunzător și în siguranță.

Concluzii

Dennis Sorokin consideră că crearea de date rămâne un domeniu foarte căutat, în special în proiectele care necesită materiale video specifice care nu pot fi găsite în domeniul public. „Fie că instruiți AI pentru transportul de nouă generație, analizați comportamentul consumatorilor în magazine sau depășiți granițele cercetării medicale, cheia este să rămâneți flexibil, precis și aliniat cu ceea ce au nevoie clienții”, spune el. În ciuda provocărilor, acest domeniu continuă să evolueze, găsind aplicații în diverse industrii și câștigând atenție și cerere din ce în ce mai mari.