A arte da creación de datos: entre bastidores do adestramento en IA

Sabes como se fan os grandes éxitos de taquilla? O proceso inclúe localizacións coidadosamente seleccionadas, equipos profesionais, actores, operadores de cámara, especialistas en iluminación e todo un equipo para recrear cada escena con precisión. No mundo da IA, a creación de datos funciona do mesmo xeito. Reflicte este proceso cinematográfico, pero en lugar de entreter ao público, o obxectivo é producir os "cadros" necesarios para que os algoritmos aprendan de forma eficaz.

Segundo Cognilytica , o 80 % do desenvolvemento da IA non se refire á formación real senón á preparación de datos: creación, recollida, anotación e procesamento. Nunha destas etapas, cando os datos do mundo real son insuficientes, a creación de datos intervén. Canto máis realista e diversa sexa a "escena", máis intelixente se fai a IA.

O xefe de Xestión de Proxectos de Keymakr , Dennis Sorokin, comparte información sobre a importancia, o proceso, os desafíos e as aplicacións do mundo real da creación de datos.

Que é a creación de datos?

A creación de datos é o proceso de xeración de conxuntos de datos de imaxe e vídeo personalizados adaptados ás necesidades específicas do proxecto. Estes conxuntos de datos deberían reflectir con precisión escenarios do mundo real. A creación de datos é cada vez máis popular debido á crecente demanda de calidade e volume de datos, especialmente en automoción, medicina, sistemas de seguridade, deportes e venda polo miúdo. As empresas invisten na creación de datos para mellorar a precisión e o rendemento dos modelos.

A creación de datos adoita utilizarse cando os datos do mundo real non están dispoñibles ou son insuficientes. Este proceso pode incluír:

• Aumentar conxuntos de datos existentes: modificar condicións, engadir obxectos ou aumentar a variabilidade. As empresas poden comprar conxuntos de datos existentes e facer que as anoten empresas especializadas.

  
  

• Xeración de datos sintéticos: Uso de ferramentas de software para crear imaxes, textos ou vídeos para a formación de modelos. Por exemplo, o software pode xerar imaxes ou vídeos en función dun escenario determinado. Non obstante, os datos sintéticos teñen limitacións: xéranse en función de parámetros predefinidos e carecen da variabilidade natural dos datos reais. Como explica Dennis Sorokin, "Nas tarefas do mundo real, especialmente cando se require unha precisión superior ao 99 %, os datos sintéticos non proporcionan a calidade necesaria. Un sistema cunha taxa de erro do 0,1 % pode identificar mal a centos de persoas nun aeroporto ou provocar situacións perigosas na estrada. Por iso os escenarios personalizados son cruciais".

  
  

• Creación de datos para casos Edge: captura de imaxes e vídeos en escenarios únicos para a fiabilidade do modelo. Para tarefas complexas, os datos reais son esenciais. Por exemplo, para adestrar a un modelo para recoñecer a inconsciencia do condutor, son necesarios polo menos 1.000 vídeos con persoas diferentes que simulen esta condición. Os participantes reciben instrucións sinxelas como "finxir perder o coñecemento" sen especificar como. Unha persoa pode caer a cabeza, outra pode pechar os ollos e outra pode inclinarse de lado. Esta variabilidade natural fai que os datos reais sexan incriblemente valiosos, mellorando significativamente a precisión do adestramento do modelo.

Casos de uso para a creación de datos

A carteira de Keymakr inclúe numerosas rodaxes para proxectos diversos, cada un con requisitos únicos, desde equipos e cámaras ata actores e localizacións en Europa, América e Canadá. "Entender todos os matices do proxecto é esencial para ofrecer solucións únicas. Este proceso parécese realmente a dirixir unha película de Hollywood e é moi atractivo. Calquera escenario é solucionable sempre que se axuste aos estándares éticos, morais e legais ", di Sorokin.

Proxectos en cabina

Un exemplo son os proxectos centrados na detección de distraccións dos condutores. Keymakr desenvolveu unha serie de escenarios para simular comportamentos de distracción comúns, como:

• Usar teléfonos móbiles mentres conduces
• Revisar frecuentemente o espello retrovisor en lugar de enfocarse na estrada
• Prender cigarros ou usar chisqueiros
• Beber de botellas ou a través de palla
• Usando sombreiros que ocultan as súas caras, o que dificulta a identificación dos modelos

Estes escenarios foron modelados en condicións controladas con decenas de participantes. Para un proxecto, máis de 5.000 vídeos curtos de 1 a 5 minutos captaron aos participantes realizando varias actividades que distraían. Isto permitiu ao sistema recoñecer patróns de comportamento e responder adecuadamente a situacións pouco habituais.

Recoñecemento de ataque armado

A creación de datos úsase a miúdo para modelos de IA centrados na seguridade da oficina. Un proxecto recente incluía escenarios que simulaban:

• A aparición dunha persoa armada ameazando con reféns
• A transferencia de armas entre individuos
• Incidentes de tiroteos e vítimas feridas

O adestramento do modelo requiriu máis de 3.000 vídeos que mostrasen varias combinacións de comportamento agresivo, movementos grupais e manexo de obxectos.

Proxectos de seguridade

Keymakr traballou en proxectos de cámaras de seguridade aeroportuarias deseñadas para substituír aos gardas de fronteiras. As cámaras precisaban:

• Recoñece caras e relacionalas cos datos do pasaporte
• Controla automaticamente as portas de acceso

O proxecto requiriu:

• Datos de 5.000 individuos de diversas etnias
• Ao redor de 1.000 escenarios en diferentes condicións (pouca iluminación, exposición directa á luz, mal tempo)
• Escenarios nos que os participantes tapaban a cara coas mans, levaban lentes, sombreiros ou capuchas

Un aspecto crítico foi a recollida de datos de datos demográficos específicos, como os afroamericanos maiores de 50 anos ou os individuos do sur de Asia. Estes datos de nicho non están dispoñibles publicamente, o que subliña a necesidade de crear datos personalizados.

Datos médicos e instrutores virtuais de fitness

Keymakr tamén crea datos para proxectos médicos e sistemas virtuais de instrutor de fitness. Aínda que este último aínda está emerxendo, a demanda crece, especialmente co aumento dos adestramentos remotos e da rehabilitación.

Do mesmo xeito que Xbox Kinect, estes sistemas usan sensores para rastrexar os movementos dos usuarios en tempo real. A tecnoloxía moderna permite non só o seguimento do movemento, senón tamén unha análise detallada da execución do exercicio. Para a rehabilitación, os movementos precisos son cruciais, como alcanzar a punta do dedo ata o ombreiro nun ángulo específico. O sistema proporciona comentarios, corrixe a postura, destaca erros e suxire axustes.

Para un proxecto, Keymak filmou amplamente sesións de adestramento, incluíndo exercicios como estocadas, saltos e levantamentos de pernas. Ao redor de 60 participantes realizaron exercicios de 15 minutos cada un, cunha gravación continua para recoller datos para anotar o movemento con precisión. As rodaxes foron fisicamente esixentes, mesmo para os participantes máis novos, debido ás actividades repetitivas e de alta intensidade.

Estudos médicos: reacción da pupila á luz

Para un proxecto da empresa de biometría, Keymakr capturou datos sobre as reaccións dos alumnos ante estímulos luminosos utilizando equipos especializados que se asemellan a prismáticos. O obxectivo era analizar os tempos de resposta dos alumnos ante as condicións de luz cambiantes.

Participaron uns 200 participantes. Foron informados a fondo para garantir a seguridade do procedemento.

O experimento implicou:

• Apagando as luces
• Agardando 30 segundos
• Aumento gradual da luz Analizando as reaccións da pupila
• O estudo proporcionou datos valiosos sobre a dinámica da resposta ocular, axudando a diagnosticar as condicións neurolóxicas e oculares.

O proceso de creación de datos

A creación de datos de calidade é un proceso de varios pasos que implica unha planificación, recollida, procesamento e entrega coidadosos. Dependendo da tarefa, este proceso pode variar significativamente.

As etapas clave inclúen:

1. Definición de obxectivos: aclaración dos requisitos do modelo, escenarios e resultados esperados. O ámbito de traballo inclúe:

• Tipos de datos necesarios Condicións de disparo (iluminación, ambiente, ángulos)
• Datos demográficos dos participantes (idade, sexo, etnia)
• Equipos (cámaras, sensores, dispositivos)
• Métodos de anotación

2. Organización e realización de rodaxes: o proceso depende do tipo de datos:

• A investigación médica utiliza sensores especializados

• A análise de movemento emprega configuracións multicámara

• As cámaras dos coches captan o comportamento do condutor/pasaxeiro

  
  

Antes da rodaxe, compróbase o equipamento, probóanse os escenarios e infórmase aos participantes. Préstase especial atención á creación de datos en condicións que imiten de preto as operacións do mundo real. Por exemplo, nos proxectos de análise de fatiga do condutor, simuláronse as condicións de viaxes longas, mentres que nos estudos de mareos rexístranse os cambios de estado dos pasaxeiros en diferentes condicións de movemento.

3. Procesamento de datos e anotación: despois da filmación:

• Filtra e selecciona a imaxe relevante
• Axustar a calidade da imaxe (cor, iluminación, nitidez)
• Anotar puntos clave (ollos, beizos, mans, postura corporal)
• Clasifica accións (xiros de cabeza, pestanexo, uso do teléfono)

Para a anotación utilízanse tanto métodos manuais como ferramentas automatizadas. Ás veces, os clientes requiren detalles específicos, como o seguimento dos movementos dos micro-ollos na investigación médica ou a análise de centos de parámetros de comportamento do condutor.

4. Entrega de datos: os conxuntos de datos finais estrutúranse para o uso do cliente, incluíndo:

• Vídeos anotados
• Imaxes etiquetadas
• Táboas de parámetros con características de movemento

Tamén se consideran cuestións relacionadas co almacenamento e transferencia de datos. Por exemplo, o volume de vídeo 4K de varias horas de rodaxe pode alcanzar varios terabytes, o que require servidores especiais ou solucións na nube.

Retos na creación de datos

Ao proporcionar a creación de datos, é esencial ter en conta non só as limitacións técnicas, senón tamén os aspectos legais e éticos do traballo con datos.

"No mundo dos datos, onde cada detalle importa, non abonda con só crear datos; é fundamental garantir a súa precisión, diversidade e o cumprimento dos estándares éticos. Sen isto, todo o proceso perde o seu valor e corre o risco de distorsionar a realidade", afirma Dennis Sorokin.

• Diversidade de participantes

Segundo o proxecto, os participantes poden ter que vir de diferentes grupos de idade, xéneros, nacionalidades e tons de pel. Nalgúns casos, son necesarios participantes con características específicas, como persoas maiores para estudos médicos con diversas expresións faciais para análise de emocións ou individuos con trazos fisiolóxicos particulares para sistemas biométricos.

Atopar participantes axeitados en diferentes rexións pode ser un reto. Ás veces, o proceso de "casting" pode levar semanas ou incluso meses para garantir a cantidade correcta de participantes para crear conxuntos de datos verdadeiramente variados con diferentes membros da comunidade.

• Volume de datos e limitacións técnicas

A captura de vídeo de alta calidade require importantes recursos de almacenamento e transferencia de datos. Por exemplo, gravar vídeo 4K durante unha hora pode ocupar varias decenas de gigabytes. As cámaras especiais como infravermellos, térmicas, etc., poden producir aínda máis datos. Se se usan varias cámaras no proxecto, o volume total de datos pode aumentar a varios terabytes. A organización do fluxo de traballo require un equipo potente e unha loxística coidadosamente planificada, desde a transferencia eficiente de datos ata a anotación e entrega aos clientes.

• Retos éticos e legais

A creación de datos suscita varias preocupacións éticas e legais, especialmente cando se trata de recoller información que contén imaxes de persoas, datos biométricos ou accións en lugares públicos. Desde unha perspectiva ética, todos os participantes na rodaxe deberán prestar o seu consentimento informado para que os seus datos sexan utilizados mediante a sinatura dos documentos necesarios. A confidencialidade tamén xoga un papel fundamental; é necesario garantir que as persoas non poidan ser identificadas cando o cliente non o requira e cumprir as normas de protección de datos. Outro problema urxente é a manipulación de datos: o modelado artificial ou as escenas escenificadas deben reflectir de preto a realidade para evitar a distorsión da información e o sesgo algorítmico.

Desde o punto de vista legal, o principal desafío reside na protección dos datos persoais. Normas como o GDPR en Europa e a CCPA nos EUA establecen pautas estritas para a recollida e procesamento de datos, incluídos os dereitos dos participantes a solicitar a eliminación dos seus datos. Tamén hai restricións para o uso dos datos recollidos con fins comerciais: a información recollida para un proxecto non sempre pode ser revendida ou usada noutras investigacións sen o consentimento dos participantes. Ademais, as leis sobre as filmacións públicas difiren dun país a outro: algúns lugares permiten filmar persoas sen o seu consentimento. En cambio, outros requiren permisos específicos, especialmente cando os datos se utilizan con fins comerciais ou de investigación. O cumprimento dos estándares éticos e dos requisitos legais é un aspecto clave do manexo de datos, que axuda a mitigar os riscos e garante que a información se utiliza de forma axeitada e segura.

Conclusións

Dennis Sorokin cre que a creación de datos segue sendo un campo moi demandado, especialmente nos proxectos que requiren materiais de vídeo específicos que non se atopan no dominio público. "Se estás adestrando AI para o transporte de nova xeración, analizando o comportamento dos consumidores nas tendas ou superando os límites da investigación médica, a clave é manterte flexible, preciso e aliñado co que necesitan os clientes", di. A pesar dos retos, este campo segue evolucionando, atopando aplicacións en varias industrias e gañando cada vez máis atención e demanda.