Cómo la IA lucha contra los monopolios en la publicidad deportiva con GPU y servidores

Alquile servidores GPU con implementación instantánea o un servidor con una configuración personalizada con tarjetas NVIDIA Tesla H100/H100 80Gb o RTX A5000/A4000 de nivel profesional. También están disponibles servidores GPU con tarjetas de juego RTX4090 .

Los eventos deportivos actuales están plagados de publicidad, desde comerciales en las pantallas hasta logotipos estáticos de empresas en las vallas publicitarias de los estadios. Las ondas abarcan varios países con diferentes marcas y leyes de publicidad. Gracias a los avances en la tecnología AI y AR, es posible personalizar la información que se muestra para cada audiencia directamente durante la transmisión en vivo de un partido.

La publicidad en los estadios deportivos era inicialmente estática y estaba destinada a las personas que asistían a un evento concreto en una ciudad determinada. Posteriormente aparecieron las pantallas LED, que mostraban anuncios alternos. La siguiente evolución fue insertar una pantalla verde en los espacios de las vallas publicitarias durante una fracción de segundo, permitiendo a la IA definir el espacio e insertar un texto único.

Hoy en día, puedes reemplazar cualquier cosa por cualquier cosa. El desafío es garantizar que el reemplazo se realice de manera discreta y realista. Los principales actores de este mercado utilizan cámaras especiales. De las fotografías, podemos concluir que existen sensores especializados que disciernen información de posicionamiento y alineación. Es decir, las soluciones populares todavía tienen muletas integradas.

Todo esto requiere una enorme potencia informática, ya que las entradas y la emisión original se procesan en línea mediante un software especializado. Es decir, los servidores para informática están conectados a las cámaras y sensores. Este equipo es caro, el mercado está cerrado y la tecnología también lo está. Aquí es donde la IA y los servidores GPU en la nube vienen al rescate.

Caro, estático y no para todos

HOSTKEY tiene un cliente, una startup llamada Laboratorio PTF , que ha desarrollado su propia tecnología para implementar publicidad virtual e integrar contenidos digitales (como la realidad aumentada) en un modo multirregional. Y su solución promete una integración perfecta (y completa) de los anuncios directamente en la transmisión de vídeo.

Hace algún tiempo, vieron información sobre HOSTKEY en la comunidad Open Data Science (ODS) y se comunicaron con nosotros cuando necesitaron capacidad en la nube, apreciando nuestro servicio, precios y una gama flexible de opciones disponibles.

Los objetivos de la startup son nobles, comprensibles y bastante alcanzables:

1. Para alejarse de costosos equipos patentados y configuraciones complejas, la tarea de colocar anuncios y construir marcos se traslada a la inteligencia artificial, que tiene en cuenta la superposición de personas y objetos en el marco.
2. Al hacerlo, pueden cubrir eventos relativamente pequeños (como peleas en arena, etc.) y llevar la tecnología a las masas.
3. En última instancia, la publicidad deportiva debería ser accesible y relativamente económica.

Además, la startup se ha fijado el ambicioso objetivo de superar en términos de flexibilidad las soluciones ofrecidas por los gigantes monopolistas. Por ejemplo, puede mostrar "anuncios virtuales" durante las repeticiones y utilizar ángulos desde cualquier cámara, no sólo desde ciertos ángulos.

¿Como funciona?

La señal de vídeo de un evento deportivo se puede procesar utilizando potencia informática no sólo en el propio lugar sino también en la nube. Esto permite una distribución flexible de la carga y la elección de cuándo aplicar los anuncios: antes o durante la transmisión, teniendo en cuenta los diferentes mercados. Además, trabajar con servicios en la nube le permite utilizar publicidad en lugares donde es imposible acercar un servidor (y, en principio, es más conveniente).

La segmentación de objetos se basa en la arquitectura de red neuronal de U-Net. Las redes neuronales son responsables de la ubicación de objetos y de detectar y comparar puntos clave. Sin embargo, la tarea no es trivial, por lo que todas las soluciones y redes neuronales tuvieron que ser reelaboradas y entrenadas para su uso. Esto es especialmente difícil en las retransmisiones de artes marciales, donde literalmente todo es impredecible desde el punto de vista de la imagen: las fuentes de luz, las sombras, los ángulos de la cámara, la cuadrícula superpuesta de los logotipos de los patrocinadores y los cuerpos de los luchadores y árbitros.

Las redes neuronales no se utilizan en todas partes. A veces, para resolver un problema basta con mostrar ingenio y utilizar algoritmos sencillos. Por ejemplo, los algoritmos de seguimiento combinan métodos de redes neuronales y sistemas de ecuaciones lineales y no lineales.

Una parte importante de la GPU se ocupa de la segmentación. Cuanto mejor se implemente la detección de personas y objetos en el marco y su separación por planos y tipos, más natural y atractivo lucirá el marco después de la superposición publicitaria.

Una tarea aparte está relacionada con la iluminación y las sombras, que deben tenerse en cuenta en la realidad aumentada al renderizar una escena. El realismo de las sombras es un elemento clave para evaluar la "creibilidad" de la imagen.

Tradicionalmente, las redes neuronales deportivas se entrenan en transmisiones reales utilizando marcas humanas y modelos sintéticos. Aquí Blender viene al rescate. La empresa construye modelos 3D del ring, los luchadores y los árbitros y obtiene imágenes reales desde los ángulos correctos y la máscara de segmentación, o la posición de los objetos y cámaras necesarios para el entrenamiento. El marcado de datos reales requiere mucho tiempo y es costoso, pero es de alta calidad para lugares o tipos de competiciones específicos. Los datos sintéticos con menos realismo proporcionan más datos para el entrenamiento.

La principal dificultad es que los lugares pueden variar. En un caso, será un ring de boxeo con cuerdas, y en otro caso, será una arena con paredes de malla, cada una de las cuales crea dificultades para la segmentación.

El seguimiento de la cámara y la posición del anuncio se determinan comparando la nube de puntos del modelo 3D del lugar con su posición real en el encuadre. Esto les permite determinar la posición, incluso para cámaras manuales con movimientos caóticos. Después de la reconstrucción del cuadro 3D a partir de 2D (la determinación del ángulo requerido), se realiza la representación directa del anuncio en el motor 3D y se combina con el cuadro de transmisión de video.

Hay que construir una escena 3D antes de empezar a trabajar y, de hecho, tenemos una copia virtual del lugar en el encuadre, en la que encajamos personas y objetos reales mediante máscaras de renderizado. Suena complicado, pero con la potencia adecuada y redes neuronales optimizadas, es posible realizar estos saltos mortales al instante y sin problemas.

¿Por qué el proyecto necesita computación GPU y alquiler de servidores?

PTF Lab tiene sus propios servidores (y la posibilidad de usarlos en el lugar de la competencia se mencionó anteriormente), pero es más conveniente usar recursos remotos, ya que los ingenieros del proveedor de servicios son responsables de la disponibilidad del equipo y la empresa asigna menos recursos para ello. Y el cliente vota con su billetera y siempre son preferibles las opciones rentables.

Además, la capacidad requerida por la empresa está en constante crecimiento. Si es necesario, se puede ampliar fácilmente simplemente alquilando más (hasta cambiar la configuración del servidor para adaptarlo a las necesidades de la empresa).

En el futuro, una startup puede necesitar mucha capacidad en la nube. Es más fácil alquilarlos que comprar y vender servidores físicos cuando la demanda de sus servicios sube y baja.

Los servidores alquilados y la capacidad de GPU ahora se utilizan en las siguientes áreas:

1. Entrenamiento de redes neuronales en GPU (segmentación de personas y otros objetos en retransmisiones deportivas; seguimiento de cámaras virtuales 3D).
2. Copia de seguridad de datos (video de eventos, conjuntos de datos, etc.).
3. El proceso directo de trabajar con la producción en la nube de pruebas de video, cuando el software de la empresa se implementa en servidores remotos y las señales de video fluyen a través de él: entrada, sin gráficos, salida, una o más señales con gráficos.

Además de nuestra propia potencia informática en HOSTKEY, la startup actualmente aprovecha las siguientes configuraciones de GPU:

• AMD Ryzen 9 5950X 3.4GHz (16 núcleos)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU]
• Xeon E3-1230 3.2GHz (4 núcleos)/16Gb/2x12Tb HDD/PSU]
• AMD Ryzen 9 5950X 3.4GHz (16 núcleos)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU+emulador HDMI]
• AMD Ryzen 9 5950X 3.4GHz (16 núcleos)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU]
• AMD EPYC 7402P 2,8GHz (24 núcleos)/384Gb/2x1,92Tb U3 NVMe SSD/4xRTX 4090+2xPSU]

Como puede ver, la mayoría de las soluciones de GPU se alquilan basadas en RTX4090/3090, pero a medida que aumentan los requisitos de potencia informática, la startup desea tener la opción de servidores con tarjetas profesionales más potentes que ofrezcan una mejor estabilidad al funcionar en continuo 24 horas al día. 7 operación. En el caso del 3090, alquilar el mismo A5000 podría resultar incluso más económico.

PTF Lab está al comienzo de su andadura, pero sus resultados ya son prometedores, y desde HOSTKEY les deseamos éxito y crecimiento, especialmente en términos de superar el monopolio de la realidad aumentada deportiva. El ingenioso David siempre vence al torpe y propietario Goliat.

Si tiene alguna pregunta para nuestros colegas de PTF Lab, no dude en hacerla en los comentarios.

Alquile servidores GPU con implementación instantánea o un servidor con una configuración personalizada con tarjetas NVIDIA Tesla H100/H100 80Gb o RTX A5000/A4000 de nivel profesional. También están disponibles servidores GPU con tarjetas de juego RTX4090 .