Cómo la prueba de concepto de IA lo ayuda a tener éxito en su esfuerzo de IA

Nuestro cliente perdió solo una cuarta parte del presupuesto que dedicó a un proyecto de IA porque decidió comenzar con una prueba de concepto. El PoC les permitió probar su idea y fallar rápidamente con un gasto limitado.

Para evitar perder tiempo y esfuerzo, pídale siempre a su consultor de soluciones de IA una prueba de concepto, especialmente si su empresa solo está probando las aguas de la inteligencia artificial.

Este artículo explica qué es una prueba de concepto de IA y elabora los cinco pasos que lo guiarán a través de su primera PoC, junto con los desafíos que podría encontrar en el camino. También presenta ejemplos de AI PoC de nuestra cartera. Y encontrará un final feliz del ejemplo representado en el párrafo inicial.

¿Qué es una prueba de concepto de IA y cuándo es esencial para el éxito de su proyecto?

Una prueba de concepto (PoC) de inteligencia artificial es un prototipo o una demostración de una solución de IA propuesta diseñada para probar si la solución es factible y tiene posibilidades de éxito.

El propósito de crear una PoC de IA es validar el concepto, evaluar los beneficios potenciales de la solución propuesta e identificar cualquier desafío o limitación potencial.

Una PoC de IA generalmente implica construir una versión a pequeña escala de la solución de IA propuesta y probarla en un entorno controlado para ver cómo funciona y si cumple con los objetivos deseados. Los resultados de una prueba de concepto de IA se pueden usar para informar sobre el desarrollo y la implementación de la solución.

En comparación con las pruebas de concepto de software ordinarias, una prueba de concepto de IA puede implicar consideraciones más complejas, como la capacidad de la solución de IA para aprender y adaptarse con el tiempo, y las posibles implicaciones éticas de la solución, como el sesgo de la IA .

La pila de tecnología para proyectos PoC AI también es diferente:

1. Algoritmos de aprendizaje automático . Estos algoritmos permiten que el sistema de IA aprenda de datos estructurados y haga predicciones o decisiones basadas en ese aprendizaje. Hay muchos tipos diferentes de algoritmos de aprendizaje automático , incluidos los algoritmos de aprendizaje supervisado, los algoritmos de aprendizaje no supervisado y los algoritmos de aprendizaje por refuerzo.
2. Redes neuronales . Estos modelos computacionales están inspirados en la estructura y función del cerebro humano. Las redes neuronales pueden procesar y analizar grandes cantidades de datos no estructurados . Se pueden entrenar para realizar diversas tareas, como el reconocimiento de imágenes, el procesamiento del lenguaje natural, el modelado de escenarios y la predicción.
3. robótica Esta tecnología se puede utilizar para construir sistemas físicos capaces de operar y tomar decisiones de manera autónoma. Las soluciones de robótica incorporan sensores, actuadores y otros componentes de hardware que permiten a los ingenieros construir un robot que pueda interactuar con su entorno y realizar tareas.
4. Computación en la nube . Las plataformas de computación en la nube como Microsoft Azure, Google Cloud y AWS brindan la potencia informática, los recursos de almacenamiento y los servicios preconfigurados necesarios para respaldar el desarrollo y las pruebas de los POC de IA. Estas plataformas también pueden alojar e implementar soluciones de IA una vez que se hayan desarrollado y probado.

La creación de una PoC de IA implica recopilar y preparar datos, crear y entrenar modelos de aprendizaje automático y probar y evaluar el rendimiento del sistema de IA.

El tiempo que lleva crear una prueba de concepto de inteligencia artificial puede variar ampliamente según varios factores, incluida la complejidad de la solución de IA propuesta, los recursos y la experiencia disponibles para el POC y los objetivos específicos del POC. Algunos POC de IA se pueden desarrollar en solo unos días o semanas, mientras que otros pueden tardar varios meses o incluso más en completarse.

¿Cuándo no hay absolutamente ninguna forma de evitar el AI PoC?

Es esencial comenzar su proyecto con un PoC en los siguientes escenarios:

• Su proyecto se basa en una idea innovadora que no se probó antes. Algo que se estudió a nivel empresarial, pero no se intentó técnicamente. Ni usted ni su proveedor de tecnología están seguros de que esto se pueda implementar.
• Si necesita demostrar a las partes interesadas, inversores, etc. la viabilidad de su idea en un plazo limitado. Un PoC hará el trabajo mejor que un prototipo interactivo o algo similar.

¿Hay situaciones en las que una PoC de IA es una pérdida de tiempo?

Aunque una prueba de concepto de IA es beneficiosa en la mayoría de los casos, hay algunas excepciones. Si su proyecto se encuentra dentro de las siguientes categorías, PoC puede ser una exageración:

• Si su idea y enfoque están excepcionalmente bien documentados desde las perspectivas funcional y técnica. Esto es bastante raro.
• Si la solución que desea desarrollar es estándar y se parece a las prácticas comunes en el campo. Ya sabemos que esto es factible y posible desde el punto de vista técnico.
• Si desea crear software que sus desarrolladores front-end y back-end entiendan y que ya hayan trabajado en algo idéntico antes

¿Qué beneficios puede obtener de la prueba de concepto de IA?

El uso de la prueba de concepto de IA genera los siguientes beneficios:

• Identificar los desafíos potenciales antes de comprometer más recursos para este esfuerzo. PoC AI le permite "fallar rápido, fallar mejor". Si el equipo encuentra desafíos que no puede superar, todas las partes interesadas tienen tiempo para reagruparse o tal vez cambiar la hipótesis para alcanzar los mismos objetivos a través de otros métodos.
• Minimizar los riesgos comerciales, mientras prueba ideas innovadoras en pequeños pasos en lugar de sumergirse en un proyecto a largo plazo
• Mejorar las prácticas de recopilación de datos
• Conseguir inversores y otras partes interesadas a bordo
• Ahorro de tiempo y recursos. AI PoC puede descubrir problemas comerciales o relacionados con procesos y darle tiempo para arreglar todo antes de comenzar un proyecto a gran escala
• Desarrollar experiencia y crear propietarios de conocimiento que asesorarán a otros miembros del equipo en proyectos similares en el futuro
• Probar la pila tecnológica en una escala más pequeña para comprender su idoneidad para el caso comercial seleccionado

Ejemplos de nuestra cartera donde AI PoC salvó el día

Aquí hay algunos ejemplos de AI PoC de la cartera de ITRex que lo ayudarán a apreciar aún más el enfoque de prueba de concepto.

Darse cuenta de que ML por sí solo no es la respuesta

Una gran empresa de logística de carga realiza entre 10 000 y 15 000 envíos por día, y cada envío va acompañado de conocimientos de embarque y facturas para cubrir las operaciones. Los empleados estaban agotados al manejar toda la documentación manualmente. La empresa quería crear una solución basada en ML que utilizara el reconocimiento óptico de caracteres (OCR) para procesar documentos escaneados e identificar diferentes campos.

El cliente creía que el aprendizaje automático era la mejor opción para este caso, por lo que procedimos con un PoC de IA para probar esta suposición. Pronto nos dimos cuenta de que los documentos tenían un formato diferente y que las etiquetas utilizadas para los campos variaban significativamente. Por ejemplo, el campo ID de carga solo tenía 8 alias. Como resultado, el modelo ML siguió creciendo. Se volvió lento e ineficiente. Nuestro equipo decidió acompañar este modelo con un algoritmo dinámico (p. ej., un diccionario donde las diferentes etiquetas de campo están codificadas). Esta modificación mejoró significativamente el rendimiento de la solución y ahorró tiempo y dinero al cliente.

Si el cliente hubiera decidido omitir la prueba de concepto de IA, habría desperdiciado siete meses solo para darse cuenta de que su idea inicial de un modelo basado en ML puro no era la solución óptima aquí.

Con el PoC de inteligencia artificial, llegaron a esta conclusión en solo dos meses. Desde que completamos con éxito la PoC de IA, construimos un MVP que podía manejar cuatro tipos de documentos, asumiendo alrededor del 25 % de la carga de procesamiento manual.

Sorprendido por las restricciones de Meta en el uso de datos

Un cliente de la industria del entretenimiento quería crear una plataforma analítica impulsada por IA para artistas musicales independientes. Se suponía que la solución rastrearía las redes sociales, incluidos Facebook e Instagram, para recopilar datos. Procesaría toda esta información para medir el sentimiento de la gente hacia los artistas. Los músicos pueden firmar con la plataforma y recibir comentarios sobre qué comportamiento en las redes sociales es el más beneficioso para su éxito.

Procedimos con la prueba de concepto de IA para probar la idea. Después de solo dos semanas, nos dimos cuenta de que era simplemente imposible recopilar datos de Facebook e Instagram para usarlos con el propósito descrito anteriormente. Por lo general, algunos de los datos se pueden recuperar a través de Graph API. Al combinar esto con una cuenta comercial verificada en Meta, asumimos que obtendríamos acceso a la información requerida. Sin embargo, el cliente no pudo proporcionarnos una cuenta comercial verificada, y los datos de Graph API por sí solos no fueron suficientes para que esta solución funcionara.

Si el cliente hubiera decidido omitir el PoC, habría desperdiciado alrededor de $20,000 en el proyecto de descubrimiento.

Esto incluiría una descripción detallada de la solución y la estimación de los costos de desarrollo. Pero como eligieron comenzar con AI PoC, gastaron solo alrededor de $ 5,000 antes de darse cuenta de que esta idea era imposible de ejecutar debido a las restricciones de acceso a los datos impuestas por la empresa Meta.

Una guía de cinco pasos para su primera prueba de concepto de IA

Aquí hay cinco pasos que puede seguir para pasar con éxito su PoC de AI. En esta sección, también enumeramos los desafíos asociados con cada paso.

Paso 1: identifique qué problema(s) desea abordar con IA

Es esencial especificar qué es exactamente lo que desea lograr mediante la implementación de PoC de inteligencia artificial. El caso de uso seleccionado debe ser de gran valor y representar algo que pueda abordar mejor con esta tecnología. Si tiene dudas, un buen lugar para comenzar es investigar para qué otros en su campo están utilizando soluciones de IA. Otra forma de proceder es investigar los problemas a los que se enfrenta su empresa y compararlos con el potencial de la IA.

Una vez que haya acumulado una lista de oportunidades, puede hacer las siguientes preguntas para determinar cuáles son las más adecuadas para su proyecto en este momento:

• ¿El problema que intenta resolver es lo suficientemente específico? ¿Puedes evaluar los resultados para determinar el éxito?
• ¿Ya intentó resolver este problema con otras tecnologías?
• ¿Tienes el talento y la financiación para apoyar este proyecto hasta el final? Si no hay talento interno adecuado, ¿puede contratar un equipo externo dedicado ?
• ¿Cómo afectará a su negocio? ¿Es este efecto lo suficientemente significativo como para esforzarse?
• ¿Serás capaz de vender esto a los ejecutivos? ¿Está su organización lista para asumir este tipo de proyectos?
• ¿Su empresa ya tiene una estrategia de datos ? ¿Cómo se alineará con este proyecto?
• ¿Cuáles son los riesgos potenciales y las limitaciones del uso de la IA para abordar este problema?

Desafío asociado:

• Seleccionar un caso de uso que no agregue mucho valor o no utilice todo el potencial de la IA. La inteligencia artificial es una tecnología costosa, y elegir un caso insignificante significará que gastará más de lo que recibirá. Consulte nuestro artículo sobre cuánto cuesta implementar IA para obtener una mejor comprensión de los gastos.

Paso 2: preparar los datos

Ahora que tiene su problema claramente definido, es hora de agregar y preparar los datos de entrenamiento para los algoritmos de IA. Puedes hacerlo por:

• Comprobar qué datos están disponibles para su uso dentro de su empresa
• Generación de datos semisintéticos utilizando aplicaciones específicas listas para usar o su propia solución
• Compra de conjuntos de datos de proveedores confiables
• Uso de datos de fuente abierta
• Contratar personas para desechar los datos que se ajusten a su propósito

No tienes que limitarte a una sola fuente. Puede utilizar una combinación de varias opciones enumeradas anteriormente.

Recurra a los científicos de datos para ejecutar la evaluación inicial de datos. Realizarán las siguientes tareas:

• Estructurar los datos
• Límpialo eliminando el ruido
• Agregue cualquier punto de datos que falte, en caso de datos tabulares
• Realizar ingeniería de características (es decir, agregar y eliminar campos de datos)
• Aplicar manipulaciones, como combinar o filtrar datos

Los científicos de datos pueden asesorarlo sobre cómo recopilar datos adicionales o cómo reducir el alcance de la prueba de concepto de IA para que pueda lograr los resultados deseados con los conjuntos de datos existentes.

Cuando los datos estén listos para su uso, divídalos en tres conjuntos:

• Conjunto de entrenamiento, que el modelo usará para aprender
• Conjunto de validación para validar el modelo e iterar en el entrenamiento
• Conjunto de prueba que evaluará el rendimiento del algoritmo.

Desafíos asociados:

• Los datos de entrenamiento no son representativos de toda la población. En este caso, los algoritmos pueden funcionar bien en casos comunes, pero darán malos resultados en raras ocasiones. Por ejemplo, un modelo de aprendizaje automático para el cuidado de la salud que analiza rayos X podría ser excelente para detectar trastornos comunes, como derrames, pero tendrá dificultades para detectar enfermedades raras, como hernias.
• Desequilibrio de clase, cuando el número de casos que representan una clase es significativamente mayor que la otra, con una proporción de 99,9% a 0,1%
• Etiquetado incorrecto, como mezclar clases, por ejemplo, etiquetar una bicicleta como un automóvil
• Ruido alto en el conjunto de datos de entrenamiento
• Difícil de lograr la separabilidad de clase pura. Esto sucede cuando algunos datos en el conjunto de entrenamiento no se pueden clasificar correctamente en una clase en particular.

Paso 3: Diseñe y construya o compre la solución

Probablemente se esté preguntando si debe construir el modelo usted mismo o puede adquirir una solución existente.

Aquí es cuando tiene sentido crear un modelo de IA desde cero:

• Su solución es innovadora y no se ajusta a un estándar existente
• Las soluciones listas para usar son costosas de personalizar
• El modelo estándar más cercano es una exageración, y hace mucho más de lo que realmente necesita

Considere adquirir un modelo read-made si:

• Los costos de comprar y personalizar el modelo son menores que construirlo desde cero

Si decide construir el algoritmo de IA desde cero, le dará más control sobre su precisión. Llevará más tiempo completar la tarea, pero se adaptará a su problema empresarial y a sus procesos internos. No necesitará realizar cambios en su sistema para adaptar el software externo.

En cuanto a la infraestructura para el entrenamiento y la implementación de algoritmos, puede confiar en la nube en lugar de utilizar los recursos locales. Hay cuatro parámetros que puedes considerar para decidir cuál te conviene más:

1. seguridad Si sus datos son muy confidenciales en lo que respecta a la seguridad, es mejor que mantenga todo en sus instalaciones.
2. Carga de trabajo . Si la carga de procesamiento es bastante pesada, opte por la nube.
3. Costos Evalúe qué le costará más: adquirir los recursos localmente o pagar el uso de la nube a lo largo del tiempo.
4. Accesibilidad . Si solo utilizará la solución localmente, puede depender de sus servidores internos. Si necesita ser accesible desde diferentes ubicaciones geográficas, vale la pena considerar la nube.

Cada enfoque tiene sus ventajas y desventajas. Si está operando en el sector de la salud, los tenemos claramente explicados en la publicación de computación en la nube en la atención médica en nuestro blog. De lo contrario, no dude en comunicarse con nuestros expertos en inteligencia artificial para elegir la mejor pila de tecnología para el entrenamiento de algoritmos.

Desafíos asociados:

• Falta de formación adecuada. Esto causará problemas, como una generalización deficiente del modelo, lo que significa que el modelo no puede hacer predicciones precisas sobre datos que no ha visto en el entrenamiento. Volviendo al análisis de imágenes de rayos X en el sector médico, un algoritmo podría analizar con éxito imágenes de alta calidad capturadas por escaneos de última generación, pero seguir obteniendo malos resultados cuando se aplica a escaneos generados por máquinas más antiguas.
• Integración con sistemas existentes, algunos de los cuales pueden estar desactualizados o impulsados por tecnologías propietarias
• No encontrar la arquitectura de modelo adecuada, por ejemplo, no poder elegir el modelo de ML adecuado para el problema en cuestión.
• La capacidad de la arquitectura seleccionada no puede coincidir con los requisitos del modelo
• Los datos de entrada son volátiles, lo que significa que el modelo debe volver a entrenarse con frecuencia
• Utilizar más recursos de los que requiere su modelo para realizar sus tareas. No es necesario invertir en un servidor potente para ejecutar un modelo simple.

Paso 4: evaluar el potencial de la prueba de concepto de IA para generar valor

Este paso consiste en evaluar si la PoC de IA puede cumplir con las expectativas. Hay varias formas de realizar la evaluación:

• Vuelva a sus indicadores clave de rendimiento (KPI) y pruebe la solución con ellos. Estos factores pueden incluir la precisión, la satisfacción del cliente, la velocidad, la flexibilidad, la equidad, la seguridad, etc.
• Recopile datos sobre cómo funcionaba su sistema antes de la implementación de la prueba de concepto de IA. Esto incluiría el tiempo dedicado a una tarea manual en particular, la cantidad de errores, etc. A continuación, debe usar la información para evaluar el impacto de la PoC.
• Compare el rendimiento de la solución con otros productos que se consideran el punto de referencia para este tipo de problemas o la industria. Por ejemplo, un punto de referencia para problemas relacionados con la clasificación de imágenes sería un modelo que brinde resultados precisos en conjuntos de datos populares, como ImageNet.
• Recopile comentarios de los usuarios a través de grupos focales o encuestas en línea para medir los niveles de satisfacción y determinar lo que falta.
• Realice un análisis de costo-beneficio para comprender el impacto financiero de esta solución en la organización

Desafíos asociados:

• Cometer un error en su evaluación. Puede ser un simple error matemático durante los cálculos o un error relacionado con la estimación del potencial comercial.

Paso 5: iterar en la prueba de concepto de IA para obtener mejores resultados o ampliarla

Si los resultados que recibió en el paso anterior no estuvieron a la altura, podría considerar modificar la solución e iterar todo el proceso. Puede realizar cambios en el algoritmo ML y medir el rendimiento con cada ajuste. También puede experimentar con diferentes componentes de hardware o modelos alternativos de servicios en la nube.

Si está satisfecho con el rendimiento de AI PoC, puede trabajar para escalarlo en diferentes direcciones. Aquí están algunos ejemplos:

• Aplicar la PoC a otros casos de negocio . Busque otras aplicaciones de esta nueva solución dentro de su negocio. Por ejemplo, si está probando la IA como una aplicación de mantenimiento predictivo, puede intentar aplicarla a otros escenarios relacionados.
• Escalar la infraestructura . Revise la tecnología utilizada para ejecutar este software. ¿Puede dedicar más potencia de procesamiento o más capacidad de almacenamiento de datos? Tales modificaciones le permitirán utilizar más datos, disminuir la latencia y tal vez entregar resultados en tiempo real. También minimizará la posibilidad de cuellos de botella en el futuro.
• Optimice la solución PoC de IA . Aunque ya obtuvo resultados razonables en el paso anterior, podría valer la pena buscar formas de mejorar la precisión. Puede seguir entrenando sus algoritmos utilizando datos nuevos, datos etiquetados con mayor precisión, etc. O incluso puede experimentar implementando ajustes y cambios para lograr mejores resultados.

Si decide adoptar la IA en toda la empresa después de la fase de prueba de concepto, puede encontrar consejos útiles en nuestra guía sobre cómo implementar la IA en su organización .

Desafíos asociados:

• La arquitectura no fue cuidadosamente considerada. La solución podría funcionar bien con 10 000 usuarios, pero colapsar cuando la audiencia alcanza los 100 000.
• El modelo contiene errores que se manifestarán cuando intente escalar la solución de IA
• Aplicar el modelo a otros casos de negocio, distintos a los que estaba destinado. Por ejemplo, una solución destinada a montar una carretilla de jardín no se puede aplicar al montaje de camiones, ya que podría construir una carretilla de jardín grande con motor.

Para concluir

Cuando se trata de implementar IA, comience de a poco y manténgase manejable. Asegúrese de tener un caso de negocio claro con objetivos definidos y métricas para medir el éxito. Y siempre considere crear una prueba de concepto de IA, excepto en los casos presentados al principio de este artículo. Esto lo ayudará a identificar cualquier obstáculo potencial antes de entrar por completo y realizar una gran inversión financiera en una solución que no estará a la altura de las expectativas.

¿Quiere implementar IA en su organización, pero no está seguro de si su idea de negocio es factible? ¡Ponte en contacto ! Nuestro equipo lo ayudará a realizar un PoC para probar su idea en los aspectos prácticos.