paint-brush
Democratizar la IA: cómo el director de tecnología de IO.NET está construyendo el "Airbnb de las GPU"por@ishanpandey
Nueva Historia

Democratizar la IA: cómo el director de tecnología de IO.NET está construyendo el "Airbnb de las GPU"

por Ishan Pandey6m2024/12/18
Read on Terminal Reader

Demasiado Largo; Para Leer

IO.NET está construyendo una plataforma que podría democratizar el acceso a los recursos informáticos de IA y, al mismo tiempo, reducir los costos hasta en un 75% en comparación con los proveedores tradicionales.
featured image - Democratizar la IA: cómo el director de tecnología de IO.NET está construyendo el "Airbnb de las GPU"
Ishan Pandey HackerNoon profile picture
0-item
1-item
2-item

El auge de la inteligencia artificial ha creado una demanda sin precedentes de potencia informática de GPU, pero el acceso sigue concentrado en unos pocos proveedores importantes de la nube. IO.NET, una startup centrada en la infraestructura de GPU descentralizada, pretende cambiar esta dinámica creando lo que sus líderes llaman el "Airbnb de las GPU". En esta entrevista exclusiva, Gaurav, director de tecnología de IO.NET y exlíder técnico de Binance, analiza cómo la empresa está construyendo una plataforma que podría democratizar el acceso a los recursos informáticos de IA y, al mismo tiempo, reducir los costes hasta en un 75 % en comparación con los proveedores tradicionales.


Ishan : Bienvenido a nuestra serie "Detrás de las startups". Cuéntenos sobre usted, su trayectoria y qué lo inspiró a unirse a IO.NET .


Gaurav : Mi trayectoria ha sido bastante sencilla. Empecé como ingeniero de software en Pune. Trabajé en varias empresas emergentes allí antes de mudarme a Bangalore, donde me uní al departamento de I+D de HP y ayudé a construir su sistema de archivos en red desde cero. En Amazon, trabajé en su canal de publicación de aplicaciones para Android, libros electrónicos y libros de Audible. Después me trasladé a eBay, seguido de una importante empresa de OTA en Tailandia que era líder del mercado en Vietnam, Singapur y Malasia en reservas de hoteles y vuelos.


Pasé entre 5 y 6 años en su equipo de liderazgo antes de unirme a Binance, donde lideré la creación de una plataforma escalable para el cumplimiento de KYC y la detección de fraudes para más de 500 millones de usuarios. A lo largo de mi carrera, trabajé con IA en diversas formas y fui testigo de primera mano de cómo las personas luchan por acceder a los recursos informáticos que necesitan.


Ishan : Cuéntenos sobre su rol en IO.NET y qué futuro ve para la computación descentralizada en comparación con la arquitectura centralizada.


Gaurav : Como director de tecnología, mi función principal es crear una plataforma escalable que facilite a los proveedores la conexión y a los consumidores el uso de estos recursos. Empezamos con GPU, pero nuestra visión va más allá.


La principal ventaja de nuestro enfoque descentralizado es la escalabilidad. Los centros de datos tradicionales enfrentan desafíos importantes cuando se expanden a nuevas regiones: necesitan alquilar espacio, contratar equipos, solicitar equipos y encargarse del mantenimiento. Esto genera altos costos iniciales que, con el tiempo, se trasladan a los usuarios. Nuestro modelo descentralizado nos permite escalar de manera mucho más eficiente al aprovechar la infraestructura existente.


Ishan : ¿Cómo funciona su modelo de negocio en comparación con proveedores centralizados como Azure, que cobran cantidades significativas por el alojamiento de modelos de IA?


Gaurav : Seguimos un modelo similar al de Uber: si bien cualquiera puede crear un software similar, nuestra ventaja radica en nuestras conexiones con proveedores de infraestructura. Nuestro equipo ha establecido relaciones sólidas con proveedores de infraestructura de todo el mundo, lo que nos permite obtener GPU a precios competitivos. Nuestros precios suelen ser un 75 % más bajos que los de Amazon y Google.


Ofrecemos tarifas por hora y compromisos a largo plazo de entre 6 y 9 meses. También ofrecemos servicios gestionados para empresas emergentes que desean centrarse en su negocio principal en lugar de gestionar la infraestructura.


Ishan : ¿Cómo ha sido la tracción hasta ahora?


Gaurav : La respuesta ha sido muy buena. Recientemente hemos completado un pedido de 1500 4090 y estamos cerca de firmar acuerdos con dos empresas asiáticas de Web2 que tienen más de 200 millones de usuarios cada una. Si bien inicialmente nos centramos en las empresas de criptomonedas debido a nuestra red, estamos viendo un creciente interés por parte de las empresas tecnológicas tradicionales que buscan ahorrar costos.


Ishan : ¿Puedes explicar cómo funcionaría una arquitectura de capacitación descentralizada? Con la descentralización, la escalabilidad o la seguridad podrían verse afectadas. ¿Cómo podemos conciliar esto?


Gaurav : Depende de cómo se defina la escalabilidad. Permítame ilustrarlo con un ejemplo del negocio de los centros de datos. Si usted es un proveedor de centros de datos en América del Norte y yo necesito 1000 H100 en Singapur, el proceso tradicional es extremadamente complicado. Necesitaría alquilar espacio, contratar un equipo, pedir GPU, gestionar el envío, el mantenimiento y la configuración. Esto genera importantes costes iniciales y un tiempo de comercialización lento, que en última instancia se traslada a los usuarios.


En nuestro modelo descentralizado, como el inventario está distribuido, no enfrentamos estos desafíos. Agregar capacidad es tan simple como conectar nuevos proveedores a nuestra plataforma. Es similar a cómo funciona la disponibilidad de hoteles: el hecho de que las principales cadenas estén completamente reservadas no significa que no haya habitaciones en una ciudad. En realidad, hay una capacidad de GPU sustancial disponible, pero nadie ha creado un "Airbnb para GPU" para agregar este inventario de manera eficiente.


Ishan : Para entenderlo correctamente, si hay un estudiante o un jugador en Bangalore y una empresa en EE. UU. con GPU inactivas, ¿podrían conectarse a través de su plataforma?


Gaurav : Exactamente. Alguien de Tailandia o India que quiera entrenar un modelo específico, ya sea un LSTM o cualquier otro tipo, puede usar estas GPU. Como es un modelo basado en alquiler, es más económico que los proveedores tradicionales.


Ishan : ¿Qué opinas de la carrera entre modelos de frontera en este momento, desde Llama hasta OpenAI y Anthropic?


Gaurav : En este momento, todo es pura especulación. Hemos dado un gran salto en las capacidades de inteligencia artificial en los últimos dos años. Si bien no está claro qué empresa acabará liderando este sector (incluso podría ser un actor de la Web3), lo que es seguro es que veremos una enorme innovación en los próximos tres años.


Ishan : ¿Cómo está estructurado actualmente el modelo de gobernanza de IO.NET ?


Gaurav : Actualmente estamos semidescentralizados. Escuchamos activamente a nuestra comunidad a través de sesiones de preguntas y respuestas semanales e implementamos sus comentarios. Nuestro equipo interno revisa todos los tickets y solicitudes de los usuarios semanalmente para orientar nuestras prioridades de desarrollo. Nuestra participación en la comunidad se produce principalmente a través de X (anteriormente Twitter), Discord y nuestras sesiones de preguntas y respuestas, con más de medio millón de seguidores en todas las plataformas.


Ishan : ¿A qué desafíos técnicos se enfrentaron al desarrollar esta plataforma, dado que es un concepto novedoso sin arquitecturas de IA descentralizadas existentes?


Gaurav : Nuestro rápido crecimiento presentó oportunidades y desafíos. Cuando me uní, la plataforma estaba diseñada para 100.000 GPU, pero rápidamente tuvimos que manejar millones. Esto requirió cambios arquitectónicos significativos para gestionar la seguridad, la estabilidad y la escalabilidad. El fundador reconoció la necesidad de un liderazgo experimentado en la creación de plataformas escalables, lo que llevó a contratarme y me permitió formar un equipo de profesionales experimentados de empresas como Amazon, VMware y los principales investigadores de inteligencia artificial.


La clave fue contar con personas que ya habían creado sistemas escalables similares. Hemos reunido un equipo que incluye doctores en aprendizaje automático y veteranos de importantes empresas tecnológicas, todos centrados en resolver estos complejos desafíos técnicos manteniendo al mismo tiempo la naturaleza descentralizada de la plataforma.


Ishan : Cuéntanos más sobre los antecedentes del equipo, cómo comenzó el viaje, cuál fue la primera idea, los cambios que hubo antes de llegar a este modelo y qué futuro ves para IO.NET en los próximos 1 o 2 años.


Gaurav : Me incorporé hace unos siete meses, aproximadamente tres o cuatro meses después de que se fundara la empresa. Desde el primer día, la visión fue crear un híbrido de plataformas DeFi e IA para permitir que los desarrolladores crearan modelos. Cuando me incorporé, los fundadores y yo coincidimos en una estrategia crucial: necesitábamos ofrecer algo que fuera extremadamente difícil de igualar para los competidores. Identificamos la obtención de GPU a precios competitivos como ese diferenciador clave.


Aunque otras plataformas de criptomonedas pueden ofrecer precios similares, tienen problemas de escalabilidad. Si les pides 1500 GPU, a menudo no pueden cumplir con sus expectativas porque su modelo de negocio no está verdaderamente descentralizado. Incluso si crean contratos inteligentes, si poseen sus propios centros de datos, la escalabilidad se vuelve extremadamente desafiante. Es el mismo problema que enfrenta Azure: no se puede afirmar que está descentralizado simplemente agregando contratos inteligentes sobre una infraestructura centralizada.


Ishan : El desarrollo de software siempre es un desafío. Al desarrollar esta plataforma, que es realmente novedosa ya que actualmente no existen arquitecturas de IA descentralizadas para el alojamiento de GPU, ¿qué problemas técnicos encontraron?


Gaurav : Nos enfrentamos a un desafío interesante: escalar mucho más rápido de lo previsto. Es un buen problema desde una perspectiva comercial, pero complicado desde un punto de vista de ingeniería. Imaginemos que construimos una plataforma para 100 000 GPU y, de repente, necesitamos manejar medio millón o más. Durante los lanzamientos aéreos, nos enfrentamos a flujos masivos de usuarios y a posibles ataques de Sybil mientras escalábamos rápidamente.


La creación de una plataforma segura y estable que pudiera gestionar entre 50 y 100 clústeres simultáneamente, sin cuellos de botella, y que permitiera al mismo tiempo incorporar rápidamente 1000 GPU por minuto fue un desafío importante. El fundador reconoció que, si bien podía llevar la empresa hasta cierto nivel, para llevarla más allá se necesitaban personas con experiencia en la creación de plataformas y negocios escalables.


Eso es lo que respeto de él: reconoció esta necesidad y me dio la autoridad para formar el equipo adecuado. Hemos incorporado talento de Amazon, VMware y otras empresas importantes. Tenemos doctorados en aprendizaje automático y expertos en productos de importantes empresas tecnológicas. Puede comprobar estos antecedentes en nuestro sitio web.


Los fundadores apoyaron este enfoque, entendiendo que para convertir el producto en un negocio real se necesitaban personas que ya lo hubieran hecho antes. Su apoyo en esta transición ha sido crucial para nuestro éxito.


¡No olvides darle me gusta y compartir la historia!

Divulgación de intereses creados: este autor es un colaborador independiente que publica a través de nuestro programa de blogs de negocios HackerNoon ha revisado el informe para comprobar su calidad, pero las afirmaciones contenidas en él pertenecen al autor. #DYOR