El invierno de la IA se acerca, cortesía de la física

El invierno (física) se acerca

Ahora parece que los modelos de lenguaje a gran escala que funcionan con la tecnología GPT pueden estar llegando a un punto muerto en su desarrollo. Esto se desprende del último vídeo de YouTube de la popular física Dra. Sabine Hossenfelder.

El Dr. Sabine cita un par de fuentes, entre ellas Bill Gates, quien dijo el año pasado que GPT 5 no sería mucho mejor que GPT 4. Y el profesor Gary Marcus dice que ha estado insistiendo en este tema en particular durante años. Esto va en contra de todo el bombo publicitario de Ray Kurzweilian de Sam Altman e Ilya Sutskever como se ve en el video.

Pero si las matemáticas simplemente hermosas no pueden impulsar el progreso de la Física, como siempre nos recuerda el Dr. Sabine, entonces el pensamiento grupal ilusorio no nos dará una inteligencia general artificial (IAG) sobrehumana.

¿Por qué el hecho de arrojar la mayor cantidad posible de datos, poder computacional y supervisión humana no va a dar lugar a una IA superhumana?

La Dra. Sabine tiene una respuesta preparada. El problema, explica, es la disociación de escalas .

El desacoplamiento de escalas

El mundo está dividido en escalas.

En el mundo físico, está la escala de los animales terrestres, como los humanos. Luego, por debajo de ellos, están los microbios, las moléculas, los átomos y las partículas subatómicas. En la dirección opuesta, están los aviones y los rascacielos, las montañas, los planetas, las estrellas, los sistemas solares, las galaxias, etc.

En el mundo de los datos, tenemos datos de alta resolución, por ejemplo, categorías como “objetos que se pueden tocar”, “animales”, “gatos”. Luego, tenemos datos de baja resolución para ampliar aún más las categorías anteriores, por ejemplo, “especie de gato”, “patrones de gato”, “comportamiento del gato a las 8:00 a. m. del lunes”, etc.

Sin embargo, existen otras taxonomías. Algunos datos están en línea y otros fuera de línea, en libros, artículos y en la mente de las personas.

Es posible que tengamos todo el conocimiento que deseamos en la escala de alta resolución de la creación del lenguaje humano en Internet , pero eso no equivale a la fuente de datos de baja resolución y mucho mayor que es la creación del lenguaje humano en el mundo .

Así, la IA de Sam Altman es como Aristóteles en la imagen de abajo, con la esperanza de descubrir el Modelo Estándar de la Física al observar su mano.

Pero sin algo como el Gran Colisionador de Hadrones para explorar las partículas subatómicas y ver los nuevos y extraños datos que se esconden en ellas, Aristóteles no sabe cómo proceder.

Un gran colisionador de hadrones para la inteligencia artificial

La arquitectura GPT, que se dio a conocer al mundo hace apenas dos años con el fenomenal ChatGPT, probablemente esté llegando al final de su “perfeccionamiento”. Tal vez sea hora de considerar seriamente pasarle el testigo y la financiación de capital riesgo a otra cosa.

Estoy apoyando la computación termodinámica , que actualmente está siendo explorada por empresas como Extropic, que funciona aprovechando el ruido térmico para crear muestras aleatorias de datos como en la tecnología de difusión estable, para luego eliminar el ruido mediante análisis estadístico.

De hecho, en cualquier red neuronal , los pesos iniciales suelen inicializarse con ruido aleatorio. Durante el entrenamiento, la retropropagación da forma a los pesos finales a partir de este ruido aleatorio, escribe Laszlo Fazekas.

La ventaja radica en que los chips operan en escalas más pequeñas que las de la computación digital tradicional, donde los efectos cuánticos generan abundante ruido térmico.

De todas formas, el ruido térmico siempre ha sido abundante.

Mi estufa de cocina está llena de ruido térmico.

El verdadero problema siempre ha sido cómo entenderlo mejor a través de la fragmentación estadística de sus datos, sin descartar datos durante el análisis de regresión.

¿Mi suposición? Algún tipo de entrenamiento masivo de inteligencia artificial computacional en la nube que aproveche teléfonos inteligentes, nodos de bitcoin, televisores, radios, etc.

En la actualidad, las empresas de IA están sacando más provecho de la inteligencia artificial permitiéndole a la misma "reflexión" un tiempo para que realice inferencias más largas sobre los mismos datos. Por ejemplo, con el modelo o1 de ChatGPT.

Pero tal vez incluso el tiempo de entrenamiento debería extenderse. Tal vez para lograr una IA excelente, como un niño, se necesiten décadas de entrenamiento a partir de datos recopilados de todas partes, recopilados y lentamente extraídos hasta formar un modelo de IA condensado en unos pocos servidores.

Sam Altman podría necesitar esos billones de dólares del gobierno para un plan de ese tipo. Lamentablemente, es probable que no sean fáciles de conseguir. Es posible que el DOGE no lo financie (si xAI sufre los mismos problemas).

Mientras tanto, Bitcoin sigue creciendo

Como muestra el gráfico anterior, muy pocas personas utilizan Bitcoin, aunque ya está en 90.000 dólares .

Los datos de Bitbo muestran que, de hecho, solo 400.000 personas utilizan Bitcoin a diario y solo 106 millones poseen Bitcoin.

Comparemos esto con los 314 millones de personas que han utilizado herramientas de IA según los datos de Statista . Solo ChatGPT tiene millones de usuarios por día . ¡Probablemente más que toda la cadena de bloques de Bitcoin combinada!

Es más, la IA ha conseguido la mayor parte de estos usuarios en menos de un año. Esto parece incorrecto. Bitcoin tardó años en crecer. La gente sudó, perdió, utilizó DCA y tuvo fe.

Quizás sea eso. ChatGPT ha crecido demasiado rápido. Ahora ha perdido velocidad y todo el mundo está disgustado.

Lo siento, pero aún queda trabajo por hacer. La inteligencia artificial general no será tan fácil de comprender y los científicos de GPT deberían aprender a mantener sus activos como los bitcoineros. El invierno llegará y se irá, pero ahora es el momento de pagar los platos rotos.