Una tienda de vectores a escala de petabytes para el futuro de AGI

Te topas con un intrigante video de YouTube que te guía a través de la creación de tu propio chatbot. Después de una hora de experimentación en Visual Studio, tiene un pequeño proyecto fantástico para mostrar a sus colegas.

Sin embargo, cuando su jefe exige la implementación de IA en toda la empresa, se da cuenta de que esta prueba de concepto solo es adecuada para una computadora portátil; no es práctico para la producción.

En esta inflexión de la tecnología de inteligencia artificial, solo un pequeño porcentaje de empresas ha hecho algo a escala con IA generativa. Un POC portátil puede salirse con la suya con una escala de gigabytes tienda de vectores .

Pero eso cambiará rápidamente, y cuando lo haga, mis colegas y yo en DataStax y el proyecto Apache Cassandra® ya estamos en ello, utilizando tecnología comprobada para ampliar los límites mucho más allá de un gigabyte de datos vectoriales en un centro de datos.

Con ese fin, hoy, anunciamos la disponibilidad general de DataStax Astra DB con búsqueda vectorial . Estamos construyendo un futuro para la IA generativa que cuenta con agentes autónomos. Estos agentes de IA necesitarán mucha memoria de acceso rápido para la recuperación contextual. ¿Y adivina qué?

Las tiendas de vectores serán la clave para saciar esta hambre voraz de memoria.

Más datos en todas partes

Cuantos más datos vectoriales usamos, más evidente se vuelve que la escala será inevitablemente el factor limitante. Pero aquí es donde Cassandra realmente brilla. Confiamos en la afirmación de que una tienda de vectores alcanza un petabyte porque está construida sobre Cassandra.

Sí, la misma Cassandra que nuestros usuarios ya están ejecutando con clústeres de petabytes. Durante los últimos 12 años, nosotros, como proyecto de código abierto, hemos estado construyendo y optimizando un sistema para las cargas de trabajo de datos transaccionales más grandes del mundo.

Almacenar y buscar vectores es solo una característica más para agregar a una tecnología que ya es increíble.

Como beneficio adicional, una de las ventajas más significativas de usar Cassandra como una tienda de vectores es su mecanismo de replicación incorporado. Esto permite la replicación activa-activa globalmente, lo que significa que sus datos pueden existir y actualizarse en tiempo real en múltiples lugares. En la era de los grandes datos, este era un superpoder para muchas organizaciones.

En la era de la IA generativa, será una cuestión de supervivencia ya que los agentes actúan de forma independiente y global. Almacenamiento de datos uniforme en cualquier lugar que se necesite, con la elasticidad necesaria para que sea asequible a escala.

¿Realmente necesitamos esto?

Ahora, podría preguntarse: "¿Quién necesita realmente una tienda de vectores que pueda almacenar un petabyte?" Si la historia nos ha enseñado algo, la necesidad de capacidad de almacenamiento de datos crece mucho más rápido de lo que nadie anticipa.

El uso de vectores se ha convertido rápidamente en la forma predominante de incorporar datos empresariales en modelos básicos. Aunque teóricamente el ajuste fino podría lograr el mismo resultado, muchas empresas han descubierto que la incorporación de vectores ofrece ventajas significativas.

Proporciona la procedencia de los datos, que es particularmente importante en campos regulados como la sanidad y el derecho, y ayuda a evitar las complejidades del ajuste de modelos.

Generación de recuperación aumentada ( TRAPO ) y la nueva generación aumentada de recuperación activa con visión de futuro ( LLAMARADA ) son soluciones impresionantes que pueden reducir el problema de las alucinaciones de grandes modelos de lenguaje mientras utilizan la información más dinámica y actualizada.

Si está buscando los mejores resultados, la combinación de LLM con la búsqueda de vectores es el camino a seguir.

Los LLM mejorados no han disminuido la necesidad de vectores. Con su consumo de recursos informáticos, de red y de almacenamiento, los LLM se están convirtiendo en líderes en gastos de infraestructura. Pasarán por alto al líder actual de lo que algunos han denominado infraestructura de "petacostés": el lago de datos empresarial.

Sin embargo, la combinación de LLM con la búsqueda vectorial puede proporcionar un rendimiento y una calidad óptimos a un costo razonable.

Es solo cuestión de tiempo antes de que necesitemos tiendas de vectores del tamaño de petabytes en función de la variedad de cosas que necesitaremos incrustar. Un factor crítico en la eficacia de la búsqueda de similitudes es la calidad del algoritmo de incrustación utilizado, junto con un almacenamiento y una recuperación eficientes.

No es que el sistema sea eficiente hasta que hay demasiados datos. El sistema debería ser eficiente mucho más allá del punto en que se quede sin datos para proporcionarlo.

Sin dolor para el cerebro de IA

ChatGPT capturó la atención de todos y generó una enorme cantidad de especulaciones de "qué pasaría si", pero al final, es un producto que demuestra una nueva clase de arquitectura de datos. Los LLM seguirán mejorando, pero lo que haces con el LLM es lo que crea valor.

Expertos en el campo que esperan con ansias han sido la verdadera revolución ocurrirá en dos partes:

1. Inteligencia artificial general (AGI)

   
   

2. Agentes de IA autónomos distribuidos

Cualquiera de estos causará enormes tensiones de recursos y, combinados, podrían significar muchos problemas para las organizaciones que se topan con los límites. Los agentes son similares a los humanos: cuanto más saben, mejores decisiones pueden tomar.

Si tuviera un simple agente de reservas de vuelos, considere todas las cosas relevantes que necesitan un retiro inmediato. No solo cambiar los horarios y cosas como las condiciones climáticas, sino también la experiencia adquirida después de reservar muchos vuelos. Espera, ¿experiencia?

Los agentes de viajes humanos tienen una profunda experiencia trabajando con un sistema caótico, y esa experiencia se puede caracterizar como una cosa: la memoria. Los agentes de IA se volverán más valiosos a medida que obtengan información sobre sus tareas, y esos recuerdos se almacenarán como incrustaciones.

No queremos que nuestros agentes sufran los mismos problemas que se ven en la película. Recuerdo , así que ni siquiera empecemos con los límites.

Comience mañana hoy

Entonces, ¿mi consejo? Empiece a pensar en los agentes de IA y cómo los escalará hoy. No espere hasta mañana, la próxima semana o cuando se encuentre con ese inevitable obstáculo. Prepárese para el éxito ahora.

Plan de crecimiento y escalabilidad. No se ponga en una posición en la que se vea obligado a realizar una migración masiva más tarde. He estado involucrado en algunos grandes proyectos de migración de datos que siempre comienzan con "Bueno, no pensamos que necesitaríamos más escala".

Cassandra es de código abierto y de uso gratuito. Si no quiere el trabajo de ejecutar un clúster grande, Base de datos DataStax Astra puede ponerlo en funcionamiento con unos pocos clics y se escalará automáticamente tan alto como desee.

Y para aquellos que buscan líneas de tendencia y tratan de planificar el próximo movimiento, los agentes de IA son lo que deben tener en cuenta. El futuro de la IA es vasto y emocionante. Pero para estar preparados para ello, tenemos que prepararnos hoy.

Más información sobre marcos como LangChain y LlamaIndex y use CassIO para acceder a una tienda de vectores a escala de petabytes basada en Cassandra robusta y confiable. Comience con el pie derecho hoy y no se prepare para la migración más adelante.

Avancemos juntos hacia el futuro de la IA, una tienda de vectores a escala de petabytes a la vez.

Por Patrick McFadin, DataStax