Como a busca vectorial descifra o código en analítica de contratos

Unha ollada á arquitectura de aplicacións de wealthAPI, un provedor de análise de datos para o sector financeiro que creou un xeito moi preciso de identificar as entradas de pago recorrentes.

En wealthAPI , sempre cremos que as análises financeiras deberían ser máis intelixentes e rápidas, especialmente cando se identifican pagos recorrentes ocultos nos datos de transaccións. Creamos unha solución que transforma os datos de transaccións en bruto en información útil mediante o aproveitamento da IA. O noso sistema usa incrustacións de vectores para agrupar transaccións en patróns de pago recorrentes, garantindo a precisión mesmo cando as entradas de pagos recorrentes conteñan diferenzas de redacción sutís.

Desde subscricións ata pagos de seguros, a nosa plataforma ofrece resultados fiables mantendo a velocidade e escalabilidade que necesitan as empresas financeiras.

Aquí, mostraremos como deseñamos a nosa arquitectura para resolver estes desafíos, desde a inxestión de datos e a incorporación de vectores ata a agrupación de transaccións en grupos significativos. Tamén exploraremos como a IA potencia funcións avanzadas como a busca semántica, que permite aos usuarios atopar e analizar datos financeiros sen esforzo.

Que fai a aplicación

wealthAPI aborda un problema común pero desafiante para as empresas financeiras: identificar pagos recorrentes, como subscricións, nos historiais de transaccións bancarias. Os métodos tradicionais loitaban coa escala e a miúdo confiaban nas coincidencias exactas, sen diferenzas sutís (por exemplo, "Spotify" vs. "Spotify AB").

wealthAPI aborda este problema cun enfoque impulsado pola IA que ofrece precisión e velocidade. No corazón desta solución atópase DataStax Astra DB , unha plataforma de base de datos creada especialmente para fluxos de traballo modernos, escalables e integrados en intelixencia artificial.

Arquitectura

O sistema de wealthAPI toma transaccións bancarias en bruto, procesaas en incrustacións e agrúpaas en patróns de pago recorrentes, todo iso impulsado polas capacidades de busca de semellanza vectorial de Astra DB. A arquitectura garante a escalabilidade e a capacidade de resposta en cada etapa, mesmo con grandes volumes de datos.

Aquí tes un fluxo simplificado do proceso:

1. Inxestión de datos: cando se reciben transaccións bancarias, o backend de wealthAPI publícaas nunha cola de mensaxes para o procesamento asíncrono.

   
   

2. Creación de incorporación: cada transacción (por exemplo, “Spotify, -10€, 22.10.24”) transfórmase nun vector numérico (por exemplo, [0.12, 0.65, 0.78, ..., 0.23]) mediante a función de vectorización de Astra DB.

   
   

3. Almacenamento de vectores e busca en Astra DB: as incorporacións gárdanse en Astra DB, onde as buscas de semellanzas de vectores rápidas como un lóstrego permiten ao sistema atopar e agrupar transaccións similares.

   
   

4. Análise de regularidade: analízanse os clústeres para identificar pagos recorrentes, clasificándoos como contratos como "Spotify - servizo de música - mensual" ou "Seguro de saúde - Saúde - anual".

Astra DB garante que todo o proceso sexa escalable e receptivo, mesmo con grandes volumes de datos. O proceso tamén cumpre con estritas medidas de seguridade de datos para garantir que os usuarios finais e as súas transaccións permanecen anónimos e protexidos do acceso externo.

Implementación técnica

Agrupación de transaccións en contratos

A agrupación de transaccións sempre foi un desafío fundamental. As ferramentas anteriores dependían das coincidencias exactas (por exemplo, o nome do vendedor ou a cantidade de pago), que moitas veces non lograban capturar as variacións e tardaban en escalar.

En wealthAPI, no pasado, tentamos buscar patróns entre millóns de transaccións con bases de datos tradicionais, que eran lentos e propensos a erros. Incluso pequenas variacións nos detalles das transaccións romperon a lóxica de agrupación.

Como estamos a usar Astra DB, podemos almacenar incrustacións e buscar de forma eficiente transaccións similares, mesmo con pequenas variacións nos detalles.

Aquí tes un exemplo: un pago etiquetado como "Spotify AB" por 10 € nun día e "Spotify" por 10 € o seguinte está correctamente agrupado como o mesmo pago periódico.

Manexo de grandes volumes de datos

Con miles de transaccións procesadas diariamente, wealthAPI requiría unha base de datos que puidese escalar sen problemas mantendo a velocidade e a precisión.

A fundación de Astra DB é Apache Cassandra, polo que está construído para a escalabilidade. Tamén se integra cos fluxos de traballo de IA, o que permite que wealthAPI manteña consultas rápidas sen comprometer a precisión.

Buscador de transaccións

Dado que as incorporacións captan o significado subxacente das transaccións, wealthAPI tamén pode implementar unha función de busca. Os usuarios poden escribir unha palabra clave como "saúde" para recuperar todas as transaccións relacionadas coa saúde sen depender de etiquetas ou categorías predefinidas.

O sistema xera unha incrustación a partir da consulta do usuario e realiza unha busca sinxela de semellanza mediante Astra DB; a súa capacidade de busca vectorial fai que este tipo de busca semántica sexa rápida e precisa.

Un usuario que escriba "saúde", por exemplo, verá todos os pagos de servizos relacionados coa saúde, como seguros ou subscricións ao ximnasio, aínda que os nomes dos provedores sexan diferentes.

Concluíndo

O uso de Astra DB por parte de wealthAPI demostra como a tecnoloxía avanzada de bases de datos pode impulsar a innovación na análise financeira. Desde a agrupación precisa de transaccións ata a habilitación dun motor de busca semántico de vangarda, a busca vectorial e a escalabilidade de Astra DB permiten a wealthAPI ofrecer solucións máis rápidas e intelixentes aos seus clientes.

Ao integrar fluxos de traballo de IA directamente na arquitectura de Astra DB, wealthAPI mellorou o procesamento de datos financeiros e introduciu unha nova e valiosa capacidade para a análise de contratos.

Por Belkacem Berchiche, enxeñeiro de aprendizaxe automática, wealthAPI e Dieter Flick, enxeñeiro de solucións, DataStax

Máis información sobre Astra DB e WealthAPI .