Arize AI , uma plataforma de avaliação de observabilidade de IA e modelo de linguagem grande (LLM), lançou monitoramento e análise de variáveis imediatas no palco do Google Cloud Next '24 esta semana.
A estreia surge num momento de grande necessidade. Embora as empresas estejam a correr para implementar modelos básicos para se manterem competitivas num mundo cada vez mais impulsionado pela IA, as alucinações e a precisão das respostas continuam a ser barreiras às implementações de produção.
O novo monitoramento de variáveis imediatas do Arize ajuda engenheiros de IA e equipes de aprendizado de máquina a detectar automaticamente bugs em variáveis imediatas e identificar conjuntos de dados problemáticos. Por meio da introspecção e do refinamento dos prompts usados em aplicativos com tecnologia LLM, as equipes podem garantir que os resultados gerados estejam alinhados com as expectativas em torno de métricas como precisão, relevância e correção. Ferramentas adicionais de gerenciamento de janelas de contexto também lançadas hoje permitem um exame mais aprofundado.
“A depuração de sistemas LLM é muito dolorosa hoje em dia”, diz Jason Lopatecki, CEO e cofundador da Arize AI. “Ao analisar como os sistemas de IA respondem a uma infinidade de solicitações e oferecer insights mais profundos sobre o comportamento do modelo, as novas ferramentas de análise de variáveis imediatas da Arize prometem ajudar os engenheiros de IA a obter resultados mais bem-sucedidos na produção – com treinamento e ciclos de feedback para informar o refinamento contínuo.”
Arize AI é uma plataforma de observabilidade de IA e avaliação LLM que ajuda as equipes a fornecer e manter IA com mais sucesso na produção. A plataforma automatizada de monitoramento e observabilidade da Arize permite que as equipes detectem problemas rapidamente quando eles surgem, solucionem o motivo pelo qual eles aconteceram e melhorem o desempenho geral em casos de uso de ML tradicional e generativos, como RAG LLM . A Arize está sediada em Berkeley, CA.