100 dias de IA, dia 14: As cinco tendências de IA generativa a serem observadas em 2024

Há muita coisa acontecendo no espaço generativo de IA. Tanto é verdade que a Nvidia, o traficante de armas de IA generativa com seus chips H100, agora ultrapassou as avaliações de mercado da Amazon. É também um espaço muito dinâmico e com muita atividade de startups e grandes empresas de tecnologia. Neste post vou destacar três grandes tendências que poderemos ver nos próximos 12 a 18 meses.

1 – Ofertas de dados

Nas últimas duas décadas, continuamos dizendo que os dados são o novo petróleo . Esta frase terá implicações reais este ano. Muitas empresas acumularam conjuntos exclusivos de dados e encontraram um produto real adequado ao mercado. Recentemente, surgiu a notícia de que o Reddit fez um acordo para acessar seus dados com uma empresa não identificada por US$ 60 milhões. Os termos do acordo são desconhecidos, mas isso representa uma nova receita de US$ 60 milhões para o Reddit. Fique atento a mais negócios de empresas que possuem conjuntos exclusivos de dados.

2 – Foco em modelos de código aberto

Desde que a Open AI lançou o chat gpt, a conversa foi dominada pelos modelos básicos da série gpt, que são modelos fechados, o que significa que ninguém, exceto a equipe da Open AI, sabe os detalhes de como o modelo foi treinado, em quais dados ele foi treinado e os parâmetros do modelo. Veremos mais modelos de código aberto tomarem conta do palco e chamarem a atenção. O principal player nesta arena a ser observado é o Meta (Facebook). Meta está retirando a página da abordagem do Google no celular. Embora o sistema operacional móvel da Apple estivesse fechado, a estratégia do Google era ser um sistema operacional móvel de código aberto que alimentasse mais de 80% dos telefones celulares do mundo. Portanto, fique de olho no Meta.

3 – Modelos de Pequenas Linguagens

A IA aberta provou ao mundo qual é o poder dos Large Language Models (LLMs). Mas como todas as empresas de IA estão correndo para construir produtos e recursos prontos para produtos e tentando fazer com que as empresas adotem a IA em seus negócios. Os LLMs podem nem sempre ser a melhor solução. Um modelo menor, que pode exigir menos computação para treinar e usa menos, mas com mais dados de qualidade, pode na verdade ser melhor. Esses modelos chamados SLMs poderiam ser executados em telefones celulares, o que aumentará o acesso da IA a um público mais amplo. Alguns dos SLMs a serem verificados são:

• Phi da Microsoft
• Orca da Microsoft
• T5 do Google

Uma das principais funções de força para se adaptar e inovar com SMLs é reduzir o custo de computação e, assim, tornar a IA mais acessível.

4 – Foco em Segurança LLM

Não estou falando de segurança de dados para treinar o LLM. Estou me referindo a casos em que os usuários podem hackear LLMs para fazer algo que não deveriam ou quebrá-los. Existem muitos problemas de segurança surgindo sobre como hackear comportamentos de LLM. Alguns incluem:

• Jailbreak para fazer o LLM responder algo que não deveria gostar de fazer uma substância proibida em casa.
• Injeção de prompt para ocultar instruções de prompt que quebram LLMs
• O envenenamento de dados é a incorporação de dados ruins na Internet que serão usados pelos LLMs e poderão posteriormente ser mal utilizados.

Atualmente, descobrimos cada vez mais maneiras de que os LLMs podem ser comprometidos à medida que consertamos aqueles que conhecemos. Esta será uma das áreas ativas onde serão feitos progressos em 2024, tanto no lado da investigação como no lado do produto.

5 – Implicações Regulatórias

É bastante claro que a IA terá enormes implicações na sociedade em todos os setores. Irá cruzar-se com todos os aspectos da sociedade e como vimos todas as grandes empresas anunciarem grandes iniciativas de IA e investimentos em IA durante 2022-23.

• Microsoft investiu em Open AI e Inflexão
• Google e Amazon investiram na Antrópica
• Jeff Bezos investiu na Perplexidade
• Airbnb adquiriu uma empresa de IA furtiva chamada gameplanner.ai

Os reguladores já estavam focados nas grandes tecnologias, o que os impediu de fazer qualquer aquisição nos últimos 3 anos. Com isto em segundo plano, veremos os reguladores tanto nos EUA como na UE observarem de perto os investimentos em IA e também potencialmente desembaraçar alguns dos investimentos. Os investimentos foram feitos principalmente para evitar aquisições, porque as pessoas que dirigem grandes empresas de tecnologia sabem que será uma batalha difícil obtê-las aprovadas. Mas mesmo alguns destes investimentos também podem estar sob escrutínio.

É isso no dia 14 de 100 dias de IA.

Escrevo um boletim informativo chamado Above Average, onde falo sobre os insights de segunda ordem por trás de tudo o que está acontecendo nas grandes tecnologias. Se você trabalha com tecnologia e não quer ser mediano, inscreva-se .

Siga-me no Twitter , LinkedIn ou HackerNoon para obter as atualizações mais recentes sobre os 100 dias de IA. Se você trabalha com tecnologia, pode estar interessado em ingressar na minha comunidade de profissionais de tecnologia aqui .