VCs e fundadores Nota: ChatGPT/LLM é um grande passo à frente - aqui está o porquê

TLDR 1: o conjunto de dados não é mais um requisito rígido

TLDR 2: Tem casos de uso muito amplos

TLDR 3: Custo e Limitações

Se você estava de férias e não tem ideia do que são ChatGPT ou LLM (large language models) - você pode encontrar o briefing sobre a tecnologia aqui:

Então, o que quero dizer com uma forma mais longa?

Pegue uma xícara de café e acomode-se um pouco…

Parte 1: os dados não são mais um requisito rígido

Curso intensivo sobre requisitos tradicionais de dados de IA baseados em texto

No passado, a construção de um modelo de IA normalmente envolvia a coleta de um conjunto de dados grande o suficiente para um caso de uso específico. Existem diferentes técnicas e ferramentas de treinamento de modelos de IA para otimizar o processo de treinamento ou seus custos computacionais.

No entanto, o tamanho e a qualidade do conjunto de dados ainda eram um dos fatores predominantes no treinamento de uma IA.

Isso resultaria em um gráfico mais ou menos como o seguinte:

Isso levou à corrida armamentista do conjunto de dados, ocorrendo em quase todos os campos de especialização relacionados à IA (especialmente qualquer coisa relacionada à visão computacional).

O que ocorreu em várias startups de 2009 em diante até hoje, com algumas startups notáveis sendo adquiridas em parte por seus valiosos conjuntos de dados (e geralmente talentos).

Como a corrida armamentista aumentava constantemente, tornou-se cada vez mais difícil para as novas startups competir com seus modelos de IA (pequenos conjuntos de dados) contra os titulares (conjuntos de dados maiores).

Por exemplo, em uilicious.com (uma startup de automação de teste de IU de baixo código), usamos nosso conjunto de dados limitado para treinar um modelo de IA (chamado TAMI v0.1). Descobrimos que ele estava vomitando lixo na metade do tempo, levando-nos a deixar o modelo de lado e fazer a empresa crescer sem IA enquanto construímos nosso conjunto de dados.

De uma maneira muito generalizada e não técnica, a IA treinada dessa maneira será chamada de "Modelos especializados" daqui em diante.

O início dos LLMs ou grandes modelos de linguagem

Na busca por uma IA verdadeiramente universal ou de propósito geral, especialmente no campo das interações de fala humana (já que os humanos são a mais aleatória de todas as variáveis), surgiram esforços para treinar um novo tipo de IA baseada em texto para conjuntos de dados extremamente grandes. de dados públicos (pense na Wikipedia, Quora, StackOverflow e metade do texto da Internet).

Como esses novos modelos ultrapassaram os limites dos tamanhos dos conjuntos de dados e do tamanho do modelo (pense no tamanho do cérebro), os métodos usados para construí-los divergiram dos modelos especializados (que tendem a ter mais ênfase na precisão e na eficiência).

Os modelos de IA de texto treinados dessa maneira agora são chamados coletivamente de "Modelos de linguagem grande" (LLMs).

A desvantagem dessa abordagem foi enorme, impedindo sua aplicação antecipada em muitos casos de uso:

• Conjuntos de dados extremamente grandes precisam ser criados e mantidos (GPT-3 usou 45 TB)

• O treinamento custa milhões de dólares (GPT-3 custa mais de US$ 4 milhões para treinar, GPT-3.5/chatGPT é presumivelmente mais alto)

• Uso limitado para casos de uso especializados devido à falta de dados de treinamento privados

• Precisão menor do que modelos especializados em casos de uso especializados

• Caro para executar (mais sobre isso em limitações mais tarde)

Embora as primeiras gerações de LLMs possam ter produzido resultados decepcionantes, pois perderam para quase todos os modelos especializados em todas as tarefas, as coisas mudaram com o passar dos anos e eles aumentaram tanto no tamanho do conjunto de dados quanto no tamanho do modelo.

Seus benefícios tornaram-se mais visíveis:

• Fatos e precisão à parte, eles se tornaram muito bons em falar com humanos.

• Em muitos (mas não todos) casos: eles são realmente bons em aprender novos conhecimentos especializados quando recebem os conjuntos de dados em um formato apropriado (você não pode simplesmente despejá-los)

Isso fez mudanças drásticas nas curvas:

Também desencadeou uma nova onda de modelos de negócios apoiados por IA em 2019. As startups agora podem treinar novos modelos de IA em cima de LLMs existentes com conjuntos de dados ao seu alcance, de chatbots a geradores de slides de apresentação, copilotos de código, direitos autorais e até mestres de jogos D&D.

Esses modelos de IA não eram mais de domínio exclusivo de grandes empresas de tecnologia. Por uma pequena taxa para treinar e executar a IA em sua infraestrutura, a OpenAI e o Google começaram a abrir seus modelos para outros desenvolverem como um meio de lucrar com os LLMs.

Isso também foi benéfico para as startups, pois elas não precisavam mais de milhões de dólares em investimentos em P&D necessários para construir esses grandes modelos internamente, permitindo que chegassem ao mercado mais rapidamente com suas provas de conceito.

Data ainda era, de certa forma, rei. Ele pode ter movido a curva para ficar mais acessível, mas ainda exigia uma equipe para criar grandes conjuntos de dados e ajustar o modelo.

Como resultado, embora muitas das startups de 2019 tenham achado significativamente mais fácil construir seus protótipos, muitas acharam difícil cruzar o limite "útil", pois precisavam ampliar seu conjunto de dados com retornos decrescentes.

Mas é aí que as coisas começam a realmente mudar em 2022....

Como grandes modelos de linguagem são aprendizes de poucos tiros

O lançamento do GPT3.5 (ou chatGPT, como é conhecido na internet) no mês passado (dezembro de 2022) teve grandes implicações na forma como os modelos de IA são treinados e ajustados.

Ele desbloqueou a possibilidade de criar IA utilizável com conjuntos de dados extremamente pequenos - algo que a maioria das startups tem acesso ou pode criar manualmente. Esta é uma mudança fundamental na forma como pensamos sobre o treinamento de IA.

Usando o GPT3.5 como um bloco de construção básico, agora é possível criar aplicativos de IA úteis para vários casos de uso sem a necessidade de uma equipe ou indivíduo especializado.

Dependendo do caso de uso, o conjunto de dados pode ser tão pequeno quanto uma única frase ou parágrafo, ou até 100 MB ou 1 GB - um tamanho alcançável para muitas startups.

Alternativamente, se você conseguir que o chatGPT aja de uma maneira que considere útil e valiosa para sua startup, você pode construí-lo como um serviço de IA dedicado.

A redução drástica no conjunto de dados necessário possibilitou a construção de um modelo de IA "útil" com apenas uma pequena fração de nosso conjunto de dados completo - algo que antes era "inútil" ou "impossível" em nossa escala.

De muitas maneiras, os dados não são mais o rei, encontrar e construir aplicativos úteis são os verdadeiros reis com esta nova IA. Onde ideias podem ser construídas e testadas em semanas (não anos).

Parte 2: A busca por casos de uso (e estagiários de IA) começou

A Estrutura Interna para Encontrar Casos de Uso

GPT-3.5 e todos os outros modelos de linguagem grandes têm limites em sua precisão e confiabilidade. Isso se deve em parte à sua natureza de sonhar com respostas .

Embora em teoria (ainda a ser comprovado), dado um conjunto de dados especializado grande o suficiente, sua precisão pode ser drasticamente melhorada para casos de uso especializados. No entanto, se você tiver um conjunto de dados tão grande, é provável que já possa criar "modelos especializados".

Ainda assim, esse limite de precisão e confiabilidade é apenas uma questão crítica em setores sensíveis (por exemplo, medicina). Na maioria dos casos, é apenas uma distração para encontrar casos de uso. Uma vez que a IA cruza o limite “bom o suficiente” (o que acontece).

Uma abordagem mais saudável e realista para o problema é imaginar o GPT-3.5 como um “estagiário universitário inteligente sob demanda” pago e remoto

Porque, realisticamente, a IA tem todas as mesmas limitações nesses casos de uso, além de ser remota e online:

• Nunca confie em estagiários para estarem 100% certos o tempo todo (muito menos diagnosticar remédios)

• Crie um fluxo de trabalho que permita ao estagiário fornecer valor útil com segurança, com supervisão, orientação e planejamento adequados

• Para estagiários de um dia ou um mês, você criaria um plano de treinamento formal para torná-los rapidamente produtivos em uma hora ou uma semana de treinamento, respectivamente. Você deveria pagar seus estagiários; eles não são gratuitos (tanto para humanos quanto para IA)

O único benefício real que o modelo de IA tem sobre os estagiários da vida real é:

• Eles não são afetados pelas temporadas escolares

• Você pode escalar para cima e para baixo a qualquer segundo

• O treinamento é algo que você pode fazer uma vez por lote e escalar para quantas instâncias

A desvantagem que a IA tem sobre os humanos é que eles não podem pegar café para você pessoalmente.

Depois de enquadrar nesses termos, fica significativamente mais fácil descobrir como integrar a IA aos processos ou produtos de negócios existentes.

• Precisa gerar ideias para artigos? Consiga um estagiário de um dia.

• Precisa converter algum código proprietário de Java em JavaScript? Consiga um estagiário de um mês com algum treinamento básico sobre como fazer o processo.

• E assim por diante - onde em nenhum ponto do processo o humano deve ser removido do loop na supervisão e interação com o estagiário.

Parte 3: Limitações de custo e negócios

O custo por solicitação fará ou quebrará o modelo de negócios

Essa é a maior fraqueza dessa abordagem mais recente em IA, baseada em modelos maiores e melhores. Infelizmente, não existe almoço grátis.

Embora seja mais barato e fácil treinar para tarefas específicas em termos de tamanho do conjunto de dados, é significativamente mais caro de executar em comparação com os modelos de IA mais tradicionais.

Não é barato; o custo por solicitação e resposta varia entre um centavo e cinquenta centavos, dependendo da quantidade de dados necessária para treinar ou usar no processo. Isso é drasticamente maior do que um servidor de API típico, que pode lidar com um milhão de solicitações por dólar.

Para simplificar, custa mais em hardware de servidor lidar com uma consulta de IA para um usuário em um determinado segundo do que atender a um milhão de solicitações de usuários para um site típico da Shopify de tamanho médio.

Isso não se deve ao fato de a OpenAI ou o Azure tentarem apenas lucrar; depende da infraestrutura de hardware de servidor pura necessária para executar modelos tão grandes.

Como resultado, por mais poderoso que seja, a incorporação de uma IA de modelo de linguagem tão grande tem um preço alto e pode não ser aplicável a todos os casos de uso devido apenas a essa limitação.

O resultado final é que, embora muitos casos de uso possam se beneficiar do uso de tal IA, nem todos os casos de uso podem arcar com isso; e isso deve ser uma consideração importante para qualquer implementação.

Exemplo A: Chat do serviço de suporte

Para um service desk de suporte, uma equipe de suporte típica pode atender dez clientes por hora, com cada cliente tendo uma média de quinze prompts de ida e volta. Se for cinco centavos por prompt - isso soma US $ 7,50 por hora se uma IA for usada para imitar uma única equipe de suporte.

Isso não é apenas mais barato do que o salário médio típico da equipe de call center dos EUA de US $ 15 por hora, mas também é muito mais flexível (sem sobrecarga de pessoal, pode aumentar e diminuir instantaneamente).

Da mesma forma, também é possível fazer a mesma abordagem "interna", onde essa IA de suporte serve apenas como suporte L1, permitindo que os humanos lidem com os casos mais complicados. Nesse cenário, faz sentido quando feito e dimensionado adequadamente por prompt (ou por hora).

Exemplo B: um serviço SaaS para rascunhos de e-mails

O trabalhador de escritório médio responde a aproximadamente quarenta e-mails por dia de trabalho ou aproximadamente 880 e-mails por mês. Mesmo a cinco centavos por e-mail, isso daria uma média de US$ 44 por mês por usuário apenas para lidar com as respostas de e-mail.

O que piora é que é razoável esperar que, com esse serviço, um funcionário de escritório seja capaz de responder a mais e-mails em média. Não seria razoável que a média dobrasse para dois mil e-mails, ou cem dólares por mês, apenas em custos puros de IA.

Nesse caso, se a startup de SaaS fizesse um preço simples, digamos dez dólares por mês, ela poderia ter grandes perdas potenciais ao longo do tempo.

Esse modelo de negócios e custo de preços é contrário ao modelo típico de preços por usuário que é comum em SaaS. É por isso que é comum que essas integrações tenham um sistema de "créditos" como forma de limitar o uso e um meio de cobrança de tal IA.

OpenAI tem um monopólio efetivo (por enquanto)

Preços podem ficar parados até que a concorrência chegue

Embora existam Modelos de Linguagem Grande de código aberto existentes, em termos muito francos, eles são comparáveis ao GPT2 ou em algum lugar entre ele e o GPT3.5.

Para alguns casos simples, uma vez que eles começam a construir um conjunto de dados razoável, esses modelos menores (e mais baratos) podem ser úteis para migrar como um meio de corte de custos.

No entanto, para outros casos complexos, tal movimento pode não ser possível devido à complexidade de sua IA, dando à OpenAI um monopólio efetivo sem incentivo para preços mais baixos.

Acredita-se, no entanto, que ao longo dos próximos um ou dois anos, a comunidade de código aberto se recuperará e, ao fazê-lo, talvez permita que os preços melhorem devido a melhores provedores de infraestrutura alternativa.

No entanto, por se tratar de um futuro incerto, vale a pena destacar.

OpenAI é um concorrente potencial relutante para alguns modelos

Embora não intencionalmente, é fundamental que as startups dentro desse espaço criem conjuntos de recursos que sejam defensáveis além de seus bots de prompt para texto.

Por exemplo, havia várias startups menores que criaram bots baseados em GPT3 ou SaaS em torno de casos de uso específicos de prompt para texto, como geradores de nomes ou geradores de ideias com uma interface simples.

Literalmente da noite para o dia, com o lançamento do chatGPT, esses pequenos SaaS de texto para texto de caso de uso único se tornaram redundantes, pois as pessoas comuns agora podem obter a mesma funcionalidade via chatGPT gratuitamente.

Embora possa não ter sido a intenção da OpenAI competir com os próprios parceiros que os desenvolvem, pode ser inevitável fazê-lo, pois eles continuam melhorando seu modelo e chatGPT.

Assim, para garantir que isso não se repita, é fundamental para qualquer modelo de negócios em torno dessa tecnologia descobrir qual valor adicional eles fornecem além de apenas prompt para texto, talvez melhor experiência do usuário ou integrações com ferramentas existentes, etc.

Por último: não é perfeito

Um lembrete do modelo interno, não espere usar isso para curar o câncer amanhã. Então, por favor, não coloque IA em todos os produtos e startups na Terra quando isso não traz nenhum benefício para o usuário final.

~ Até a próxima 🖖 vida longa e próspera
Eugene Cheah: CTO da uilicious.com

Este artigo foi publicado originalmente na subpilha do autor

Notas adicionais que não se encaixaram

swyx também faz um excelente trabalho ao tentar consolidar diversas informações, neste espaço cada vez mais caótico e em rápido crescimento, que vale muito a pena ler (recomendado!!!)

• O dia em que o AGI nasceu: https://lspace.swyx.io/p/everything-we-know-about-chatgpt
• Como o Open Source está consumindo a IA: https://lspace.swyx.io/p/open-source-ai
• Suas notas AI ao vivo: https://github.com/sw-yx/ai-notes/blob/main/TEXT.md#chatgpt

Atualmente, o BLOOM é o principal concorrente de código aberto para GPT3 (não 3.5): https://towardsdatascience.com/run-bloom-the-largest-open-access-ai-model-on-your-desktop-computer-f48e1e2a9a32

Na indústria de AI/ML, a capacidade de um LLM de aprender rapidamente novos conceitos e aplicá-los é quantificada e medida por testes denominados aprendizados "Zero-Shot", "One-Shot" e "Few-Shot".

Geralmente, quanto melhor a IA se sai nesses testes, menos dados você precisa para treiná-la para o seu caso de uso.

Outras Fontes e Citações

• Conjunto de treinamento GPT-3 45TB: https://www.springboard.com/blog/data-science/machine-learning-gpt-3-open-ai/
• GPT-3 estimou $ 4 milhões++ mais custo de treinamento: https://lambdalabs.com/blog/demystifying-gpt-3
• Bloom AI, um concorrente de código aberto Custo de treinamento de US$ 1,6 milhão: https://techcrunch.com/2022/07/12/a-year-in-the-making-bigsciences-ai-language-model-is-finally-available/
• Modelo em forma de T de educação e trabalho
  • https://wordspy.com/index.php?word=t-shape
  • https://collegeinfogeek.com/become-t-shaped-person/
• Grandes papéis de modelos de linguagem, para aprendizados de zero e poucos tiros
  • https://arxiv.org/abs/2205.11916 (tiro zero)
  • https://arxiv.org/abs/2005.14165 (alguns tiros)
• Taxas salariais de call center nos EUA: https://www.comparably.com/salaries/salaries-for-call-center-agent
• E-mail médio enviado por um funcionário de escritório por dia: https://www.templafy.com/blog/how-many-emails-are-sent-every-day-top-email-statistics-your-business-needs-to- saber/
• Anúncio OpenAI de chatGPT / GPT3.5: https://openai.com/blog/chatgpt/
• Créditos das fotos do Unsplash
  • https://unsplash.com/photos/7swaW1bYpWI
  • https://unsplash.com/photos/1iVKwElWrPA
  • https://unsplash.com/photos/SELXIJwN24s
  • https://unsplash.com/photos/3xwrg7Vv6Ts
  • https://unsplash.com/photos/-G3rw6Y02D0