Explicação dos preços do ChatGPT da Open AI: quanto custa usar modelos GPT?

 How Much Does It Cost to Use GPT? GPT-3 Pricing Explained

O lançamento do ChatGPT causou um enorme hype em torno da tecnologia por trás dele: Generative Pretrained Transformer-3 (comumente conhecido como GPT-3). Não admira! Sendo capaz de executar tarefas de NLP com alta precisão, ele pode automatizar muitas tarefas relacionadas ao idioma, como classificação de texto, resposta a perguntas, tradução automática e resumo de texto; ele pode ser usado para gerar conteúdo, analisar dados de clientes ou desenvolver sistemas avançados de IA de conversação.

Se você está lendo este artigo, provavelmente já teve a chance de brincar com o ChatGPT ou já o viu em ação no Youtube, blogs e postagens de mídia social, e agora está pensando em levar as coisas para o próximo nível e aproveitando o poder do GPT-3 para seus próprios projetos.

Antes de mergulhar em todas as possibilidades interessantes e planejar o roteiro do seu produto, vamos abordar uma questão importante:

Quanto custa usar o GPT-3 em um projeto comercial?

A OpenAI promete preços simples e flexíveis.

Podemos escolher entre quatro modelos de linguagem: Ada, Babbage, Curie e Davinci. Davinci é o mais poderoso (usado no ChatGPT), mas os outros três ainda podem ser usados ​​com sucesso para tarefas mais fáceis, como escrever resumos ou realizar análises de sentimentos.

O preço é calculado por cada 1K tokens. Usando o modelo Davinci, você pagaria US$ 1 para cada 50 mil tokens usados. É muito? Conforme explicado na página de preços do OpenAI :

Você pode pensar em tokens como partes de palavras usadas para processamento de linguagem natural. Para texto em inglês, 1 token tem aproximadamente 4 caracteres ou 0,75 palavras. Isso se traduz em aproximadamente ¾ de uma palavra (portanto, 100 tokens ~= 75 palavras). Como ponto de referência, as obras coletadas de Shakespeare têm cerca de 900.000 palavras ou 1,2 milhão de fichas.

Portanto, por apenas $ 100, você pode executar operações em ~ 3.750.000 palavras em inglês, o que equivale a ~ 7.500 páginas de texto em espaçamento simples. No entanto, como podemos ler mais adiante,

As solicitações de resposta são cobradas com base no número de tokens nas entradas que você fornece e na resposta que o modelo gera . Internamente, esse ponto de extremidade faz chamadas para as APIs de pesquisa e conclusão, portanto, seus custos são uma função dos custos desses pontos de extremidade.

Portanto, nossas 7.500 páginas de texto incluem entrada, saída e o prompt com “instruções” para o modelo. Isso torna todo o processo de estimativa um pouco complicado, pois não sabemos qual pode ser a saída.

Para descobrir, decidimos fazer um experimento.

O objetivo era verificar o uso real do token com os três prompts de amostra, entender quais fatores têm impacto na saída e aprender a estimar melhor o custo dos projetos GPT-3.

Como medir o uso de token no GPT-3?

O experimento envolvia combinar prompts com corpora de texto, enviá-los para uma API e calcular o número de tokens retornados.

O custo da requisição da API foi então monitorado na visualização de uso e – como há uma requisição por limite de uma janela de faturamento – foi implementado um tempo de espera de pelo menos 5 minutos. O custo foi então calculado manualmente e comparado com o custo registrado na exibição de uso para ver se havia alguma discrepância.

O plano era simples. Precisávamos coletar vários corpora (~10), preparar os prompts, estimar o uso do token e chamar uma API algumas vezes para ver os resultados reais.

Com base nos resultados, planejávamos buscar correlações entre entrada (corpora + prompt) e saída. Queríamos descobrir quais fatores afetam o comprimento da saída e ver se somos capazes de prever o uso do token com base apenas na entrada e no prompt.

Passo 1: Estimando o preço das entradas GPT-3

Primeiro, queríamos verificar a precisão das informações na página de preços do OpenAI. Para isso, pegamos os resultados do Tokenizer – uma ferramenta oficial fornecida pela OpenAI que calcula como um trecho de texto seria tokenizado pela API e a contagem total de tokens naquele trecho de texto – para depois podermos compará-los com os dados da visão de uso e faturamento real.

Como corpora, tomamos as descrições dos dez aplicativos mais baixados: TikTok, Instagram, Facebook, WhatsApp, Telegram, Snapchat, Zoom, Messenger, CapCut e Spotify.

Isso nos permitiria executar várias operações no texto e testar os corpora para diferentes casos de uso, como pesquisa de palavras-chave, resumir trechos de texto mais longos e transformar o texto em requisitos do projeto. A extensão das descrições variou de 376 a 2.060 palavras.

Vamos dar uma olhada em como era. Aqui está o fragmento de uma descrição do TikTok:

A amostra de texto consistia em 1609 palavras e 2182 tokens, que – dependendo do modelo GPT-3 escolhido – deveriam custar:

• Ada - $ 0,0009
• Babbage - $ 0,0011
• Curie - $ 0,0044
• Davinci - $ 0,0437

Fizemos o mesmo com cada uma das dez descrições de aplicativos em nossos corpora.

Esta foi nossa referência para os testes reais com a API GPT-3.

Passo 2: Preparando os prompts

Como próximo passo, preparamos os prompts. Para os fins deste experimento, queríamos usar três prompts para três casos de uso diferentes.

Dica nº 1: Reunindo os requisitos do projeto com GPT-3

A primeira solicitação foi sobre a coleta de requisitos do projeto com base na descrição do aplicativo fornecida.

Describe in detail, using points and bullet points, requirements strictly related to the project of an application similar to the below description:

Nosso prompt tinha 22 palavras (148 caracteres), o que equivalia a 26 tokens. Adicionamos esses valores aos corpora e calculamos novamente o uso de token estimado para cada modelo.

Dica nº 2: Escrevendo um resumo TL;DR com GPT-3

O segundo prompt foi sobre escrever resumos de longos fragmentos de texto. O “trabalho” do modelo seria identificar as partes mais importantes do texto e escrever uma recapitulação concisa.

Create a short summary consisting of one paragraph containing the main takeaways of the below text:

Nosso prompt tinha 16 palavras (99 caracteres), o que equivalia a 18 tokens. Mais uma vez, adicionamos esses valores aos corpora.

Dica nº 3: Extraindo palavras-chave com GPT-3

O último prompt deveria localizar e categorizar as palavras-chave do texto e, em seguida, apresentá-las de uma determinada forma.

Parse the below content in search of keywords. Keywords should be short and concise. Assign each keyword a generic category, like a date, person, place, number, value, country, city, day, year, etc. Present it as a list of categories: keyword pairs.

Tinha 41 palavras (250 caracteres), o que equivalia a 61 tokens. Juntamente com o corpora text, deu-nos:

O próximo passo deveria finalmente nos dar algumas respostas. Iríamos enviar nossos prompts com textos corpora para a API, calcular o número de tokens retornados na saída e monitorar nossas solicitações de API na exibição de uso.

Etapa 3: teste da API GPT-3

Nesta fase, decidimos focar apenas no modelo GPT mais avançado: Davinci – aquele que é o núcleo do ChatGPT.

Como o uso do token na plataforma OpenAI é medido em períodos de 5 minutos, nosso script enviava apenas uma solicitação de API a cada 5 minutos. Cada solicitação era uma combinação de um pedaço de texto (corpora) e um prompt. Dessa forma, poderíamos obter informações precisas sobre o uso de token para cada combinação e comparar os resultados com as estimativas.

No total, tínhamos 30 combinações para testar: 3 prompts x 10 descrições de aplicativos. Para este experimento, não adicionamos nenhuma variável adicional nas configurações do modelo, como a temperatura do modelo, pois isso aumentaria significativamente o número de combinações e o custo do experimento.

Depois de enviar essas 30 solicitações, comparamos os resultados mostrados na exibição Uso com os obtidos diretamente dos metadados de nossas chamadas de API.

Os resultados foram coerentes entre si. Além disso, o uso de token dos prompts – incluindo o prompt e os corpora – também foi coerente com o uso estimado anteriormente com o Tokenizer.

Nesse ponto, sabíamos que podíamos estimar o uso de token da entrada com alta precisão. O próximo passo foi verificar se havia alguma correlação entre o comprimento da entrada e o comprimento da saída e descobrir se somos capazes de estimar o uso de token da saída.

A correlação entre o número de tokens de entrada e o número de tokens de saída foi muito fraca*. Medir o número de tokens de entrada não foi suficiente para estimar o número total de tokens usados ​​em uma única solicitação.

* A inclinação variou entre 0,0029 no resumo TL;DR e 0,0246 na solicitação de requisitos do projeto.

Quais fatores afetam o custo do uso do GPT-3?

Embora não houvesse uma correlação clara entre o número de tokens de entrada (prompt + corpora) e o número de tokens de saída (resposta), pudemos ver claramente que o fator que realmente impactou o número de tokens de saída foi o próprio prompt – a instrução que foi dado a uma modelo.

Em todos os casos analisados, foram necessários mais tokens para gerar requisitos de projeto do que para extrair e agrupar palavras-chave. No entanto, as diferenças nesses casos foram bastante pequenas e não afetaram realmente o custo de uma única solicitação, que foi de aproximadamente US$ 0,04. Provavelmente mudaria se o prompt exigisse o modelo GPT-3 para criar um texto mais longo (por exemplo, um artigo de blog) com base em um resumo.

Além do caso de uso específico (para o qual usamos o modelo), também existem outros fatores que podem afetar o custo de usar o GPT-3 em seu projeto. Entre outros, estes seriam:

temperatura do modelo

O parâmetro de temperatura controla a aleatoriedade das saídas do modelo e configurá-lo para um valor mais alto pode resultar em saídas mais diversas e imprevisíveis. Isso pode aumentar os recursos computacionais necessários para executar o modelo e, portanto, afetar o custo.

Qualidade do prompt

Um bom prompt minimizará o risco de receber a resposta errada.

Disponibilidade

O custo de uso do GPT-3 também pode ser afetado pela disponibilidade do modelo. Se a demanda pelo modelo for alta, o custo pode aumentar devido à disponibilidade limitada.

Costumização

O custo de uso do GPT-3 também pode ser influenciado pelo nível de personalização necessário. Se você precisar de uma funcionalidade específica, pode ser necessário trabalho de desenvolvimento adicional, o que pode aumentar o custo.

Como usuário, você pode controlar o orçamento definindo limites flexíveis e rígidos. Com um limite flexível, você receberá um alerta por e-mail assim que ultrapassar um determinado limite de uso, e um limite rígido simplesmente rejeitará qualquer solicitação de API subsequente assim que for atingido. Também é possível definir o parâmetro max_tokens na solicitação.

No entanto, você precisa ter em mente que os limites que você definir terão um impacto na eficiência do modelo. Se os limites forem muito baixos, as solicitações de API simplesmente não serão enviadas, portanto você – e seus usuários – não obterão nenhuma resposta.

Como estimar o custo do uso do GPT-3?

O experimento mostrou que é muito difícil fornecer estimativas precisas de uso de token com base apenas nos corpora e prompts.

O custo de uso do GPT-3 pode ser influenciado por uma ampla gama de fatores, incluindo o caso de uso específico, a qualidade do prompt, o nível de personalização, o volume de chamadas de API e os recursos computacionais necessários para executar o modelo.

Com base no experimento realizado, podemos estimar aproximadamente o custo do uso do GPT-3 apenas para determinados casos de uso, como extração de palavras-chave, coleta de requisitos do projeto ou redação de resumos.

Custo de uso do GPT-3 - simulação de projeto

Vamos dar uma olhada no primeiro caso e supor que você tenha um chatbot de atendimento ao cliente em seu site e gostaria de saber o que os usuários costumam perguntar. Para obter esses insights, você precisa:

• analisar todas as mensagens que eles enviam,
• extrair as entidades (por exemplo, nomes de produtos, categorias de produtos),
• e atribua a cada um um rótulo apropriado.

Você tem cerca de 15.000 visitantes por mês e cada visitante envia 3 solicitações duas vezes por semana . Nesse cenário, temos 360 mil solicitações por mês . Se considerarmos o comprimento médio da entrada e saída do experimento (~1800 e 80 tokens) como valores representativos, podemos contar facilmente o preço de uma solicitação .

O custo de utilização do GPT-3 (modelo Davinci) no caso analisado seria de ~$14,4 mil por mês.

É importante notar, no entanto, que é apenas uma simulação simplificada e seus resultados não são totalmente representativos.

Como o custo real de construção de qualquer produto alimentado por GPT-3 depende de vários fatores (complexidade do projeto, quantidade e qualidade dos dados, prompts, configurações do modelo, número de usuários), a margem de erro segura de tal estimativa seria mesmo 50-100%.

Para obter estimativas mais confiáveis, seria útil executar um projeto de prova de conceito e testar diferentes cenários no conjunto específico de dados – suas próprias amostras de corpora.

Quanto custa usar o GPT? Resumo

GPT-3 é uma tecnologia relativamente nova, e ainda existem muitas incógnitas relacionadas ao seu uso comercial. O custo de usá-lo é um deles.

Embora seja possível medir o uso do token e seu preço no lado da entrada (US$ 0,04 por 1.000 tokens no modelo Davinci mais avançado), é difícil prever esses valores na saída. Existem muitas variáveis ​​que os impactam, e a correlação entre entrada e saída é bastante baixa.

Por causa disso, quaisquer estimativas “brutas” são pura suposição. Para aumentar a precisão de uma estimativa (mas também para validar a viabilidade do uso do GPT-3 em um determinado caso de uso), é necessário executar uma prova de conceito. Em tal PoC, pegamos corpora de amostra e testamos o modelo com diferentes prompts e diferentes configurações de modelo para encontrar a melhor combinação.

BÔNUS: Quanto custa usar GPT-3.5 turbo com OpenAI Foundry?

Em 21 de fevereiro, as informações sobre a nova oferta da OpenAI chamada Foundry se tornaram virais, passando do Twitter até as mídias de tecnologia mais reconhecidas, como Techcrunch eCMS Wire .

De acordo com o resumo do produto, a execução de uma versão leve do GPT-3.5 custará US$ 78.000 para um compromisso de três meses ou US$ 264.000 para um compromisso de um ano. A execução da versão mais avançada do modelo Davinci (com um limite de tokens 8 vezes superior ao que tínhamos no GPT-3!) custará US$ 468.000 para um compromisso de três meses ou US$ 1.584.000 para um compromisso de um ano.

Mas do que se trata? Como podemos ler no Techcrunch :

A acreditar nas capturas de tela, o Foundry - sempre que for lançado - fornecerá uma “alocação estática” de capacidade de computação (…) dedicada a um único cliente. (…)

A Foundry também oferecerá compromissos de nível de serviço para tempo de atividade da instância e suporte de engenharia no calendário. Os aluguéis serão baseados em unidades de computação dedicadas com compromissos de três meses ou um ano; executar uma instância de modelo individual exigirá um número específico de unidades de computação.

Parece, porém, que o compromisso de nível de serviço não deve ser tratado como um contrato de preço fixo.

Por enquanto, seria seguro supor que o preço cobre apenas o acesso a um determinado modelo na capacidade dedicada “com controle total sobre a configuração do modelo e perfil de desempenho”, como podemos ler nas breves capturas de tela do produto.

Os preços dos tokens nos novos modelos – que devem ser o tão aguardado GPT-4 – ainda não foram divulgados. No entanto, na recente atualização da documentação do OpenAI , podemos ler que o GPT-3.5 Turbo custa 1/10 do custo do modelo GPT-3 Davinci – o que nos dá $ 0,002 por 1k tokens no GPT-3.5 Turbo.