Como instalar o PrivateGPT: uma instância local semelhante ao ChatGPT sem necessidade de Internet

A imagem principal deste artigo foi gerada peloAI Image Generator do HackerNoon por meio do prompt "um robô usando um computador de mesa antigo"

Há algo novo no espaço da IA. Nesta postagem, orientarei você no processo de instalação e configuração do PrivateGPT.

O que é PrivateGPT?

Uma poderosa ferramenta que permite consultar documentos localmente sem a necessidade de conexão com a internet. Seja você um pesquisador, desenvolvedor ou apenas curioso para explorar as ferramentas de consulta de documentos, o PrivateGPT oferece uma solução eficiente e segura. Este tutorial acompanha um vídeo do Youtube, onde você encontra uma demonstração passo a passo do processo de instalação!

Pré-requisitos:

• Python 3.10 ou posterior instalado em seu sistema ou ambiente virtual

• Conhecimento básico de uso da interface de linha de comando (CLI/Terminal)

• Git instalado

  
  

Primeiro, vamos criar um ambiente virtual. Você pode criar uma pasta em sua área de trabalho. Na captura de tela abaixo, você pode ver que criei uma pasta chamada 'blog_projects'. Abra a linha de comando dessa pasta ou navegue até essa pasta usando o terminal/linha de comando. Siga os passos abaixo para criar um ambiente virtual.

1. Crie um ambiente virtual:

• Abra seu terminal e navegue até o diretório desejado.
• Execute o seguinte comando para criar um ambiente virtual (substitua myenv pelo nome de sua preferência):

python3 -m venv meuenv

O nome do seu ambiente virtual será 'myenv'

2. Ative o ambiente virtual:

• No macOS e Linux, use o seguinte comando:

source myenv/bin/activate

• No Windows, use o seguinte comando:

meuenv\Scripts\ativar

3. Execute o comando git clone para clonar o repositório:

git clone https://github.com/imartinez/privateGPT.git

Ao criar e ativar o ambiente virtual antes de clonar o repositório, garantimos que as dependências do projeto serão instaladas e gerenciadas dentro deste ambiente. Isso ajuda a manter um ambiente de desenvolvimento limpo e isolado específico para este projeto.

Depois de clonar o repositório, você pode instalar as dependências do projeto e começar a trabalhar no projeto dentro do ambiente virtual ativado.

Em seguida, copie o repositório de código do Github e vá para o diretório ou pasta onde deseja que seu projeto resida. Abra o terminal ou navegue até sua pasta na linha de comando.

Depois que tudo for carregado, você poderá executar o comando de requisitos de instalação para instalar as dependências necessárias.

• Navegue até o diretório onde deseja instalar o PrivateGPT.

CD <NOME DA PASTA>

• Execute o seguinte comando para instalar as dependências necessárias:

pip install -r requisitos.txt

• Em seguida, baixe o modelo LLM e coloque-o em um diretório de sua escolha. O modelo padrão é 'ggml-gpt4all-j-v1.3-groovy.bin', mas se você preferir um modelo compatível com GPT4All-J diferente, pode baixá-lo e referenciá-lo em seu arquivo .env.

• Renomeie o arquivo 'example.env' para '.env' e edite as variáveis apropriadamente.

Defina a variável 'MODEL_TYPE' como 'LlamaCpp' ou 'GPT4All', dependendo do modelo que você está usando.

• Defina a variável 'PERSIST_DIRECTORY' para a pasta onde deseja que seu armazenamento de vetor seja armazenado.
• Defina a variável 'MODEL_PATH' para o caminho do seu modelo LLM compatível com GPT4All ou LlamaCpp.
• Configure a variável 'MODEL_N_CTX' para o limite máximo de token para o modelo LLM.
• Defina a variável 'EMBEDDINGS_MODEL_NAME' para o nome do modelo de incorporação do SentenceTransformers (consulte https://www.sbert.net/docs/pretrained_models.html ).

Certifique-se de criar uma pasta de modelos em seu projeto para colocar o modelo que você baixou.

O PrivateGPT vem com um conjunto de dados de amostra que usa um 'estado da transcrição da união' como exemplo. No entanto, você também pode ingerir seu próprio conjunto de dados. Deixa-me mostrar-te como.

1. Coloque todos os seus arquivos no diretório 'source_documents'.
2. Certifique-se de que seus arquivos tenham uma das extensões suportadas: CSV, Documento do Word (docx, doc), EverNote (enex), Email (eml), EPub (epub), Arquivo HTML (html), Markdown (md), Mensagem do Outlook ( msg), Open Document Text (odt), Portable Document Format (PDF), PowerPoint Document (pptx, ppt), Arquivo de texto (txt).
3. Execute o seguinte comando para ingerir todos os dados:

python ingest.py

Perfeito! O processo de ingestão de dados está concluído. Agora, vamos para o próximo passo!

Se você tiver este erro: cannot import name 'DEFAULT_CIPHERS' from 'urllib3.util.ssl_' , use este comando: python -m pip install requests "urllib3<2"

Ponto importante a ser mencionado, SE VOCÊ ADICIONAR NOVOS DOCUMENTOS A SEUS SOURCE_DOCS, precisará executar novamente 'python ingest.py'

-------------------------------------------------- -------------

Fazendo perguntas ao seu host de documentos:

Agora vem a parte empolgante: fazer perguntas aos seus documentos usando o PrivateGPT. Deixe-me mostrar-lhe como é feito.

1. Abra seu terminal ou prompt de comando.
2. Navegue até o diretório onde você instalou o PrivateGPT.

[diretório do projeto 'privateGPT', se você digitar ls em sua CLI, verá o arquivo READ.ME, entre alguns arquivos.]

• Execute o seguinte comando:

python privateGPT.py

1. Aguarde até que o script solicite sua entrada.
2. Quando solicitado, digite sua pergunta!
   

Truques e dicas:

• Use python privategpt.py -s [ para remover as fontes de sua saída. Então, em vez de exibir a resposta e a fonte, ele exibirá apenas a fonte]
• Na linha 33, no final do comando onde você vê 'verbose=false,' digite 'n threads=16' que usará mais energia para gerar texto em um ritmo mais rápido!
  

Considerações Finais do PrivateGPT

• Isso é ótimo para quem deseja entender documentos complexos em seu computador local.
• Isso é ótimo para dados privados que você não deseja vazar externamente.
• Isso é particularmente bom para estudantes, pessoas novas em um setor, qualquer pessoa que esteja aprendendo sobre impostos ou qualquer pessoa que esteja aprendendo algo complicado que precise de ajuda para entender.
• No entanto, o tempo de espera pode ser de 30 a 50 segundos ou talvez até mais, porque você o está executando em seu computador local.