Cách cài đặt PrivateGPT: Phiên bản giống như ChatGPT cục bộ mà không cần Internet

Hình ảnh chính cho bài viết này được tạo bởiTrình tạo hình ảnh AI của HackerNoon thông qua lời nhắc "người máy sử dụng máy tính để bàn cũ"

Có một cái gì đó mới trong không gian AI. Trong bài đăng này, tôi sẽ hướng dẫn bạn quy trình cài đặt và thiết lập PrivateGPT.

PrivateGPT là gì?

Một công cụ mạnh mẽ cho phép bạn truy vấn tài liệu cục bộ mà không cần kết nối internet. Cho dù bạn là nhà nghiên cứu, nhà phát triển hay chỉ muốn khám phá các công cụ truy vấn tài liệu, PrivateGPT đều cung cấp giải pháp hiệu quả và an toàn. Hướng dẫn này đi kèm với một video Youtube, nơi bạn có thể tìm thấy bản minh họa từng bước về quy trình cài đặt!

điều kiện tiên quyết:

• Python 3.10 trở lên được cài đặt trên hệ thống hoặc môi trường ảo của bạn

• Kiến thức cơ bản về sử dụng Giao diện dòng lệnh (CLI/Terminal)

• Đã cài đặt Git

  
  

Đầu tiên, hãy tạo một môi trường ảo. Bạn có thể tạo một thư mục trên máy tính để bàn của mình. Trong ảnh chụp màn hình bên dưới, bạn có thể thấy tôi đã tạo một thư mục có tên 'blog_projects'. Mở dòng lệnh từ thư mục đó hoặc điều hướng đến thư mục đó bằng thiết bị đầu cuối/Dòng lệnh. Làm theo các bước dưới đây để tạo môi trường ảo.

1. Tạo môi trường ảo:

• Mở thiết bị đầu cuối của bạn và điều hướng đến thư mục mong muốn.
• Chạy lệnh sau để tạo môi trường ảo (thay thế myenv bằng tên bạn muốn):

python3 -m venv myenv

Tên môi trường ảo của bạn sẽ là 'myenv'

2. Kích hoạt môi trường ảo:

• Trên macOS và Linux, sử dụng lệnh sau:

nguồn myenv/bin/kích hoạt

• Trên Windows, sử dụng lệnh sau:

myenv\Scripts\kích hoạt

3. Chạy lệnh git clone để sao chép kho lưu trữ:

git clone https://github.com/imartinez/privateGPT.git

Bằng cách tạo và kích hoạt môi trường ảo trước khi sao chép kho lưu trữ, chúng tôi đảm bảo rằng các phần phụ thuộc của dự án sẽ được cài đặt và quản lý trong môi trường này. Điều này giúp duy trì một môi trường phát triển sạch sẽ và biệt lập dành riêng cho dự án này.

Sau khi sao chép kho lưu trữ, bạn có thể tiến hành cài đặt các phần phụ thuộc của dự án và bắt đầu làm việc với dự án trong môi trường ảo đã kích hoạt.

Sau đó sao chép mã repo từ Github và đi vào thư mục hoặc thư mục nơi bạn muốn dự án của mình tồn tại. Mở terminal hoặc điều hướng đến thư mục của bạn từ dòng lệnh.

Khi mọi thứ tải xong, bạn có thể chạy lệnh cài đặt yêu cầu để cài đặt các phụ thuộc cần thiết.

• Điều hướng đến thư mục mà bạn muốn cài đặt PrivateGPT.

CD <TÊN THƯ MỤC>

• Chạy lệnh sau để cài đặt các phụ thuộc cần thiết:

cài đặt pip -r tests.txt

• Tiếp theo, tải xuống mô hình LLM và đặt nó vào thư mục bạn chọn. Mô hình mặc định là 'ggml-gpt4all-j-v1.3-groovy.bin', nhưng nếu thích một mô hình tương thích với GPT4All-J khác, bạn có thể tải xuống và tham khảo mô hình đó trong tệp .env của mình.

• Đổi tên tệp 'example.env' thành '.env' và chỉnh sửa các biến một cách thích hợp.

Đặt biến 'MODEL_TYPE' thành 'LlamaCpp' hoặc 'GPT4All', tùy thuộc vào kiểu máy bạn đang sử dụng.

• Đặt biến 'PERSIST_DIRECTORY' thành thư mục mà bạn muốn lưu trữ kho véc-tơ của mình.
• Đặt biến 'MODEL_PATH' thành đường dẫn của mô hình LLM được hỗ trợ GPT4All hoặc LlamaCpp của bạn.
• Đặt biến 'MODEL_N_CTX' thành giới hạn mã thông báo tối đa cho mô hình LLM.
• Đặt biến 'EMBEDDINGS_MODEL_NAME' thành tên mô hình nhúng SentenceTransformers (tham khảo https://www.sbert.net/docs/pretraining_models.html ).

Đảm bảo rằng bạn tạo một thư mục mô hình trong dự án của mình để đặt mô hình mà bạn đã tải xuống.

PrivateGPT đi kèm với tập dữ liệu mẫu sử dụng 'trạng thái của bảng điểm liên kết' làm ví dụ. Tuy nhiên, bạn cũng có thể nhập tập dữ liệu của riêng mình. Hãy để tôi chỉ cho bạn cách làm.

1. Đặt tất cả các tệp của bạn vào thư mục 'source_documents'.
2. Đảm bảo tệp của bạn có một trong các tiện ích mở rộng được hỗ trợ: CSV, Tài liệu Word (docx, doc), EverNote (enex), Email (eml), EPub (epub), Tệp HTML (html), Markdown (md), Tin nhắn Outlook ( msg), Văn bản Tài liệu Mở (odt), Định dạng Tài liệu Di động (PDF), Tài liệu PowerPoint (pptx, ppt), Tệp văn bản (txt).
3. Chạy lệnh sau để nhập tất cả dữ liệu:

python ingest.py

Hoàn hảo! Quá trình nhập dữ liệu hoàn tất. Bây giờ, chúng ta hãy chuyển sang bước tiếp theo!

Nếu bạn gặp lỗi này: cannot import name 'DEFAULT_CIPHERS' from 'urllib3.util.ssl_' , hãy sử dụng lệnh này: python -m pip install requests "urllib3<2"

Điều quan trọng cần đề cập, NẾU BẠN THÊM TÀI LIỆU MỚI VÀO SOURCE_DOCS CỦA BẠN, bạn cần chạy lại 'python ingest.py'

-------------------------------------------------- -------------

Đặt câu hỏi cho máy chủ lưu trữ tài liệu của bạn:

Bây giờ là phần thú vị—đặt câu hỏi cho tài liệu của bạn bằng PrivateGPT. Hãy để tôi chỉ cho bạn cách nó được thực hiện.

1. Mở thiết bị đầu cuối hoặc dấu nhắc lệnh của bạn.
2. Điều hướng đến thư mục mà bạn đã cài đặt PrivateGPT.

[ thư mục dự án 'privateGPT' , nếu bạn nhập ls trong CLI của mình, bạn sẽ thấy tệp READ.ME, trong số một số tệp.]

• Chạy lệnh sau:

python privateGPT.py

1. Đợi tập lệnh nhắc bạn nhập liệu.
2. Khi được nhắc, hãy nhập câu hỏi của bạn!
   

Thủ thuật và thủ thuật:

• Sử dụng python privategpt.py -s [ để xóa các nguồn khỏi đầu ra của bạn. Vì vậy, thay vì hiển thị câu trả lời và nguồn, nó sẽ chỉ hiển thị nguồn]
• Trên dòng 33, ở cuối lệnh mà bạn thấy 'verbose=false, ' nhập 'n thread=16' sẽ sử dụng nhiều năng lượng hơn để tạo văn bản với tốc độ nhanh hơn!
  

Suy nghĩ cuối cùng của PrivateGPT

• Điều này rất tốt cho những ai muốn hiểu các tài liệu phức tạp trên máy tính cục bộ của họ.
• Điều này rất tốt cho dữ liệu riêng tư mà bạn không muốn rò rỉ ra bên ngoài.
• Điều này đặc biệt tuyệt vời đối với sinh viên, những người mới làm quen với một ngành, bất kỳ ai đang tìm hiểu về thuế hoặc bất kỳ ai đang tìm hiểu bất kỳ điều gì phức tạp mà họ cần trợ giúp để hiểu.
• Tuy nhiên, thời gian chờ có thể là 30-50 giây hoặc thậm chí lâu hơn vì bạn đang chạy nó trên máy tính cục bộ của mình.