PrivateGPT dành cho tóm tắt sách: Kiểm tra và xếp hạng các biến cấu hình

Tôi bắt đầu tóm tắt hàng chục cuốn sách bằng tay và nhận thấy rằng tôi sẽ mất hàng tuần cho mỗi bản tóm tắt. Sau đó, tôi nhớ lại cuộc cách mạng AI đang diễn ra và quyết định rằng mình đã quá muộn để nhảy xuống vùng nước này.

Khi tôi bắt đầu khám phá việc sử dụng các mô hình ngôn ngữ lớn (LLM) để tóm tắt các văn bản lớn, tôi không tìm thấy hướng dẫn rõ ràng nào về cách thực hiện điều đó .

• Một số trang đưa ra các ví dụ gợi ý để cung cấp cho GPT4 ý tưởng rằng nó sẽ biết nội dung của bất kỳ cuốn sách nào bạn muốn tóm tắt một cách kỳ diệu. (KHÔNG)
• Một số người đề xuất tôi cần tìm một mô hình có ngữ cảnh lớn có thể xử lý toàn bộ văn bản của tôi trong một lần. (Chưa)
• Một số công cụ nguồn mở có sẵn cho phép bạn tải tài liệu lên cơ sở dữ liệu và trả lời các câu hỏi dựa trên nội dung của cơ sở dữ liệu đó. (Tiến gần hơn)
• Những người khác gợi ý rằng trước tiên bạn phải chia cuốn sách thành nhiều phần và đưa chúng vào LLM để tóm tắt từng phần một. (Bây giờ chúng ta nói chuyện)
• Ngoài việc đưa ra quyết định đó, còn có rất nhiều biến số phải được tính đến khi triển khai LLM nhất định.
• Tôi nhanh chóng nhận ra rằng, bất chấp mọi đề xuất hoặc xếp hạng mô hình có sẵn, tôi vẫn nhận được kết quả khác với những gì người khác có. Cho dù đó là trường hợp sử dụng của tôi, định dạng mô hình, lượng tử hóa, nén, kiểu nhắc nhở hay gì? Tôi không biết. Tất cả những gì tôi biết là, hãy tự xếp hạng người mẫu trong điều kiện làm việc của riêng bạn. Đừng chỉ tin vào một số biểu đồ bạn đọc trực tuyến.

Hướng dẫn này cung cấp một số chi tiết cụ thể về quá trình xác định và kiểm tra chi tiết của các biến được đề cập ở trên.

Tìm dữ liệu xếp hạng đầy đủ, hướng dẫn và tóm tắt kết quả trên GitHub .

Lý lịch

Điều khoản quan trọng

Một số thuật ngữ này được sử dụng theo những cách khác nhau, tùy thuộc vào ngữ cảnh (không có ý định chơi chữ).

• Mô hình ngôn ngữ lớn (LLM) : (Mô hình AKA) Một loại Trí tuệ nhân tạo đã được đào tạo dựa trên bộ dữ liệu khổng lồ để hiểu và tạo ra ngôn ngữ của con người.

  Ví dụ : GPT3.5 và GPT4 của OpenAI đã gây bão trên toàn thế giới. (Trong trường hợp của chúng tôi, chúng tôi đang lựa chọn trong số các mô hình nguồn mở và\hoặc có thể tải xuống miễn phí được tìm thấy trên Ôm Mặt .)

• Thế hệ tăng cường truy xuất (RAG) : Một kỹ thuật do Meta AI phát triển để lưu trữ tài liệu trong cơ sở dữ liệu mà LLM tìm kiếm trong số đó để tìm câu trả lời cho một truy vấn nhất định của người dùng (Tài liệu Q/A).

• Hướng dẫn sử dụng: (Lời nhắc AKA hoặc Ngữ cảnh) là truy vấn do người dùng cung cấp.

  Ví dụ: “Tóm tắt văn bản sau: { text } ”

• Lời nhắc hệ thống: Các hướng dẫn đặc biệt được đưa ra trước lời nhắc của người dùng, giúp hình thành tính cách của trợ lý của bạn.

  Ví dụ: “Bạn là một Trợ lý AI hữu ích.”

• Bối cảnh: Hướng dẫn sử dụng và có thể là lời nhắc của hệ thống cũng như các vòng câu hỏi\câu trả lời trước đó. (Các cặp câu hỏi/trả lời trước đây cũng được gọi đơn giản là ngữ cảnh).

• Kiểu nhắc nhở : Đây là những tổ hợp ký tự đặc biệt mà LLM được đào tạo để nhận ra sự khác biệt giữa hướng dẫn người dùng, lời nhắc hệ thống và ngữ cảnh so với các câu hỏi trước đó.

  Ví dụ: <s>[INST] {systemPrompt} [INST] [INST] {previousQuestion} [/INST] {answer} </s> [INST] {userInstructions} [/INST]

• 7B: Cho biết số lượng tham số trong một mô hình nhất định (cao hơn thường là tốt hơn). Tham số là các biến nội bộ mà mô hình học được trong quá trình đào tạo và được sử dụng để đưa ra dự đoán. Theo mục đích của tôi, các mẫu 7B có thể phù hợp với GPU của tôi có VRAM 12GB.

• GGUF: Đây là định dạng cụ thể cho LLM được thiết kế cho phần cứng tiêu dùng (CPU/GPU). Dù bạn quan tâm đến mô hình nào, để sử dụng trong PrivateGPT, bạn phải tìm phiên bản GGUF của nó (thường được tạo bởi TheBloke ).

• Q2-Q8 0, K_M hoặc K_S: Khi duyệt các tệp của kho lưu trữ GGUF, bạn sẽ thấy các phiên bản khác nhau của cùng một mô hình. Số cao hơn có nghĩa là ít nén hơn và chất lượng tốt hơn. Chữ M trong K_M có nghĩa là “Trung bình” và chữ S trong K_S có nghĩa là “Nhỏ”.

• VRAM: Đây là dung lượng bộ nhớ của GPU của bạn. Để tải nó hoàn toàn vào GPU, bạn sẽ cần một model có kích thước nhỏ hơn VRAM hiện có của mình.

• Mã thông báo: Đây là số liệu LLM cân nhắc ngôn ngữ. Mỗi mã thông báo bao gồm khoảng 4 ký tự.

PrivateGPT là gì?

PrivateGPT (pgpt) là một dự án nguồn mở cung cấp giao diện người dùng và API có thể lập trình cho phép người dùng sử dụng LLM bằng phần cứng riêng tại nhà. Nó cho phép bạn tải tài liệu lên cơ sở dữ liệu cục bộ của riêng bạn để hỏi đáp tài liệu được RAG hỗ trợ.

Tài liệu PrivateGPT - Tổng quan :

PrivateGPT cung cấp API chứa tất cả các khối xây dựng cần thiết để xây dựng các ứng dụng AI riêng tư, nhận biết ngữ cảnh . API tuân theo và mở rộng tiêu chuẩn API OpenAI, đồng thời hỗ trợ cả phản hồi thông thường và phản hồi trực tuyến. Điều đó có nghĩa là, nếu bạn có thể sử dụng API OpenAI trong một trong các công cụ của mình, thì bạn có thể sử dụng API PrivateGPT của riêng mình mà không cần thay đổi mã và miễn phí nếu bạn đang chạy PrivateGPT ở chế độ local .

Tổng quan

1. Tôi bắt đầu bằng việc đặt câu hỏi cho các chương sách bằng cách sử dụng PrivateGPT UI\RAG.

   Sau đó thử chọn trước văn bản để tóm tắt. Đây là nguồn cảm hứng cho việc xếp hạng Vòng 1, để xem kết quả của tôi sẽ cho thấy sự khác biệt lớn như thế nào. (Tóm tắt các phần được chọn trước.)

2. Tiếp theo, tôi muốn tìm ra mẫu nào sẽ thực hiện tốt nhất nhiệm vụ này, dẫn đến bảng xếp hạng Vòng 2, trong đó Mistral-7B-Instruct-v0.2 là người chiến thắng rõ ràng.

3. Sau đó, tôi muốn nhận được kết quả tốt nhất từ mô hình này bằng cách xếp hạng các kiểu lời nhắc và viết mã để có được kiểu lời nhắc chính xác như mong đợi.

4. Tất nhiên, sau đó, tôi phải thử nghiệm nhiều lời nhắc hệ thống khác nhau để xem cái nào hoạt động tốt nhất.

5. Tiếp theo, tôi đã thử một vài lời nhắc của người dùng để xác định đâu là lời nhắc chính xác nhất để tạo ra các bản tóm tắt mà tôi yêu cầu ít quá trình xử lý hậu kỳ nhất.

6. Cuối cùng, loại thử nghiệm này phải được tiến hành cho từng LLM và để xác định tính hiệu quả của bất kỳ sàng lọc nào trong quy trình của chúng tôi. Theo tôi, chỉ khi mỗi mô hình đã được nhắm đến những điều kiện lý tưởng nhất thì chúng mới có thể được xếp hạng phù hợp với nhau.

Xếp hạng

Khi tôi bắt đầu thử nghiệm các biến thể LLM khác nhau, mistral-7b-instruct-v0.1.Q4_K_M.gguf xuất hiện như một phần trong thiết lập mặc định của PrivateGPT (được tạo để chạy trên CPU của bạn). Ở đây, tôi thích các biến thể Q8_0 hơn.

Mặc dù tôi đã thử hơn 50 LLM khác nhau cho cùng một nhiệm vụ này, Mistral-7B-Instruct vẫn là một trong những LLM tốt nhất, đặc biệt kể từ khi v0.2 được phát hành, tôi không thấy cái nào tốt hơn.

TLDR: Mistral-7B-Instruct-v0.2 - là công cụ dẫn đầu hiện tại của tôi về nhiệm vụ tóm tắt.

Vòng 1 - Hỏi đáp vs Tóm tắt

Tôi nhanh chóng phát hiện ra khi thực hiện Q/A là tôi nhận được kết quả tốt hơn nhiều khi tải các khối dữ liệu nhỏ hơn lên cơ sở dữ liệu và bắt đầu với một phương tiện chặn rõ ràng mỗi lần. Vì vậy, tôi bắt đầu chia PDF thành các chương cho mục đích Hỏi đáp.

Trong phân tích đầu tiên của mình, tôi đã thử nghiệm 5 LLM khác nhau cho các nhiệm vụ sau:

1. Đặt 30 câu hỏi tương tự cho một chương sách 70 trang.
2. Tóm tắt cùng một chương sách 70 trang, chia thành 30 phần.

Xếp hạng Câu hỏi/Trả lời

1. Hermes Trismegistus Mistral 7b - Cuốn sách yêu thích của tôi trong những lần thử nghiệm này, nhưng khi thực sự chỉnh sửa phần tóm tắt, tôi quyết định rằng nó quá dài dòng.
2. SynthIA 7B V2 - Trở thành mẫu máy tôi yêu thích nhất được thử nghiệm trong vòng này.
3. Mistral 7b Instruct v0.1 - Không tốt như tôi mong muốn.
4. CollectiveCognition v1.1 Mistral 7b Rất nhiều chất bổ sung và mất nhiều thời gian nhất trong số chúng. Nó đạt điểm cao hơn một chút so với Mistral về chất lượng\tính hữu dụng, nhưng lượng bổ sung chỉ khiến việc đọc trở nên kém thú vị hơn.
5. KAI 7b Instruct có câu trả lời quá ngắn và khiến BS của nó nổi bật hơn một chút. Một mô hình tốt nhưng không dành cho việc tóm tắt sách chi tiết.

Hiển thị, cho mỗi mô hình

• Số giây cần thiết để tạo ra câu trả lời
• Tổng số hữu ích chủ quan\Xếp hạng chất lượng
• Có bao nhiêu ký tự được tạo ra?
• Tổng số đoạn bối cảnh ngữ cảnh được tìm thấy trong phạm vi mục tiêu.
• Số chất lượng được liệt kê dưới đây được tìm thấy trong văn bản được tạo:
  • Filler (Thêm từ có giá trị thấp hơn)
  • Ngắn (Quá ngắn, không đủ để làm việc.)
  • BS (Không có trong cuốn sách này và không hữu ích.)
  • BS tốt (Không phải từ phần được nhắm mục tiêu nhưng hợp lệ.)

Xếp hạng tóm tắt

Đối với vòng đầu tiên này, tôi chia nội dung chương thành các phần có phạm vi

Mỗi ký tự 900-14000 (hoặc 225-3500 mã thông báo).

LƯU Ý: Mặc dù có rất nhiều mô hình ngữ cảnh lớn được phát hành nhưng hiện tại, tôi vẫn tin rằng ngữ cảnh nhỏ hơn sẽ mang lại bản tóm tắt tốt hơn. Tôi không thích nhiều hơn 2750 mã thông báo (11000 ký tự) cho mỗi tác vụ tóm tắt.

1. Hermes Trismegistus Mistral 7b - Vẫn dẫn đầu. Đó là dài dòng, với một số phụ. Tôi có thể sử dụng những kết quả này.
2. SynthIA 7B - Khá hay nhưng ngắn gọn quá. Nhiều câu trả lời hoàn hảo nhưng 7 câu trả lời quá ngắn\chưa đầy đủ để sử dụng.
3. Mistral 7b Instruct v0.1 - Quá ngắn.
4. KAI 7b Instruct - Quá ngắn.
5. CollectiveCognition v1.1 Mistral 7b - Rất nhiều rác. Một số bản tóm tắt siêu chi tiết và hoàn hảo, nhưng hơn một nửa số câu trả lời là một bộ câu hỏi dựa trên văn bản chứ không phải bản tóm tắt.

Không có gì ngạc nhiên khi các bản tóm tắt hoạt động tốt hơn nhiều so với Q/A, nhưng chúng cũng có bối cảnh được nhắm mục tiêu rõ ràng hơn.

Tìm dữ liệu đầy đủ và thứ hạng trên Google Docs hoặc trên GitHub: QA Scores , Summary Ranks .

Vòng 2: Tổng kết – Xếp hạng mẫu

Một lần nữa, tôi thích phiên bản Q8 của mẫu 7B hơn.

Việc phát hiện ra rằng Mistral 7b Instruct v0.2 đã được phát hành rất đáng để tiến hành một đợt thử nghiệm mới.

Tôi cũng quyết định thử nghiệm phong cách nhắc nhở. PrivateGPT không đi kèm với lời nhắc Mistral và mặc dù lời nhắc Mistral tương tự như Lời nhắc Llama2, nhưng nó dường như hoạt động tốt hơn với lời nhắc (llama-index) mặc định.

• SynthIA-7B-v2.0-GGUF - Model này đã trở thành mẫu máy tôi yêu thích nên tôi đã sử dụng nó làm điểm chuẩn.
• Mistral-7B-Instruct-v0.2 (Llama-index Nhắc) Ngôi sao của chương trình ở đây, khá ấn tượng.
• Mistral-7B-Instruct-v0.2 (Dấu nhắc Llama2) Vẫn tốt, nhưng không tốt bằng sử dụng dấu nhắc llama-index
• Tess-7B-v1.4 - Một cái khác của cùng một người tạo ra Synthia v2. Tốt, nhưng không tốt bằng .
• Llama-2-7B-32K-Instruct-GGUF - hoạt động ổn, nhưng chậm, với lời nhắc llama-index. Chỉ tệ với lời nhắc llama2. (Nên kiểm tra lại với kiểu "Chỉ hướng dẫn" của Llama2)

Xếp hạng tóm tắt

Chỉ tóm tắt, Q/A chỉ kém hiệu quả hơn cho việc tóm tắt sách.

Tìm dữ liệu đầy đủ và thứ hạng trên Google Docs hoặc trên GitHub .

Vòng 3: Phong cách nhắc nhở

Ở vòng trước, tôi nhận thấy Mistral 7b Instruct v0.2 hoạt động tốt hơn nhiều với lời nhắc mặc định so với llama2.

Thực ra, dấu nhắc mistral khá giống với llama2, nhưng không hoàn toàn giống nhau.

1. llama_index (mặc định)

 system: {{systemPrompt}} user: {{userInstructions}} assistant: {{assistantResponse}}

2. llama2:

 <s> [INST] <<SYS>> {{systemPrompt}} <</SYS>> {{userInstructions}} [/INST]

3. sương mù:

 <s>[INST] {{systemPrompt}} [/INST]</s>[INST] {{userInstructions}} [/INST]

Tôi bắt đầu thử nghiệm đầu ra với các kiểu default nhắc llama2 mặc định. Tiếp theo tôi bắt đầu viết mã mẫu mistral .

Kết quả xếp hạng đó giúp tôi tự tin rằng mình đã viết mã chính xác.

Tìm dữ liệu đầy đủ và thứ hạng trên Google Docs hoặc trên GitHub .

Vòng 4: Lời nhắc của hệ thống

Sau khi tôi nhận được kiểu lời nhắc, tôi đã thử một vài lời nhắc hệ thống khác nhau và rất ngạc nhiên với kết quả!

Cuối cùng, tôi thấy rằng Mistral 7b Instruct v0.2 hoạt động tốt nhất cho các bản tóm tắt của tôi mà không cần bất kỳ lời nhắc nào của hệ thống.

Có thể sẽ có kết quả khác cho một nhiệm vụ khác hoặc có thể là lời nhắc tốt hơn, nhưng cách này hoạt động tốt nên tôi không làm phiền nó.

Tìm dữ liệu đầy đủ và thứ hạng trên Google Docs hoặc trên GitHub .

Vòng 5: Lời nhắc của người dùng

Điều tôi bắt đầu nghi ngờ là tôi đạt được kết quả tốt hơn khi sử dụng ít từ hơn trong câu hỏi. Vì tôi đã tìm thấy lời nhắc hệ thống tốt nhất, đối với Mistral 7b Instruct v0.2 , tôi cũng đã kiểm tra lời nhắc người dùng nào phù hợp nhất với nó.

Tìm dữ liệu đầy đủ và thứ hạng trên Google Docs hoặc trên GitHub .

Có lẽ với phần cứng mạnh hơn có thể hỗ trợ các mô hình 11b hoặc 30b, tôi sẽ nhận được kết quả tốt hơn với nhiều lời nhắc mô tả hơn. Ngay cả với Mistral 7b Instruct v0.2, tôi vẫn sẵn sàng thử một số hướng dẫn sáng tạo, nhưng hiện tại tôi rất vui được tinh chỉnh quy trình hiện có của mình.

Lời nhắc 2: Thắng!

Viết ghi chú toàn diện tóm tắt văn bản sau. Sử dụng các dấu đầu dòng lồng nhau: với các tiêu đề, thuật ngữ và khái niệm chính được in đậm.

Trong trường hợp này, tính toàn diện hoạt động tốt hơn "súc tích" hoặc thậm chí hơn "toàn diện nhưng ngắn gọn".

Tuy nhiên, tôi lưu ý rằng điều này sẽ phụ thuộc vào trường hợp sử dụng của bạn. Những gì tôi đang tìm kiếm là những ghi chú rất cô đọng và dễ đọc bao gồm những kiến thức quan trọng.

Về cơ bản, nếu tôi không đọc bản gốc, tôi vẫn biết nó truyền tải thông tin gì, nếu không muốn nói là từng chi tiết cụ thể. Ngay cả khi tôi đã đọc bản gốc, sau này tôi sẽ không nhớ được phần lớn. Những ghi chú này là một tài liệu tham khảo nhanh chóng đến các chủ đề chính.

Kết quả

Sử dụng kiến thức thu được từ những bài kiểm tra này, tôi đã tóm tắt cuốn sách hoàn chỉnh đầu tiên của mình, 539 trang trong 5-6 giờ!!! Đáng kinh ngạc!

Thay vì dành hàng tuần cho mỗi bản tóm tắt, tôi đã hoàn thành 9 bản tóm tắt cuốn sách đầu tiên của mình chỉ trong 10 ngày.

Đạo văn

Bạn có thể xem kết quả từ CopyLeaks bên dưới cho từng văn bản được xuất bản tại đây.

Đặc biệt xét đến việc đây không phải vì lợi nhuận mà vì mục đích giáo dục nên tôi tin rằng những con số này có thể chấp nhận được.

Tóm tắt sách đã hoàn thành

Thay vì dành hàng tuần cho mỗi bản tóm tắt, tôi đã hoàn thành 9 bản tóm tắt cuốn sách đầu tiên của mình chỉ trong 10 ngày. Trong ngoặc là số trang của bản gốc.

1. Cơ thể phương Đông Tâm trí phương Tây Anodea Judith (436 trang)
2. Sức mạnh chữa lành của dây thần kinh phế vị Stanley Rosenberg (335 trang)
3. Ayurveda và Tâm trí Tiến sĩ David Frawley (181 Trang)
4. Chữa lành bản thân bị phân mảnh của những người sống sót sau chấn thương Janina Fisher (367 trang)
5. Căn cứ an toàn John Bowlby (133 trang)
6. Cơ Thể Giữ Điểm Bessel van der Kolk (454 Trang)
7. Lý thuyết Yoga và Polyvagal, từ An toàn Polyvagal Steven Porges (37 trang)
8. Cuốn sách hoàn chỉnh về Luân xa Cynthia Dale của Llewellyn (999 trang)
   • PHẦN 1. CÁC LUẬT CƠ BẢN VÀ CÁC BÀI THỰC HÀNH CƠ BẢN về Luân Xa
   • PHẦN 2: Luân xa ở độ sâu. NHỮNG HIỂU BIẾT LỊCH SỬ, KHOA HỌC VÀ ĐA VĂN HÓA
9. Lý thuyết 50 năm gắn bó: Bài giảng tưởng niệm Donald Winnicott (54 trang)
10. Rối loạn gắn bó ở người lớn (477 trang)
11. Người bạn đồng hành của Chuyên ngành Tâm lý học Dana S. Dunn, Jane S. Halonen (308 Trang)
12. Huyền thoại về bạo lực cứu chuộc Walter Wink (5 trang)
13. Tâm lý trong cuộc sống của bạn Sarah Gison và Michael S. Gazzaniga (1072 trang)

hướng dẫn

Nếu bạn muốn theo dõi kỹ hơn các bước của tôi, hãy xem hướng dẫn trên GitHub, chứa các tập lệnh và ví dụ.

Phần kết luận

Bây giờ tôi đã tinh chỉnh các quy trình của mình và cảm thấy tự tin khi làm việc với các định dạng nhanh chóng, tôi sẽ tiến hành các thử nghiệm sâu hơn. Trên thực tế, tôi đã tiến hành các bài kiểm tra và xếp hạng sâu hơn (sẽ công bố những bài kiểm tra tiếp theo), nhưng tất nhiên sẽ làm lại nhiều bài kiểm tra hơn và tiếp tục học hỏi!

Tôi vẫn tin rằng nếu bạn muốn nhận được kết quả tốt nhất cho bất kỳ nhiệm vụ nào bạn thực hiện với AI, bạn nên chạy thử nghiệm của riêng mình và xem điều gì hoạt động tốt nhất. Đừng chỉ dựa vào bảng xếp hạng mô hình phổ biến mà hãy sử dụng chúng để định hướng nghiên cứu của riêng bạn.

Tài nguyên bổ sung

• Đã kiểm tra áp lực các LLM nguồn mở phổ biến nhất (Mô hình ngôn ngữ lớn) về khả năng Nhớ lại ngữ cảnh dài u/ramprasad27 ( Phần 2 )
  • LeonEricsson / llmcontext - 💢 Kiểm tra áp lực cửa sổ ngữ cảnh của LLM đang mở
• Bảng xếp hạng đấu trường Chatbox
• 🐺🐦‍⬛ So sánh/Kiểm tra LLM: Xếp hạng được cập nhật với 10 mẫu mới (7B tốt nhất)! u/WolframRavenwolf
  • 🐺🐦‍⬛ So sánh/kiểm tra định dạng nhắc nhở LLM: Hướng dẫn Mixtral 8x7B với 17 mẫu hướng dẫn khác nhau u/WolframRavenwolf
• Bảng xếp hạng ảo giác Vectara