paint-brush
पुस्तक सारांश के लिए PrivateGPT: परीक्षण और रैंकिंग कॉन्फ़िगरेशन चरद्वारा@cognitivetech
3,153 रीडिंग
3,153 रीडिंग

पुस्तक सारांश के लिए PrivateGPT: परीक्षण और रैंकिंग कॉन्फ़िगरेशन चर

द्वारा CognitiveTech15m2024/01/15
Read on Terminal Reader

बहुत लंबा; पढ़ने के लिए

बड़े भाषा मॉडल लागू करते समय कई चर होते हैं। आइए PrivateGPT को मिलाने वाली पुस्तकों के सारांश के लिए हमारी प्रक्रियाओं का परीक्षण और परिशोधन करें।
featured image - पुस्तक सारांश के लिए PrivateGPT: परीक्षण और रैंकिंग कॉन्फ़िगरेशन चर
CognitiveTech HackerNoon profile picture
0-item
1-item

मैंने हाथ से एक दर्जन पुस्तकों का सारांश बनाना शुरू किया और पाया कि प्रत्येक सारांश के लिए मुझे कई सप्ताह लगने वाले थे। तब मुझे इस एआई क्रांति के बारे में याद आया और मैंने फैसला किया कि मैं इस पानी में कूदने से बहुत पहले ही चूक चुका था।


जब मैंने बड़े पाठों को सारांशित करने के लिए बड़े भाषा मॉडल (एलएलएम) के उपयोग की खोज शुरू की, तो मुझे ऐसा करने के बारे में कोई स्पष्ट दिशा नहीं मिली।

  • कुछ पृष्ठ इस विचार के साथ GPT4 देने का उदाहरण देते हैं कि यह जादुई रूप से उस पुस्तक की सामग्री को जान लेगा जिसे आप संक्षेप में प्रस्तुत करना चाहते हैं। (नहीं)
  • कुछ लोगों ने सुझाव दिया कि मुझे बड़े संदर्भ वाला एक मॉडल ढूंढने की ज़रूरत है जो मेरे पूरे पाठ को एक बार में संसाधित कर सके। (अभी तक नहीं)
  • कुछ ओपन सोर्स टूल उपलब्ध हैं जो आपको डेटाबेस में दस्तावेज़ अपलोड करने और उस डेटाबेस की सामग्री के आधार पर सवालों के जवाब देने की अनुमति देते हैं। (करीब आ रहे हैं)
  • अन्य लोगों ने सुझाव दिया है कि आपको पहले पुस्तक को खंडों में विभाजित करना चाहिए और उन्हें एक समय में सारांश के लिए एलएलएम में डालना चाहिए। (अब हम बात कर रहे हैं)
  • यह निर्धारण करने के अलावा, ऐसे कई चर हैं जिन्हें किसी दिए गए एलएलएम को लागू करते समय ध्यान में रखा जाना चाहिए।
  • मुझे तुरंत एहसास हुआ कि किसी भी सिफारिश या मॉडल रैंकिंग उपलब्ध होने के बावजूद, मुझे दूसरों की तुलना में अलग परिणाम मिल रहे थे। क्या यह मेरा उपयोग-मामला है, मॉडल प्रारूप, परिमाणीकरण, संपीड़न, शीघ्र शैलियाँ, या क्या? मुझें नहीं पता। मैं बस इतना जानता हूं कि अपनी कामकाजी परिस्थितियों के तहत अपनी खुद की मॉडल रैंकिंग करें। ऑनलाइन पढ़े गए किसी चार्ट पर विश्वास न करें।


यह मार्गदर्शिका उपर्युक्त चरों के विवरण के निर्धारण और परीक्षण की मेरी प्रक्रिया में कुछ विशिष्टताएँ प्रदान करती है।


GitHub पर संपूर्ण रैंकिंग डेटा, वॉकथ्रू और परिणामी सारांश प्राप्त करें

पृष्ठभूमि

महत्वपूर्ण पदों

इनमें से कुछ शब्दों का उपयोग संदर्भ के आधार पर अलग-अलग तरीकों से किया जाता है (कोई यमक इरादा नहीं)।

  • बड़े भाषा मॉडल (एलएलएम) : (एकेए मॉडल) एक प्रकार की कृत्रिम बुद्धिमत्ता जिसे मानव भाषा को समझने और उत्पन्न करने के लिए बड़े पैमाने पर डेटासेट पर प्रशिक्षित किया गया है।

    उदाहरण : OpenAI का GPT3.5 और GPT4 जिसने दुनिया में तहलका मचा दिया है। (हमारे मामले में हम हगिंग फेस पर पाए जाने वाले ओपन सोर्स और/या स्वतंत्र रूप से डाउनलोड करने योग्य मॉडलों में से चुन रहे हैं।)

  • रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) : मेटा एआई द्वारा विकसित एक तकनीक, एक डेटाबेस में दस्तावेजों को संग्रहीत करने की, जिसे एलएलएम किसी दिए गए उपयोगकर्ता क्वेरी (दस्तावेज़ क्यू/ए) के लिए उत्तर खोजने के लिए खोजता है।

  • उपयोगकर्ता निर्देश: (AKA प्रॉम्प्ट, या संदर्भ) उपयोगकर्ता द्वारा प्रदान की गई क्वेरी है।

    उदाहरण: "निम्नलिखित पाठ को सारांशित करें: { text } "

  • सिस्टम प्रॉम्प्ट: उपयोगकर्ता प्रॉम्प्ट से पहले दिए गए विशेष निर्देश, जो आपके सहायक के व्यक्तित्व को आकार देने में मदद करते हैं।

    उदाहरण: "आप एक सहायक AI सहायक हैं।"

  • संदर्भ: उपयोगकर्ता निर्देश, और संभवतः एक सिस्टम प्रॉम्प्ट, और संभवतः प्रश्न\उत्तर युग्मों के पिछले दौर। (पिछले प्रश्न/उत्तर युग्मों को केवल संदर्भ के रूप में भी संदर्भित किया जाता है)।

  • प्रॉम्प्ट शैली : ये विशेष वर्ण संयोजन हैं जिनके साथ एलएलएम को उपयोगकर्ता निर्देशों, सिस्टम प्रॉम्प्ट और पिछले प्रश्नों के संदर्भ के बीच अंतर को पहचानने के लिए प्रशिक्षित किया जाता है।

    उदाहरण: <s>[INST] {systemPrompt} [INST] [INST] {previousQuestion} [/INST] {answer} </s> [INST] {userInstructions} [/INST]

  • 7बी: किसी दिए गए मॉडल में मापदंडों की संख्या को इंगित करता है (उच्च आम तौर पर बेहतर होता है)। पैरामीटर आंतरिक चर हैं जिन्हें मॉडल प्रशिक्षण के दौरान सीखता है और भविष्यवाणियां करने के लिए उपयोग किया जाता है। मेरे उद्देश्यों के लिए, 7बी मॉडल 12जीबी वीआरएएम के साथ मेरे जीपीयू पर फिट होने की संभावना है।

  • जीजीयूएफ: यह उपभोक्ता हार्डवेयर (सीपीयू/जीपीयू) के लिए डिज़ाइन किया गया एलएलएम का एक विशिष्ट प्रारूप है। PrivateGPT में उपयोग के लिए आप जिस भी मॉडल में रुचि रखते हैं, आपको उसका GGUF संस्करण (आमतौर पर TheBloke द्वारा बनाया गया) ढूंढना होगा।

  • Q2-Q8 0, K_M या K_S: GGUF रिपॉजिटरी की फ़ाइलें ब्राउज़ करते समय आपको एक ही मॉडल के विभिन्न संस्करण दिखाई देंगे। अधिक संख्या का मतलब कम संपीड़ित और बेहतर गुणवत्ता है। K_M में M का अर्थ है "मध्यम" और K_S में S का अर्थ है "छोटा"।

  • वीआरएएम: यह आपके जीपीयू की मेमोरी क्षमता है। इसे पूरी तरह से जीपीयू पर लोड करने के लिए, आपको अपने उपलब्ध वीआरएएम से छोटे आकार का मॉडल चाहिए होगा।

  • टोकन: यह मीट्रिक एलएलएम भाषा का वजन है। प्रत्येक टोकन में लगभग 4 अक्षर होते हैं।

प्राइवेटजीपीटी क्या है?

प्राइवेटजीपीटी (पीजीपीटी) एक ओपन सोर्स प्रोजेक्ट है जो उपयोगकर्ता-इंटरफ़ेस और प्रोग्रामयोग्य एपीआई प्रदान करता है जो उपयोगकर्ताओं को घर पर अपने हार्डवेयर के साथ एलएलएम का उपयोग करने में सक्षम बनाता है। यह आपको RAG समर्थित दस्तावेज़ Q/A के लिए अपने स्थानीय डेटाबेस में दस्तावेज़ अपलोड करने की अनुमति देता है।


प्राइवेटजीपीटी दस्तावेज़ीकरण - अवलोकन :

प्राइवेटजीपीटी एक एपीआई प्रदान करता है जिसमें निजी, संदर्भ-जागरूक एआई अनुप्रयोगों के निर्माण के लिए आवश्यक सभी बिल्डिंग ब्लॉक शामिल हैं। एपीआई ओपनएआई एपीआई मानक का पालन और विस्तार करता है, और सामान्य और स्ट्रीमिंग दोनों प्रतिक्रियाओं का समर्थन करता है। इसका मतलब है कि, यदि आप अपने किसी टूल में OpenAI API का उपयोग कर सकते हैं, तो आप इसके बजाय अपने स्वयं के PrivateGPT API का उपयोग कर सकते हैं, बिना किसी कोड परिवर्तन के, और यदि आप local मोड में PrivateGPT चला रहे हैं तो निःशुल्क


सबसे पहले मुझे एलएलएम से पूछना चाहिए था।

अवलोकन

  1. मैंने PrivateGPT UI\RAG का उपयोग करके केवल अध्याय बुक करने के लिए प्रश्न पूछकर शुरुआत की।

    फिर संक्षेपण के लिए पाठ का पूर्व-चयन करने का प्रयास किया। यह राउंड 1 रैंकिंग के लिए प्रेरणा थी, यह देखने के लिए कि मेरे परिणाम कितना बड़ा अंतर दिखाएंगे। (पूर्व-चयनित अनुभागों का सारांश।)

  2. इसके बाद मैं यह जानना चाहता था कि कौन से मॉडल इस कार्य में सबसे अच्छा प्रदर्शन करेंगे, जिसके कारण राउंड 2 रैंकिंग हुई, जहां मिस्ट्रल-7बी-इंस्ट्रक्ट-v0.2 स्पष्ट विजेता था।

  3. फिर मैं प्रॉम्प्ट शैलियों की रैंकिंग करके और अपेक्षित सटीक प्रॉम्प्ट शैली प्राप्त करने के लिए कोड लिखकर इस मॉडल से सर्वोत्तम परिणाम प्राप्त करना चाहता था।

  4. उसके बाद, निश्चित रूप से, मुझे यह देखने के लिए विभिन्न सिस्टम संकेतों का परीक्षण करना पड़ा कि कौन सा सबसे अच्छा प्रदर्शन करेगा।

  5. इसके बाद, मैंने कुछ उपयोगकर्ता संकेतों का प्रयास किया, यह निर्धारित करने के लिए कि मेरे द्वारा कम से कम पोस्ट-प्रोसेसिंग की आवश्यकता वाले सारांश उत्पन्न करने के लिए सबसे अच्छा संकेत क्या है।

  6. अंततः, इस प्रकार का परीक्षण प्रत्येक एलएलएम के लिए और हमारी प्रक्रियाओं में किसी भी शोधन की प्रभावशीलता का निर्धारण करने के लिए आयोजित किया जाना चाहिए। मेरी राय में, केवल एक बार जब प्रत्येक मॉडल को उसकी सबसे आदर्श स्थितियों पर लक्षित किया जाता है, तो उन्हें एक-दूसरे के मुकाबले उचित रूप से रैंक किया जा सकता है।

रैंकिंग

जब मैंने विभिन्न एलएलएम वेरिएंट का परीक्षण शुरू किया, mistral-7b-instruct-v0.1.Q4_K_M.gguf प्राइवेटजीपीटी के डिफ़ॉल्ट सेटअप (आपके सीपीयू पर चलने के लिए बनाया गया) के हिस्से के रूप में आया। यहां, मैंने Q8_0 वेरिएंट को प्राथमिकता दी है।


जबकि मैंने इसी कार्य के लिए 50+ अलग-अलग एलएलएम आज़माए हैं, मिस्ट्रल-7बी-इंस्ट्रक्ट अभी भी सर्वश्रेष्ठ में से एक है, खासकर जब से v0.2 जारी किया गया था, मुझे कोई बेहतर नहीं मिला।


टीएलडीआर: मिस्ट्रल-7बी-इंस्ट्रक्ट-v0.2 - सारांश कार्यों के लिए मेरा वर्तमान नेता है।

राउंड 1 - प्रश्नोत्तरी बनाम सारांश

क्यू/ए करते समय मुझे तुरंत पता चला कि डेटाबेस में डेटा के छोटे हिस्से अपलोड करने और हर बार एक साफ स्लेट के साथ शुरू करने पर मुझे बेहतर परिणाम मिलते हैं। इसलिए मैंने प्रश्नोत्तरी उद्देश्यों के लिए पीडीएफ को अध्यायों में विभाजित करना शुरू किया।


अपने पहले विश्लेषण के लिए मैंने निम्नलिखित कार्यों के लिए 5 अलग-अलग एलएलएम का परीक्षण किया:

  1. 70 पेज के पुस्तक अध्याय में वही 30 प्रश्न पूछना।
  2. उसी 70 पेज के पुस्तक अध्याय का सारांश, 30 खंडों में विभाजित।

प्रश्न/उत्तर रैंकिंग

  1. हर्मीस ट्रिस्मेगिस्टस मिस्ट्रल 7बी - इन परीक्षणों के दौरान मेरा पसंदीदा, लेकिन जब वास्तव में सारांश संपादित किया गया तो मैंने फैसला किया कि यह बहुत अधिक शब्दाडंबरपूर्ण था।
  2. सिंथिया 7बी वी2 - इस दौर में परीक्षण किए गए मॉडलों में मेरा पसंदीदा बन गया।
  3. मिस्ट्रल 7बी इंस्ट्रक्शन v0.1 - उतना अच्छा नहीं जितना मैं चाहूंगा।
  4. कलेक्टिवकॉग्निशन v1.1 मिस्ट्रल 7बी में बहुत सारा फिलर है और इसमें सबसे अधिक समय लगा है। गुणवत्ता\उपयोगिता के मामले में इसे मिस्ट्रल से थोड़ा अधिक स्कोर मिला, लेकिन फिलर की मात्रा ने इसे पढ़ने में कम आनंददायक बना दिया।
  5. KAI 7b निर्देश के उत्तर बहुत छोटे थे, और इसके बीएस को थोड़ा और अधिक अलग बना दिया। एक अच्छा मॉडल, लेकिन विस्तृत पुस्तक सारांशों के लिए नहीं।

प्रत्येक मॉडल के लिए दिखाया गया

  • उत्तर उत्पन्न करने के लिए आवश्यक सेकंड की संख्या
  • व्यक्तिपरक उपयोगिता\गुणवत्ता रेटिंग का योग
  • कितने अक्षर उत्पन्न हुए?
  • लक्ष्य सीमा में पाए गए संदर्भ संदर्भ खंडों का योग।
  • उत्पन्न पाठ में पाए गए नीचे सूचीबद्ध गुणों की संख्या:
    • फिलर (कम मूल्य वाले अतिरिक्त शब्द)
    • छोटा (बहुत छोटा, काम करने के लिए पर्याप्त नहीं।)
    • बीएस (इस किताब से नहीं और मददगार नहीं।)
    • अच्छा बीएस (लक्षित अनुभाग से नहीं बल्कि वैध।)

नमूना

रेटिंग

खोज सटीकता

पात्र

सेकंड

बी एस

भरनेवाला

छोटा

अच्छा बी.एस

हर्मीस-ट्रिस्मेगिस्टस-मिस्ट्रल-7बी

68

56

62141

298

3

4

0

6

सिंथिया-7बी-v2.0

63

59

28087

188

1

7

7

0

मिस्ट्रल-7बी-निर्देश-v0.1

51

56

21131

144

3

0

17

1

सामूहिक संज्ञान-v1.1-मिस्ट्रल-7बी

56

57

59453

377

3

10

0

0

काई-7बी-निर्देश

44

56

21480

117

5

0

18

0

सारांश रैंकिंग

इस पहले दौर के लिए मैंने अध्याय की सामग्री को कई खंडों में विभाजित किया है

प्रत्येक में 900-14000 अक्षर (या 225-3500 टोकन)।


ध्यान दें: कई बड़े संदर्भ मॉडल जारी होने के बावजूद, मेरा अब भी मानना है कि छोटे संदर्भ के परिणामस्वरूप बेहतर सारांश मिलते हैं। मैं प्रति सारांश कार्य 2750 टोकन (11000 वर्ण) से अधिक पसंद नहीं करता।


  1. हर्मीस ट्रिस्मेगिस्टस मिस्ट्रल 7बी - अभी भी बढ़त में है। यह क्रियात्मक है, कुछ भराव के साथ। मैं इन परिणामों का उपयोग कर सकता हूं.
  2. सिंथिया 7बी - बहुत अच्छा, लेकिन बहुत संक्षिप्त। कई उत्तर सही थे, लेकिन 7 उपयोग के लिए बहुत छोटे\अपूर्ण थे।
  3. मिस्ट्रल 7बी निर्देश v0.1 - बहुत छोटा।
  4. केएआई 7बी निर्देश - बहुत छोटा।
  5. कलेक्टिवकॉग्निशन v1.1 मिस्ट्रल 7बी - बहुत सारा कचरा। कुछ सारांश अत्यधिक विस्तृत और सटीक थे, लेकिन आधे से अधिक प्रतिक्रियाएँ पाठ पर आधारित प्रश्नों का एक सेट थीं, सारांश नहीं।


इसमें आश्चर्य की बात नहीं है कि सारांशों ने क्यू/ए की तुलना में बहुत बेहतर प्रदर्शन किया, लेकिन उनके पास अधिक सूक्ष्मता से लक्षित संदर्भ भी था।

नाम

अंक

वर्ण उत्पन्न

ओजी से % अंतर

उत्पन्न करने के लिए सेकंड

छोटा

कचरा

बी एस

भरना

प्रशन

विस्तृत

हर्मीस-ट्रिस्मेगिस्टस-मिस्ट्रल-7बी

74

45870

-61

274

0

1

1

3

0

0

सिंथिया-7बी-v2.0

60

26849

-77

171

7

1

0

0

0

1

मिस्ट्रल-7बी-निर्देश-v0.1

58

25797

-78

174

7

2

0

0

0

0

काई-7बी-निर्देश

59

25057

-79

168

5

1

0

0

0

0

सामूहिक संज्ञान-v1.1-मिस्ट्रल-7बी

31

29509

-75

214

0

1

1

2

17

8

Google डॉक्स या GitHub पर पूर्ण डेटा और रैंकिंग खोजें: QA स्कोर , सारांश रैंकिंग

राउंड 2: सारांशीकरण - मॉडल रैंकिंग

फिर, मैं 7B मॉडल के Q8 संस्करण पसंद करता हूं।


यह पता लगाना कि मिस्ट्रल 7बी इंस्ट्रक्ट v0.2 जारी किया गया था, परीक्षण के एक नए दौर के लायक था।

मैंने शीघ्र शैली का परीक्षण करने का भी निर्णय लिया। PrivateGPT मिस्ट्रल प्रॉम्प्ट के साथ पैक करके नहीं आया था, और जबकि मिस्ट्रल प्रॉम्प्ट Llama2 प्रॉम्प्ट के समान है, यह डिफ़ॉल्ट (llama-index) प्रॉम्प्ट के साथ बेहतर प्रदर्शन करता प्रतीत होता है।

  • SynthIA-7B-v2.0-GGUF - यह मॉडल मेरा पसंदीदा बन गया था, इसलिए मैंने इसे बेंचमार्क के रूप में उपयोग किया।
  • मिस्ट्रल-7बी-इंस्ट्रक्ट-v0.2 (लामा-इंडेक्स प्रॉम्प्ट) यहां शो का सितारा, काफी प्रभावशाली है।
  • मिस्ट्रल-7बी-इंस्ट्रक्ट-v0.2 (लामा2 प्रॉम्प्ट) अभी भी अच्छा है, लेकिन लामा-इंडेक्स प्रॉम्प्ट का उपयोग करने जितना अच्छा नहीं है
  • Tess-7B-v1.4 - सिंथिया v2 के समान निर्माता द्वारा दूसरा। अच्छा है, लेकिन उतना अच्छा नहीं.
  • लामा-2-7बी-32के-इंस्ट्रक्ट-जीजीयूएफ - लामा-इंडेक्स प्रॉम्प्ट के साथ ठीक, लेकिन धीरे-धीरे काम किया। llama2 प्रॉम्प्ट के साथ बिल्कुल ख़राब। (Llama2 "केवल निर्देश दें" शैली के साथ फिर से परीक्षण करना चाहिए)

सारांश रैंकिंग

केवल सारांश, प्रश्नोत्तरी पुस्तक सारांश के लिए कम कुशल है।

नमूना

% अंतर

अंक

टिप्पणी

सिंथिया 7बी वी2

-64.43790093

28

अच्छा

मिस्ट्रल 7बी निर्देश v0.2 (डिफ़ॉल्ट प्रॉम्प्ट)

-60.81878508

33

बहुत अच्छा

मिस्ट्रल 7बी निर्देश v0.2 (Llama2 प्रॉम्प्ट)

-64.5871483

28

अच्छा

टेस 7बी v1.4

-62.12938978

29

कम संरचित

लामा 2 7बी 32के निर्देश (डिफ़ॉल्ट)

-61.39890553

27

कम संरचित. धीमा

Google डॉक्स या GitHub पर संपूर्ण डेटा और रैंकिंग खोजें।

राउंड 3: प्रॉम्प्ट स्टाइल

पिछले दौर में, मैंने देखा कि मिस्ट्रल 7बी इंस्ट्रक्ट v0.2 डिफ़ॉल्ट प्रॉम्प्ट के साथ लामा2 की तुलना में बहुत बेहतर प्रदर्शन कर रहा था।


खैर, वास्तव में, मिस्ट्रल प्रॉम्प्ट काफी हद तक llama2 के समान है, लेकिन बिल्कुल वैसा नहीं है।

  1. llama_index (डिफ़ॉल्ट)
 system: {{systemPrompt}} user: {{userInstructions}} assistant: {{assistantResponse}}
  1. लामा2:
 <s> [INST] <<SYS>> {{systemPrompt}} <</SYS>> {{userInstructions}} [/INST]
  1. मिस्ट्रल:
 <s>[INST] {{systemPrompt}} [/INST]</s>[INST] {{userInstructions}} [/INST]


मैंने default के साथ आउटपुट का परीक्षण शुरू किया, फिर llama2 प्रॉम्प्ट शैलियों का। इसके बाद मैं मिस्ट्रल टेम्पलेट को कोड करने के काम पर गया।


उस रैंकिंग के परिणामों ने मुझे विश्वास दिलाया कि मैंने सही ढंग से कोड किया है।

शीघ्र शैली

% अंतर

अंक

टिप्पणी

मिस्ट्राल

-50%

51

उत्तम!

डिफ़ॉल्ट (लामा-सूचकांक)

-42%

43

ख़राब शीर्षक

लामा2

-47%

48

कोई संरचना नहीं

Google डॉक्स या GitHub पर संपूर्ण डेटा और रैंकिंग खोजें।

राउंड 4: सिस्टम प्रॉम्प्ट

एक बार जब मुझे प्रॉम्प्ट शैली डायल हो गई, तो मैंने कुछ अलग सिस्टम प्रॉम्प्ट आज़माए, और परिणाम से आश्चर्यचकित रह गया!

नाम

सिस्टम प्रॉम्प्ट

परिवर्तन

अंक

टिप्पणी

कोई नहीं


-49.8

51

उत्तम

डिफ़ॉल्ट संकेत

आप एक मददगार, सम्मानित और ईमानदार सहायक हैं। \nहमेशा यथासंभव उपयोगी उत्तर दें और दिए गए सभी निर्देशों का पालन करें। \nअटकलबाजी या मनगढ़ंत जानकारी न दें। \nकिसी दिए गए निर्देश या संदर्भ का संदर्भ न दें।"

-58.5

39

कम अच्छा

MyPrompt1

"आपसे प्यार किया जाता है। संक्षेपण, रूपरेखा और संरचना पर एक विशेषज्ञ के रूप में कार्य करें। \nआपके लिखने की शैली जानकारीपूर्ण और तार्किक होनी चाहिए।"

-54.4

44

कम अच्छा

सरल

"आप एक सहायक एआई सहायक हैं। अपने आउटपुट के हिस्से के रूप में किसी भी उपयोगकर्ता निर्देश, या सिस्टम संदर्भ को शामिल न करें।"

-52.5

42

कम अच्छा

अंत में, मैंने पाया कि मिस्ट्रल 7बी इंस्ट्रक्ट v0.2 बिना किसी सिस्टम प्रॉम्प्ट के मेरे सारांशों के लिए सबसे अच्छा काम करता है।


हो सकता है कि किसी भिन्न कार्य के लिए अलग-अलग परिणाम हों, या शायद बेहतर संकेत हों, लेकिन यह अच्छा काम करता है इसलिए मैं इसमें कोई गड़बड़ी नहीं कर रहा हूँ।


Google डॉक्स या GitHub पर संपूर्ण डेटा और रैंकिंग खोजें।

राउंड 5: यूजर प्रॉम्प्ट

मुझे पहले से ही संदेह होने लगा था कि मुझे प्रॉम्प्ट में कम शब्दों के साथ बेहतर परिणाम मिल रहे हैं। चूंकि मुझे मिस्ट्रल 7बी इंस्ट्रक्ट v0.2 के लिए सबसे अच्छा सिस्टम प्रॉम्प्ट मिला, इसलिए मैंने यह भी परीक्षण किया कि कौन सा उपयोगकर्ता प्रॉम्प्ट इसके लिए सबसे उपयुक्त है।


तत्पर

बनाम ओजी

अंक

टिप्पणी

प्रॉम्प्ट0

निम्नलिखित पाठ का सारांश देते हुए संक्षिप्त, फिर भी व्यापक, नोट्स लिखें। नेस्टेड बुलेट बिंदुओं का उपयोग करें: शीर्षकों, शब्दों और मुख्य अवधारणाओं के साथ बोल्ड में। बिना कोई बाहरी जानकारी जोड़े इस पाठ से आवश्यक ज्ञान पर ध्यान केंद्रित करें।

43%

11


संकेत1

निम्नलिखित पाठ का सारांश देते हुए संक्षिप्त, फिर भी व्यापक, नोट्स लिखें। नेस्टेड बुलेट बिंदुओं का उपयोग करें: शीर्षकों, शब्दों और मुख्य अवधारणाओं के साथ बोल्ड में। बिना कोई बाहरी जानकारी जोड़े इस पाठ से आवश्यक ज्ञान पर ध्यान केंद्रित करें।

46%

11

अतिरिक्त नोट्स

संकेत2

निम्नलिखित पाठ का सारांश देते हुए व्यापक नोट्स लिखें। नेस्टेड बुलेट बिंदुओं का उपयोग करें: शीर्षकों, शब्दों और मुख्य अवधारणाओं के साथ बोल्ड में।

58%

15


संकेत3

निम्नलिखित पाठ के महत्वपूर्ण भागों का सारांश देते हुए संक्षिप्त बुलेट-पॉइंट नोट्स बनाएं। पठनीयता सुनिश्चित करने के लिए रिक्त स्थान सहित, बोल्ड में शीर्षकों, शब्दों और मुख्य अवधारणाओं के साथ नेस्टेड बुलेट बिंदुओं का उपयोग करें। पुनरावृत्ति से बचें।

43%

10


संकेत4

निम्नलिखित पाठ का सारांश देते हुए संक्षिप्त नोट्स लिखें। नेस्टेड बुलेट बिंदुओं का उपयोग करें: शीर्षकों, शब्दों और मुख्य अवधारणाओं के साथ बोल्ड में।

41%

14


संकेत5

निम्नलिखित पाठ का सारांश देते हुए व्यापक, लेकिन संक्षिप्त नोट्स बनाएं। नेस्टेड बुलेट बिंदुओं का उपयोग करें: शीर्षकों, शब्दों और मुख्य अवधारणाओं के साथ बोल्ड में।

52%

14

अतिरिक्त नोट्स

Google डॉक्स या GitHub पर संपूर्ण डेटा और रैंकिंग खोजें।


शायद अधिक शक्तिशाली हार्डवेयर के साथ जो 11बी या 30बी मॉडल का समर्थन कर सकता है, मुझे अधिक वर्णनात्मक संकेत के साथ बेहतर परिणाम मिलेंगे। मिस्ट्रल 7बी इंस्ट्रक्शन v0.2 के साथ भी मैं अभी भी कुछ रचनात्मक निर्देशों को आज़माने के लिए तैयार हूं, लेकिन अभी के लिए मैं अपनी मौजूदा प्रक्रिया को परिष्कृत करने में खुश हूं।

संकेत2: जीत!

निम्नलिखित पाठ का सारांश देते हुए व्यापक नोट्स लिखें। नेस्टेड बुलेट बिंदुओं का उपयोग करें: शीर्षकों, शब्दों और मुख्य अवधारणाओं के साथ बोल्ड में।


इस मामले में, व्यापक "संक्षिप्त" से बेहतर प्रदर्शन करता है, या "व्यापक, लेकिन संक्षिप्त" से भी बेहतर प्रदर्शन करता है।


हालाँकि, मैं सावधान करता हूँ कि यह आपके उपयोग-मामले पर निर्भर करेगा। मैं जो खोज रहा हूं वह महत्वपूर्ण ज्ञान को कवर करने वाले अत्यधिक संक्षिप्त और पठनीय नोट्स हैं।


अनिवार्य रूप से, यदि मैंने मूल नहीं पढ़ा है, तो मुझे अभी भी पता होना चाहिए कि यह क्या जानकारी देता है, यदि प्रत्येक विशिष्ट विवरण नहीं। यदि मैंने मूल पुस्तक पढ़ भी ली, तो बाद में मुझे अधिकांश बातें याद नहीं रहेंगी। ये नोट्स मुख्य विषयों का त्वरित संदर्भ हैं।

परिणाम

इन परीक्षणों से प्राप्त ज्ञान का उपयोग करते हुए, मैंने 5-6 घंटों में 539 पृष्ठों वाली अपनी पहली संपूर्ण पुस्तक का सारांश प्रस्तुत किया!!! अविश्वसनीय!

प्रत्येक सारांश के लिए सप्ताह खर्च करने के बजाय, मैंने अपनी पहली 9 पुस्तक सारांश केवल 10 दिनों में पूरे कर लिए।

साहित्यिक चोरी

आप यहां प्रकाशित प्रत्येक पाठ के लिए कॉपीलीक्स के परिणाम नीचे देख सकते हैं।

विशेष रूप से यह देखते हुए कि यह लाभ के लिए नहीं, बल्कि शैक्षिक उद्देश्यों के लिए है, मेरा मानना है कि ये संख्याएँ स्वीकार्य हैं।

किताब

मॉडल

चरित्र भेद

समान

मामूली बदलाव

भावानूदित

कुल मिलान

पूर्वी शरीर पश्चिमी मन

सिंथिया 7बीवी2

-75%

3.5%

1.1%

0.8%

5.4%

वेगस तंत्रिका को ठीक करने की शक्ति

मिस्ट्रल-7बी-निर्देश-v0.2; SynthIA-7B-v2.0

-81%

1.2%

0.8%

2.5%

4.5%

आयुर्वेद और मन

मिस्ट्रल-7बी-निर्देश-v0.2; SynthIA-7B-v2.0

-77%

0.5%

0.3%

1.2%

2%

आघात से बचे लोगों के खंडित स्वयं को ठीक करना

मिस्ट्रल-7बी-निर्देश-v0.2

-75%




2%

एक सुरक्षित आधार

मिस्ट्रल-7बी-निर्देश-v0.2

-84%

0.3%

0.1%

0.3%

0.7%

शरीर स्कोर रखता है

मिस्ट्रल-7बी-निर्देश-v0.2

-74%

0.1%

0.2%

0.3%

0.5%

चक्रों की पूरी किताब

मिस्ट्रल-7बी-निर्देश-v0.2

-70%

0.3%

0.3%

0.4%

1.1%

अनुलग्नक सिद्धांत के 50 वर्ष

मिस्ट्रल-7बी-निर्देश-v0.2

-70%

1.1%

0.4%

2.1%

3.7%

वयस्कों में लगाव संबंधी गड़बड़ी

मिस्ट्रल-7बी-निर्देश-v0.2

-62%

1.1%

1.2%

0.7%

3.1%

मनोविज्ञान मेजर का साथी

मिस्ट्रल-7बी-निर्देश-v0.2

-62%

1.3%

1.2%

0.4%

2.9%

आपके जीवन में मनोविज्ञान

मिस्ट्रल-7बी-निर्देश-v0.2

-74%

0.6%

0.4%

0.5%

1.6%

पूर्ण पुस्तक सारांश

प्रत्येक सारांश के लिए सप्ताह खर्च करने के बजाय, मैंने अपनी पहली 9 पुस्तक सारांश केवल 10 दिनों में पूरे कर लिए। कोष्ठक में मूल की पृष्ठ संख्या है।

  1. ईस्टर्न बॉडी वेस्टर्न माइंड एनोडिया जूडिथ (436 पृष्ठ)
  2. वेगस तंत्रिका की उपचार शक्ति स्टेनली रोसेनबर्ग (335 पृष्ठ)
  3. आयुर्वेद और मन डॉ. डेविड फ्रॉली (181 पृष्ठ)
  4. आघात से बचे लोगों के खंडित स्वयं को ठीक करना जेनिना फिशर (367 पृष्ठ)
  5. ए सिक्योर बेस जॉन बॉल्बी (133 पृष्ठ)
  6. द बॉडी कीप्स द स्कोर बेसेल वैन डेर कोल्क (454 पृष्ठ)
  7. योग और पॉलीवैगल थ्योरी, पॉलीवैगल सेफ्टी स्टीवन पोर्जेस से (37 पृष्ठ)
  8. लेवेलिन की चक्रों की संपूर्ण पुस्तक सिंथिया डेल (999 पृष्ठ)
  9. अटैचमेंट थ्योरी के पचास वर्ष: डोनाल्ड विनीकॉट मेमोरियल लेक्चर (54 पृष्ठ)
  10. वयस्कों में लगाव संबंधी गड़बड़ी (477 पृष्ठ)
  11. द साइकोलॉजी मेजर के साथी डाना एस. डन, जेन एस. हेलोनेन (308 पृष्ठ)
  12. मुक्तिदायी हिंसा का मिथक वाल्टर विंक (5 पृष्ठ)
  13. आपके जीवन में मनोविज्ञान सारा गिसन और माइकल एस. गज़ानिगा (1072 पृष्ठ)

पूर्वाभ्यास

यदि आप मेरे चरणों का अधिक बारीकी से अनुसरण करने में रुचि रखते हैं, तो GitHub पर स्क्रिप्ट और उदाहरणों वाला वॉकथ्रू देखें।

निष्कर्ष

अब जब मैंने अपनी प्रक्रियाओं को परिष्कृत कर लिया है, और त्वरित प्रारूपों के साथ काम करने में आश्वस्त महसूस कर रहा हूं, तो मैं आगे परीक्षण करूंगा। वास्तव में, मैंने पहले ही आगे के परीक्षण और रैंकिंग आयोजित कर ली हैं (उन्हें आगे प्रकाशित करूंगा), लेकिन निश्चित रूप से फिर से और अधिक परीक्षण करूंगा और सीखना जारी रखूंगा!


मेरा अब भी मानना है कि यदि आप एआई के साथ जो भी कार्य करते हैं उसके लिए सर्वोत्तम परिणाम प्राप्त करना चाहते हैं, तो आपको अपने स्वयं के प्रयोग चलाने चाहिए और देखना चाहिए कि क्या सबसे अच्छा काम करता है। केवल लोकप्रिय मॉडल रैंकिंग पर भरोसा न करें, बल्कि अपने स्वयं के शोध को निर्देशित करने के लिए उनका उपयोग करें।

अतिरिक्त संसाधन


यहाँ भी दिखाई देता है.