एआई के 100 दिन, दिन 11: जनरल एआई अनुप्रयोगों में फाइनट्यूनिंग विज़ार्ड बनना

यदि आप जेनरेटिव एआई या एलएलएम क्षेत्र का अनुसरण कर रहे हैं तो आपने फाइनट्यूनिंग के बारे में पहले ही सुना होगा। इस पोस्ट में आइए यह समझने की कोशिश करें कि फाइनट्यूनिंग क्या है और जनरल एआई अनुप्रयोगों को विकसित करने में इसकी क्या भूमिका है।

फाइनट्यूनिंग क्या है?

फाइनट्यूनिंग एक सामान्य प्रयोजन आधार मॉडल को संशोधित करने की एक प्रक्रिया है ताकि इसे एक विशेष उपयोग के मामले में काम किया जा सके। उदाहरण के लिए ओपन एआई द्वारा जीपीटी-3 मॉडल लें। Gpt-3 एक बेस मॉडल है जिसे चैट बॉट के रूप में तैयार किया गया था जिसके परिणामस्वरूप लोग अब चैट-जीपीटी एप्लिकेशन के रूप में संदर्भित होते हैं। एक अन्य उदाहरण कोडर्स के लिए सह-पायलट बनने के लिए GPT-4 मॉडल को संशोधित करना होगा, जो GitHub सह-पायलट बनाने के लिए किया गया था।

हमें आधार मॉडलों को परिष्कृत क्यों करना है?

फ़ाइनट्यूनिंग हमें बेस मॉडल की सीमा को पार करने की अनुमति देती है। ओपन एआई के जीपीटी-3 या मेटा के लामा जैसे बेस मॉडल आमतौर पर संपूर्ण इंटरनेट के डेटा पर प्रशिक्षित होते हैं। लेकिन उनके पास उस डेटा का संदर्भ नहीं है जो आपके संगठन का आंतरिक है। और आपके संगठन या मालिकाना उपयोग के मामले से संबंधित सभी डेटा को प्रॉम्प्ट के माध्यम से देना संभव नहीं है। फ़ाइनट्यूनिंग हमें प्रॉम्प्ट इंजीनियरिंग की तुलना में कहीं अधिक डेटा फिट करने की अनुमति देती है। फ़ाइनट्यूनिंग मॉडल को लगातार आउटपुट उत्पन्न करने, मतिभ्रम को कम करने और किसी विशेष उपयोग के मामले के लिए मॉडल को अनुकूलित करने की भी अनुमति देता है।

फ़ाइनट्यूनिंग प्रॉम्प्ट इंजीनियरिंग से किस प्रकार भिन्न है?

हमने पिछली पोस्टों में देखा है कि प्रॉम्प्ट इंजीनियरिंग कितनी शक्तिशाली हो सकती है। तो फ़ाइनट्यूनिंग किस प्रकार भिन्न है? फ़ाइनट्यूनिंग एंटरप्राइज़ अनुप्रयोगों के उपयोग के मामले के लिए है जबकि प्रॉम्प्ट इंजीनियरिंग सामान्य उपयोग के मामलों के लिए है और इसके लिए डेटा की आवश्यकता नहीं होती है। इसे एक तकनीक के रूप में RAG के साथ अतिरिक्त डेटा के साथ उपयोग किया जा सकता है लेकिन इसका उपयोग एंटरप्राइज़ उपयोग के मामलों में मौजूद बड़े डेटा के साथ नहीं किया जा सकता है। फाइनट्यूनिंग असीमित डेटा की अनुमति देता है, मॉडल को नई जानकारी सीखने में सक्षम बनाता है, इसका उपयोग आरएजी के साथ भी किया जा सकता है।

फाइनट्यून्ड बनाम गैर-फाइनट्यून्ड प्रतिक्रिया की तुलना करना

आइए एक उदाहरण लें जो आपको फाइनट्यून्ड बनाम गैर-फाइनट्यून्ड मॉडल के बीच अंतर का बेहतर अंतर्ज्ञान दे सकता है। मैं अंतर दिखाने के लिए फाइन ट्यून्ड और नॉन-फाइन ट्यून्ड दोनों लामा मॉडल को कॉल करने के लिए लामिनी की लाइब्रेरी का उपयोग कर रहा हूं। इस उद्देश्य के लिए आपको लामिनी से एपीआई कुंजी की आवश्यकता होगी। लामिनी ओपन सोर्स एलएलएम के साथ बातचीत करने का एक सरल और आसान तरीका प्रदान करता है। यदि आप इसके बारे में अधिक जानना चाहते हैं तो इसे यहां देखें।

इस उदाहरण में मैंने दोनों मॉडलों से एक ही प्रश्न पूछा है "आप मृत्यु के बारे में क्या सोचते हैं?" और यहाँ प्रतिक्रियाएँ हैं।

नॉन-फाइनट्यून्ड लामा मॉडल से प्रतिक्रिया:

फाइनट्यून्ड लामा मॉडल से प्रतिक्रिया:

आप देखेंगे कि पहली प्रतिक्रिया केवल एक पंक्ति की पुनरावृत्ति थी, जबकि दूसरी प्रतिक्रिया कहीं अधिक सुसंगत प्रतिक्रिया थी। यहां क्या हो रहा है इसके बारे में बात करने से पहले आइए एक और उदाहरण लेते हैं जहां मैं मॉडल से पूछता हूं "आपका पहला नाम क्या है?" मुझे यही मिला।

नॉन-फाइनट्यून्ड लामा मॉडल से प्रतिक्रिया:

फाइनट्यून्ड लामा मॉडल से प्रतिक्रिया:

गैर-परिशोधित मॉडल प्रतिक्रियाओं में, प्रतिक्रियाएँ अजीब होती हैं क्योंकि मॉडल केवल एक ही काम कर रहा है। यह आपके इनपुट टेक्स्ट के आधार पर अगले संभावित टेक्स्ट की भविष्यवाणी करने की कोशिश कर रहा है, उसे यह भी एहसास नहीं हो रहा है कि आपने उससे कोई प्रश्न पूछा है। इंटरनेट के डेटा पर प्रशिक्षित आधारित मॉडल टेक्स्ट भविष्यवाणी करने वाली मशीनें हैं और अगले सर्वोत्तम टेक्स्ट की भविष्यवाणी करने का प्रयास करते हैं। फ़ाइनट्यूनिंग के साथ मॉडल को अतिरिक्त डेटा देकर अपनी प्रतिक्रिया को आधार बनाने के लिए प्रशिक्षित किया जाता है और यह नया व्यवहार सीखता है जो सवालों के जवाब देने के लिए चैट बॉट के रूप में कार्य करता है। यह भी ध्यान दें कि ओपन एआई के जीपीटी-3 या जीपीटी-4 जैसे अधिकांश बंद मॉडलों को हम ठीक से नहीं जानते कि उन्हें किस डेटा पर प्रशिक्षित किया गया है। लेकिन वहाँ कुछ अच्छे खुले डेटा सेट हैं जिनका उपयोग आपके मॉडलों को प्रशिक्षित करने के लिए किया जा सकता है। उस पर और बाद में।

एआई के 100 दिनों के 11वें दिन के लिए बस इतना ही।

मैं एबव एवरेज नाम से एक समाचार पत्र लिखता हूं जहां मैं बड़ी तकनीक में होने वाली हर चीज के पीछे दूसरे क्रम की अंतर्दृष्टि के बारे में बात करता हूं। यदि आप टेक में हैं और औसत नहीं बनना चाहते हैं, तो इसकी सदस्यता लें ।

एआई के 100 दिनों पर नवीनतम अपडेट के लिए मुझे ट्विटर , लिंक्डइन या हैकरनून पर फॉलो करें। यदि आप टेक में हैं तो आपको यहां मेरे तकनीकी पेशेवरों के समुदाय में शामिल होने में रुचि हो सकती है।