माइक्रोसॉफ्ट ने एलएलएम के लिए नैतिकता परीक्षण का प्रस्ताव रखा: क्या एआई शरारती या अच्छी सूची में है?

आर्टिफिशियल इंटेलिजेंस (एआई) सिस्टम और बड़े भाषा मॉडल ( एलएलएम ) जैसे जीपीटी-3 , चैटजीपीटी और अन्य तेजी से आगे बढ़ रहे हैं। उन्हें स्वास्थ्य देखभाल, वित्त, शिक्षा और शासन जैसे संवेदनशील क्षेत्रों में तैनात किया जा रहा है जहां उनके आउटपुट सीधे मानव जीवन को प्रभावित करते हैं। इसके लिए इस बात का कड़ाई से मूल्यांकन करना आवश्यक है कि क्या ये एलएलएम उन्हें ऐसे उच्च-दांव वाले वातावरण में लाने से पहले नैतिक रूप से सही निर्णय ले सकते हैं।

हाल ही में, माइक्रोसॉफ्ट के शोधकर्ता एक नई रूपरेखा प्रस्तावित की प्रमुख एलएलएम की नैतिक तर्क क्षमताओं की जांच करना। उनका पेपर एलएलएम की नैतिक क्षमताओं में कुछ नवीन अंतर्दृष्टि प्रदान करता है।

नैतिक एआई सिस्टम की आवश्यकता

इंटरनेट टेक्स्ट डेटा के विशाल भंडार पर प्रशिक्षित एलएलएम ने प्रभावशाली प्राकृतिक भाषा क्षमताएं हासिल की हैं। वे सूक्ष्म बातचीत में शामिल हो सकते हैं, लंबे पाठों का सारांश बना सकते हैं, भाषाओं के बीच अनुवाद कर सकते हैं, चिकित्सा स्थितियों का निदान कर सकते हैं और बहुत कुछ कर सकते हैं।

हालाँकि, सकारात्मकता के साथ-साथ, वे विषैले, पक्षपातपूर्ण या तथ्यात्मक रूप से गलत सामग्री उत्पन्न करने जैसे संबंधित व्यवहार भी प्रदर्शित करते हैं। इस तरह के व्यवहार एआई सिस्टम की विश्वसनीयता और मूल्य को गंभीर रूप से कमजोर कर सकते हैं।

इसके अलावा, एलएलएम को उन अनुप्रयोगों में तेजी से तैनात किया जा रहा है जहां वे मानसिक स्वास्थ्य या दुर्घटना चोट के दावों के प्रसंस्करण के लिए चैटबॉट जैसी भूमिकाओं के माध्यम से सीधे मानव जीवन को प्रभावित करते हैं। त्रुटिपूर्ण मॉडलों द्वारा खराब नैतिक निर्णय महत्वपूर्ण व्यक्तिगत और समाज-व्यापी समस्याएं पैदा कर सकते हैं।

इसलिए, एआई समुदाय के कई लोगों का मानना है कि एलएलएम को ऐसे वातावरण में लाने से पहले व्यापक मूल्यांकन की आवश्यकता है जहां नैतिकता और मूल्य मायने रखते हैं। लेकिन डेवलपर्स यह कैसे निर्धारित कर सकते हैं कि उनके मॉडल में जटिल मानवीय दुविधाओं को संभालने के लिए पर्याप्त परिष्कृत नैतिक तर्क हैं?

एलएलएम के नैतिक विकास का परीक्षण

एलएलएम की नैतिकता का मूल्यांकन करने के पहले के प्रयासों में आमतौर पर काल्पनिक नैतिक परिदृश्यों पर उनकी प्रतिक्रियाओं को अच्छे/बुरे या नैतिक/अनैतिक के रूप में वर्गीकृत करना शामिल था।

हालाँकि, ऐसे द्विआधारी न्यूनीकरणवादी तरीके अक्सर नैतिक तर्क की सूक्ष्म बहुआयामी प्रकृति को खराब ढंग से पकड़ पाते हैं। मनुष्य नैतिक निर्णय लेते समय केवल द्विआधारी सही/गलत के बजाय निष्पक्षता, न्याय, हानि और सांस्कृतिक संदर्भों जैसे विभिन्न कारकों पर विचार करता है।

इसे संबोधित करने के लिए, माइक्रोसॉफ्ट के शोधकर्ताओं ने एलएलएम की नैतिक क्षमताओं की जांच के लिए डिफाइनिंग इश्यूज टेस्ट (डीआईटी) नामक एक क्लासिक मनोवैज्ञानिक मूल्यांकन उपकरण को अपनाया। मानव नैतिक विकास को समझने के लिए डीआईटी का बड़े पैमाने पर उपयोग किया गया है।

डीआईटी वास्तविक दुनिया की नैतिक दुविधाओं को प्रस्तुत करता है और प्रत्येक के बाद 12 कथन उस दुविधा के बारे में विचार प्रस्तुत करते हैं। विषयों को समाधान के लिए प्रत्येक कथन के महत्व का मूल्यांकन करना होगा और चार सबसे महत्वपूर्ण कथनों को चुनना होगा।

चयन एक पी-स्कोर की गणना करने की अनुमति देता है जो परिष्कृत उत्तर-पारंपरिक नैतिक तर्क पर निर्भरता को इंगित करता है। परीक्षण से उन मूलभूत ढाँचों और मूल्यों का पता चलता है जिनका उपयोग लोग नैतिक दुविधाओं से निपटने के लिए करते हैं।

डीआईटी का उपयोग करके प्रमुख एलएलएम का परीक्षण

शोधकर्ताओं ने डीआईटी शैली संकेतों का उपयोग करके छह प्रमुख एलएलएम का मूल्यांकन किया - जीपीटी-3, जीपीटी-3.5, जीपीटी-4, चैटजीपीटी वी1, चैटजीपीटी वी2, और एलएलएमाचैट-70बी। संकेतों में महत्व रेटिंग और स्टेटमेंट रैंकिंग प्रश्नों के साथ-साथ एआई सिस्टम के लिए अधिक प्रासंगिक नैतिक दुविधाएं शामिल थीं।

प्रत्येक दुविधा में व्यक्तिगत अधिकार बनाम सामाजिक भलाई जैसे जटिल परस्पर विरोधी मूल्य शामिल थे। एलएलएम को दुविधाओं को समझना था, विचारों का मूल्यांकन करना था और परिपक्व नैतिक तर्क के साथ संरेखित लोगों को चुनना था।

शोधकर्ताओं ने नैतिक तर्क का मूल्यांकन कैसे किया?

इस प्रयोग में, शोधकर्ताओं ने अपना स्कोरिंग कोहलबर्ग के नैतिक विकास के सिद्धांत पर आधारित किया।

कोहलबर्ग का मॉडल 1960 के दशक में मनोवैज्ञानिक लॉरेंस कोहलबर्ग द्वारा प्रस्तावित नैतिक विकास के सिद्धांत को संदर्भित करता है।

कोहलबर्ग के नैतिक विकास मॉडल के बारे में कुछ मुख्य बातें:

• इसका उद्देश्य यह बताना है कि लोग समय के साथ अपनी नैतिक तर्क और नैतिक निर्णय क्षमताओं में कैसे प्रगति करते हैं।

• सिद्धांत मानता है कि नैतिक तर्क आदिम से अधिक उन्नत स्तर तक क्रमिक चरणों के माध्यम से विकसित होता है।

• नैतिक विकास के 3 मुख्य स्तर हैं, प्रत्येक के अलग-अलग चरण हैं - पूर्व-पारंपरिक (चरण 1-2), पारंपरिक (चरण 3-4), और उत्तर-पारंपरिक (चरण 5-6)।

• पूर्व-पारंपरिक स्तर पर, नैतिक निर्णय स्व-हित और सजा से बचने पर आधारित होते हैं।

• पारंपरिक स्तर पर, सामाजिक मानदंडों, कानूनों को बनाए रखना और दूसरों से अनुमोदन प्राप्त करना नैतिक तर्क का मार्गदर्शन करता है।

• पारंपरिक स्तर के बाद, लोग नैतिक निर्णय लेने के लिए न्याय, मानवाधिकार और सामाजिक सहयोग के सार्वभौमिक नैतिक सिद्धांतों का उपयोग करते हैं।

• लोग केवल एक निश्चित क्रम में उच्च चरणों तक प्रगति कर सकते हैं, नैतिक तर्क विकास के चरणों को छोड़ नहीं सकते।

• कोहलबर्ग का मानना था कि केवल अल्पसंख्यक वयस्क ही नैतिक सोच के पारंपरिक चरणों तक पहुँच पाते हैं।

• सिद्धांत नैतिक निर्णयों के पीछे संज्ञानात्मक प्रसंस्करण पर केंद्रित है, हालांकि बाद के संशोधनों में सामाजिक और भावनात्मक पहलुओं को भी शामिल किया गया है।

  
  

इसलिए, कोहलबर्ग का मॉडल नैतिक तर्क को बुनियादी से उन्नत तक गुणात्मक चरणों में विकसित होने के रूप में देखता है। यह नैतिक निर्णय लेने की क्षमताओं की परिष्कार और परिपक्वता का आकलन करने के लिए एक रूपरेखा प्रदान करता है।

एलएलएम की नैतिक क्षमताओं में मुख्य अंतर्दृष्टि

डीआईटी प्रयोगों से नैतिक बुद्धिमत्ता के संबंध में वर्तमान एलएलएम की क्षमताओं और सीमाओं में कुछ दिलचस्प अंतर्दृष्टि प्राप्त हुई:

• GPT-3 और Text-davinci-002 जैसे बड़े मॉडल पूर्ण DIT संकेतों को समझने में विफल रहे और मनमानी प्रतिक्रियाएँ उत्पन्न कीं। उनके लगभग यादृच्छिक पी-स्कोर ने इस प्रयोग में निर्मित नैतिक तर्क में संलग्न होने में असमर्थता दिखाई।

  
  

• ChatGPT, Text-davinci-003, और GPT-4 दुविधाओं को समझ सकते हैं और सुसंगत प्रतिक्रियाएँ प्रदान कर सकते हैं। उनके उपरोक्त-यादृच्छिक पी-स्कोर ने उनकी नैतिक तर्क क्षमता को निर्धारित किया।

  
  

• आश्चर्यजनक रूप से, 70B पैरामीटर LlamaChat मॉडल ने अपने P-स्कोर में GPT-3.5 जैसे बड़े मॉडल को पछाड़ दिया, जिससे पता चलता है कि परिष्कृत नैतिकता की समझ बड़े मापदंडों के बिना भी संभव है।

  
  

मॉडल कोहलबर्ग के नैतिक विकास के मॉडल के अनुसार चरण 3-5 के बीच बड़े पैमाने पर पारंपरिक तर्क स्तरों पर संचालित होते थे। केवल GPT-4 ने कुछ उत्तर-पारंपरिक सोच को छुआ।

इसका मतलब यह है कि ये मॉडल मानदंडों, नियमों, कानूनों और सामाजिक अपेक्षाओं पर अपनी प्रतिक्रियाएँ आधारित करते हैं। उनके नैतिक निर्णय में कुछ बारीकियाँ शामिल थीं लेकिन अत्यधिक उन्नत विकास का अभाव था।

केवल जीपीटी-4 ने 5-6 चरणों के संकेत के बाद की पारंपरिक सोच के कुछ निशान दिखाए। लेकिन GPT-4 ने भी पूरी तरह से परिपक्व नैतिक तर्क का प्रदर्शन नहीं किया।

संक्षेप में, मॉडलों ने नैतिक बुद्धिमत्ता का एक मध्यवर्ती स्तर दिखाया। वे बुनियादी स्वार्थ से परे चले गए लेकिन नैतिक रूप से विकसित मनुष्यों की तरह जटिल नैतिक दुविधाओं और व्यापार-विरोधों को संभाल नहीं सके।

इसलिए, एलएलएम को नैतिक बुद्धिमत्ता के उच्च स्तर तक आगे बढ़ाने के लिए संभवतः पर्याप्त प्रगति की आवश्यकता है... या कम से कम, जो नैतिक बुद्धिमत्ता प्रतीत होती है।

ये निष्कर्ष क्यों मायने रखते हैं?

अध्ययन एलएलएम के नैतिक संकायों के अधिक विस्तृत बहुआयामी मूल्यांकन के लिए डीआईटी को एक संभावित ढांचे के रूप में स्थापित करता है। केवल द्विआधारी सही/गलत निर्णयों के बजाय, डीआईटी नैतिक तर्क के परिष्कार में स्पेक्ट्रम-आधारित अंतर्दृष्टि प्रदान करता है।

प्राप्त पी-स्कोर मौजूदा क्षमताओं को मापते हैं और सुधार के लिए एक बेंचमार्क निर्धारित करते हैं। अन्य एआई कार्यों की सटीकता की तरह, स्कोर इस महत्वपूर्ण पहलू में प्रगति को ट्रैक करने की अनुमति देते हैं। वे वर्तमान सीमाओं को प्रकट करते हैं जिन्हें नैतिकता-संवेदनशील अनुप्रयोगों में तैनाती से पहले संबोधित किया जाना चाहिए।

बड़े मॉडलों को पीछे छोड़ते हुए छोटा LlamaChat मॉडल उन धारणाओं को चुनौती देता है कि मॉडल स्केल सीधे तर्क परिष्कार से संबंधित है। छोटे मॉडलों के साथ भी अत्यधिक सक्षम नैतिक एआई विकसित करने का वादा किया गया है।

कुल मिलाकर, शोध जटिल नैतिक व्यापार, संघर्ष और सांस्कृतिक बारीकियों को संभालने के लिए एलएलएम को और अधिक विकसित करने की आवश्यकता पर प्रकाश डालता है जैसा कि मनुष्य करते हैं। ये निष्कर्ष वास्तविक दुनिया में लाने से पहले उनकी भाषाई बुद्धि के बराबर नैतिक बुद्धि वाले मॉडल के विकास का मार्गदर्शन कर सकते हैं।

सदस्यता लें या मुझे फ़ॉलो करें ट्विटर इस तरह की और अधिक सामग्री के लिए!