মার্কিন গোয়েন্দা বৃহৎ ভাষার মডেল নিরাপত্তা ঝুঁকি চিহ্নিত করতে চায়

ইউএস ইন্টেলিজেন্স অ্যাডভান্সড রিসার্চ প্রজেক্টস অ্যাক্টিভিটি (আইএআরপিএ) বৃহৎ ভাষা মডেল (এলএলএম) হতে পারে এমন সম্ভাব্য হুমকি এবং দুর্বলতাগুলি সনাক্ত করতে তথ্যের জন্য একটি অনুরোধ (আরএফআই) জারি করে।

"আইএআরপিএ বুদ্ধিমত্তা বিশ্লেষকদের দ্বারা বৃহৎ ভাষা মডেলের (এলএলএম) নিরাপদ ব্যবহারকে প্রভাবিত করতে পারে এমন দুর্বলতা এবং হুমকিগুলির প্রতিষ্ঠিত বৈশিষ্ট্য সম্পর্কে তথ্য খুঁজছে"

যদিও এখনও একটি অফিসিয়াল গবেষণা প্রোগ্রাম নয়, আইএআরপিএর " বড় ভাষার মডেলের পক্ষপাত, হুমকি এবং দুর্বলতাগুলি বৈশিষ্ট্যযুক্ত " RFI এর লক্ষ্য "এলএলএম প্রযুক্তির সাথে সম্পর্কিত দুর্বলতা এবং হুমকিগুলিকে শ্রেণীবদ্ধ এবং চিহ্নিত করার জন্য কাঠামো তৈরি করা, বিশেষত তাদের সম্ভাব্য বুদ্ধিমত্তা ব্যবহারের পরিপ্রেক্ষিতে৷ "

অনেক দুর্বলতা এবং সম্ভাব্য হুমকি ইতিমধ্যেই পরিচিত।

উদাহরণ স্বরূপ, আপনি ChatGPT কে যেকোন প্রদত্ত বিষয় সম্পর্কে সংক্ষিপ্ত বা অনুমান করতে বলতে পারেন, এবং এটি তার ডাটাবেসকে একটি ব্যাখ্যা প্রদান করতে পারে যা বিশ্বাসযোগ্য বলে মনে হয়।

যাইহোক, সেই ব্যাখ্যাগুলিও সম্পূর্ণ মিথ্যা হতে পারে।

OpenAI যেমন এটি বর্ণনা করে, "ChatGPT কখনও কখনও যুক্তিযুক্ত-শব্দযুক্ত কিন্তু ভুল বা অর্থহীন উত্তর লেখে।"

কিন্তু LLM-এর দ্বারা সৃষ্ট ঝুঁকিগুলি অযৌক্তিক ব্যাখ্যার বাইরে চলে যায়, এবং মার্কিন গুপ্তচর সংস্থাগুলির জন্য গবেষণা তহবিল সংস্থা হুমকি এবং দুর্বলতাগুলি সনাক্ত করতে চাইছে যেগুলি OWASP ফাউন্ডেশনের সম্প্রতি প্রকাশিত " টপ 10 ফর LLM "-এ সম্পূর্ণরূপে কভার করা হয়নি৷

"আপনার সংস্থা কি নির্দিষ্ট LLM হুমকি এবং দুর্বলতাগুলি চিহ্নিত করেছে যা পূর্বের শ্রেণীবিন্যাস দ্বারা ভালভাবে চিহ্নিত করা হয় না (cf, "LLM এর জন্য OWASP শীর্ষ 10")? যদি তাই হয়, অনুগ্রহ করে এই ধরনের প্রতিটি হুমকি এবং/অথবা দুর্বলতা এবং এর প্রভাবগুলির নির্দিষ্ট বিবরণ প্রদান করুন”

গত সপ্তাহে, UC বার্কলে প্রফেসর ড. স্টুয়ার্ট রাসেল সেনেট জুডিশিয়ারি কমিটিকে OWASP শীর্ষ 10 তালিকার কয়েকটি ঝুঁকি সম্পর্কে সতর্ক করেছেন, যার মধ্যে রয়েছে সংবেদনশীল তথ্য প্রকাশ, অতিরিক্ত নির্ভরতা এবং মডেল চুরি।

উদাহরণস্বরূপ, রাসেল উল্লেখ করেছেন যে আপনি যে ধরণের প্রশ্ন জিজ্ঞাসা করছেন তার দ্বারা আপনি সম্ভবত সংবেদনশীল তথ্য ছেড়ে দিতে পারেন; এবং তারপর চ্যাটবট সম্ভাব্যভাবে প্রতিযোগীর অন্তর্গত সংবেদনশীল বা মালিকানাধীন তথ্য থুতু দিতে পারে।

"যদি আপনি একটি কোম্পানিতে থাকেন […] এবং আপনি চান যে সিস্টেমটি আপনাকে কিছু অভ্যন্তরীণ ক্রিয়াকলাপে সহায়তা করতে পারে, আপনি আপনার পছন্দের উত্তর দেওয়ার জন্য এটি পেতে চ্যাটবটকে কোম্পানির মালিকানা তথ্য প্রকাশ করতে চলেছেন," রাসেল সাক্ষ্য দেওয়া

" যদি সেই তথ্যটি আপনার প্রতিযোগীদের কাছে ChatGPT-কে জিজ্ঞাসা করে সেই কোম্পানিতে কী ঘটছে তা যদি পাওয়া যায় তবে এটি হবে ভয়ানক ," তিনি যোগ করেছেন।

কোম্পানির তথ্য প্রকাশ করার বিষয়ে রাসেল যা বলেছে তা যদি আমরা গ্রহণ করি এবং মার্কিন গোয়েন্দা তথ্য প্রকাশ করার ক্ষেত্রে তা প্রয়োগ করি, তাহলে IARPA কেন তার বর্তমান RFI প্রকাশ করছে তা আমরা আরও ভালভাবে বুঝতে শুরু করতে পারি।

তবে সম্ভাব্য হুমকি এবং দুর্বলতাও থাকতে পারে যা এখনও অজানা।

প্রাক্তন মার্কিন প্রতিরক্ষা সচিব ডোনাল্ড রামসফেল্ড বিখ্যাতভাবে ব্যঙ্গ করে বলেছেন, “পরিচিত পরিচিত রয়েছে। এই জিনিস আমরা জানি যে আমরা জানি. জানা অজানা আছে। অর্থাৎ, এমন কিছু জিনিস আছে যা আমরা জানি আমরা জানি না। কিন্তু অজানা অজানা আছে। এমন কিছু জিনিস আছে যা আমরা জানি না আমরা জানি না।"

সুতরাং, বর্তমান RFI-এর জন্য, IARPA সংগঠনগুলিকে নিম্নলিখিত প্রশ্নের উত্তর দিতে বলছে:

• আপনার সংস্থা কি নির্দিষ্ট এলএলএম হুমকি এবং দুর্বলতাগুলি চিহ্নিত করেছে যা পূর্বের শ্রেণীবিন্যাস দ্বারা চিহ্নিত করা হয় না (cf, "LLM-এর জন্য OWASP শীর্ষ 10")? যদি তাই হয়, অনুগ্রহ করে এই ধরনের প্রতিটি হুমকি এবং/অথবা দুর্বলতা এবং এর প্রভাবগুলির নির্দিষ্ট বিবরণ প্রদান করুন।

  
  

• এলএলএম হুমকি এবং/অথবা দুর্বলতার পরিসরকে শ্রেণিবদ্ধ করার এবং বোঝার জন্য আপনার সংস্থার কি একটি কাঠামো আছে? যদি তাই হয়, অনুগ্রহ করে এই কাঠামোটি বর্ণনা করুন এবং প্রতিটি হুমকি এবং/অথবা দুর্বলতা এবং এর ঝুঁকির জন্য সংক্ষিপ্তভাবে বর্ণনা করুন।

  
  

• এলএলএম দুর্বলতা দ্বারা সৃষ্ট ব্যবহারকারীদের হুমকি শনাক্ত করতে বা প্রশমিত করার জন্য আপনার সংস্থার কি কোনো অভিনব পদ্ধতি আছে?

  
  

• এলএলএম আউটপুটগুলিতে আত্মবিশ্বাস পরিমাপ করার জন্য আপনার সংস্থার কি অভিনব পদ্ধতি আছে?

  
  

RFI-এর যোগাযোগের প্রাথমিক পয়েন্ট হল ড. টিমোথি ম্যাককিনন, যিনি আরও দুটি IARPA গবেষণা প্রোগ্রাম পরিচালনা করেন: HIATUS এবং BETTER ।

• HIATUS [আন্ডারলাইং স্ট্রাকচার ব্যবহার করে টেক্সটের মানব ব্যাখ্যাযোগ্য অ্যাট্রিবিউশন]: ব্যাখ্যাযোগ্য ভাষাগত আঙ্গুলের ছাপের সনাক্তকরণ এবং সুবিধার মাধ্যমে লেখকত্বের বৈশিষ্ট্য এবং লেখকের গোপনীয়তা রক্ষার জন্য অভিনব মানব-ব্যবহারযোগ্য AI সিস্টেম বিকাশ করতে চায়।

  
  

• BETTER [উন্নত পুনরুদ্ধারের দিকে টেক্সট থেকে আরও ভাল নিষ্কাশন]: একাধিক ভাষা এবং বিষয় জুড়ে একজন পৃথক বিশ্লেষককে পাঠ্য থেকে ব্যক্তিগতকৃত তথ্য নিষ্কাশন প্রদান করার ক্ষমতা বিকাশের লক্ষ্য।

গত বছর, IARPA ঘোষণা করেছে যে এটি তার দ্রুত ব্যাখ্যা, বিশ্লেষণ এবং সোর্সিং অনলাইন ( রিজন ) প্রোগ্রামকে একত্রিত করছে "অভিনব সিস্টেমগুলি বিকাশ করার জন্য যা স্বয়ংক্রিয়ভাবে বুদ্ধিমত্তা বিশ্লেষকদের তাদের বিশ্লেষণাত্মক প্রতিবেদনে প্রমাণ এবং যুক্তিকে উল্লেখযোগ্যভাবে উন্নত করতে সক্ষম করে মন্তব্য তৈরি করে।"

অতিরিক্তভাবে, “ REASON বিশ্লেষকদের প্রতিস্থাপন, সম্পূর্ণ প্রতিবেদন লিখতে বা তাদের কাজের চাপ বাড়ানোর জন্য ডিজাইন করা হয়নি। প্রযুক্তিটি বিশ্লেষকের বর্তমান কর্মপ্রবাহের মধ্যে কাজ করবে।

"এটি একটি স্বয়ংক্রিয় ব্যাকরণ পরীক্ষকের মতো একইভাবে কাজ করবে তবে প্রমাণ এবং যুক্তির উপর ফোকাস সহ।"

সুতরাং, ডিসেম্বরে, IARPA বিশ্লেষকদের গোয়েন্দা প্রতিবেদন লিখতে সাহায্য করার জন্য জেনারেটিভ AI ব্যবহার করতে চেয়েছিল, এবং এখন আগস্টে, মার্কিন গুপ্তচর সংস্থার গবেষণা তহবিল সংস্থাটি বড় ভাষার মডেলগুলি কী ঝুঁকি তৈরি করতে পারে তা দেখতে চাইছে।