Je li to LLM zapravo "Open Source"? Moramo razgovarati o otvorenom pranju u upravljanju umjetnom inteligencijom

Slika koja pokazuje kako se kvantitativne prosudbe otvorenosti mogu pretvoriti u mjeru koja se može primijeniti dodjeljivanjem pondera određenim karakteristikama kako bi se stvorio gradijent evaluacije.

Šta ćete naučiti

U ovom blogu uranjamo duboko u složenost otvorenosti umjetne inteligencije, fokusirajući se na to kako se principi otvorenog koda primjenjuju – ili ne primjenjuju – na velike jezičke modele (LLM) kao što su BloomZ i Llama 2. Do kraja ovog članka ćete saznati razumjeti historijski kontekst licenciranja otvorenog koda, trenutne izazove u definiranju "otvorenosti" u AI i fenomen "otvorenog pranja", koji podjednako obmanjuje potrošače i programere. Takođe uvodimo sveobuhvatan okvir za evaluaciju koji integriše definiciju veštačke inteligencije otvorenog koda (OSAID) sa komplementarnim uvidima iz drugih okvira kako bi vam pomogao da donesete bolje informisane odluke o AI modelima. Konačno, zaključićemo sa najboljim praksama koje se mogu primeniti kako bismo razvili složenu procenu za kvantitativno merenje transparentnosti za bilo koji veliki jezički model „otvorenog koda“.

Također je korisno istražiti alternative koje dopunjuju široko prihvaćene definicije. Kao što ćemo diskutovati, neke perspektive – uključujući nedavne analize – sugeriraju da okviri kao što je Open Source AI Definition (OSAID) imaju koristi od dodatnih dimenzija, posebno u načinu na koji se bave pitanjima poput transparentnosti podataka. Model okvira otvorenosti i njegovi korijeni u principima otvorene nauke nude komplementarnu perspektivu koja može poslužiti kao dodatni vodič za procjenu otvorenosti AI. Još uvijek smo u najranijim danima usklađenosti sa propisima u ovom prostoru.

Zašto je ovo važno

Svijet AI je složen i brzo se razvija, često gurajući principe otvorenog koda do njihovih granica. Razumijevanje ovih nijansi je od vitalnog značaja za programere, istraživače i potrošače koji žele osigurati da AI sistemi nisu samo inovativni, već i transparentni, etički i odgovorni. Sa porastom „otvorenog pranja“ – gdje se AI modeli lažno reklamiraju kao otvoreni kod – važnije je nego ikad imati robustan okvir za procjenu ovih tvrdnji. Ako ste opremljeni ovim znanjem, možete donositi informirane odluke koje su u skladu sa istinskim vrijednostima otvorenosti i transparentnosti u razvoju AI.

Istorijski kontekst licenciranja otvorenog koda

Da bismo razumjeli kuda idemo, bitno je znati gdje smo bili. Pokret otvorenog koda nastao je iz pobune protiv rastuće dominacije vlasničkog softvera 1980-ih kada je Fondacija za slobodni softver (FSF) uvela GNU Opću javnu licencu (GPL). Ova licenca je promijenila igru, garantirajući korisnicima slobodu korištenja, modifikacije i dijeljenja softvera – u suštini vraćajući moć u ruke programera i korisnika.

Ubrzo naprijed u kasne 1990-te, i Inicijativa otvorenog koda (OSI) je osnovana da promovira i zaštiti softver otvorenog koda certificiranjem licenci koje su u skladu sa definicijom otvorenog koda (OSD). OSD je postavio zakon za ono što se može, a što ne može nazvati "otvorenim izvorom", osiguravajući da taj izraz ne bude razvodnjen ili zloupotrebljen.

Primjer velikih jezičkih modela (LLM) i ograničenja "otvorenosti"

Uđite u svijet umjetne inteligencije, gdje granice između otvorenih i zatvorenih sistema postaju još nejasnije. Veliki jezički modeli (LLM), kao što je GPT-3 ili njegovi nasljednici, služe kao vrhunski primjeri kako "otvoreni izvor" može biti varljiv termin u AI pejzažu. LLM su sofisticirani AI sistemi obučeni na masivnim skupovima podataka za generiranje teksta poput čovjeka. Ovi modeli su izazvali značajno interesovanje i ulaganja zbog svoje sposobnosti da obavljaju širok spektar zadataka, od prevođenja do kreativnog pisanja. Međutim, uprkos impresivnim mogućnostima ovih modela, koncept "otvorenosti" često je pogrešan kada se pažljivo ispita.

U istraživačkom radu “Rethinking Open Source Generative AI: Open-Washing i EU AI Act, ” u svojoj analizi, istraživači dr. Liesenfeld i njegov tim upoređuju BloomZ i Llama 2, dva istaknuta LLM-a, kao primjere različitog stepena otvorenosti u AI. Ovo poređenje nudi praktičnu demonstraciju kako primijeniti matricu otvorenosti na generativne AI modele:

BloomZ: Studija slučaja u istinskoj otvorenosti

BloomZ predstavlja model koji istinski prihvata principe otvorenog koda, postavljajući visoke standarde za transparentnost i pristupačnost u AI.

• Dostupnost : BloomZ čini izvorni kod za obuku, fino podešavanje i pokretanje modela dostupnim, što predstavlja visok stepen otvorenosti. LLM podaci koji se koriste za obuku BloomZ-a su opsežno dokumentovani, što ga čini transparentnim u pogledu njegovih izvora podataka i procesa. I težine osnovnog modela i verzija prilagođena instrukcijama su otvoreno dostupni, što omogućava replikaciju i ispitivanje od strane šire zajednice.
• Dokumentacija : BloomZ projekat je dobro dokumentovan, sa detaljnim opisima dostupnim u više naučnih radova i aktivnim GitHub repozitorijumom . Procesi prikupljanja podataka i finog podešavanja su sveobuhvatno pokriveni, pružajući uvid u arhitekturu modela, podatke o obuci i odgovornu upotrebu. Recenzirani radovi dodatno podržavaju njegovu transparentnost, uključujući procjenu ugljičnog otiska, koji se rijetko dokumentuje u projektima AI.
• Pristup i licenciranje : BloomZ se distribuira preko Petals API-ja, a njegov izvorni kod je objavljen pod licencom Apache 2.0 , licencom koju je odobrila OSI. Težine modela su pokrivene licencom Responsible AI License (RAIL), koja nameće ograničenja za sprečavanje štetne upotrebe, dodajući sloj etičke odgovornosti.

Lama 2 : Zamke otvorenog pranja

U potpunoj suprotnosti, Llama 2 predstavlja primjer koncepta "otvorenog pranja", gdje se oznaka otvorenog koda primjenjuje bez potpunog ispunjavanja principa otvorenosti.

• Dostupnost : Za razliku od toga, Llama 2 ne čini dostupnim svoj izvorni kod. Samo skripte za pokretanje modela se dijele, a LLM podaci su nejasno opisani, s ograničenim detaljima navedenim u korporativnom preprintu. Pristup težinama osnovnog modela je ograničen, zahtijeva obrazac pristanka, a podaci koji se koriste za podešavanje instrukcija ostaju neotkriveni, dodatno ograničavajući transparentnost.

• Dokumentacija : Dokumentacija za Llamu 2 je minimalna, sa samim izvornim kodom koji nije otvoren. Arhitektura je opisana manje detalja, razbacana po korporativnim web stranicama i jednom preprintu . Za razliku od BloomZ-a, Llama nedostaje sveobuhvatna dokumentacija svojih skupova podataka za obuku, podešavanja instrukcija i procesa finog podešavanja.

• Pristup i licenciranje : Llama 2 je dostupna iza obrasca za prijavu koji prkosi privatnosti, a njegovo licenciranje se obavlja pod vlastitom licencom zajednice Meta. Ova licenca je manje stroga od BloomZ-ove RAIL, sa nižom trakom za način na koji je generisani sadržaj predstavljen, ostavljajući prostora za potencijalno obmanjujuće aplikacije.

  
  

Poređenje između BloomZ-a i Llame 2 naglašava velike razlike u njihovom pristupu otvorenosti. BloomZ je odličan primjer modela koji istinski prihvaća principe otvorenog koda, s transparentnošću u svom kodu, podacima i dokumentaciji. Nasuprot tome, Llama 2 predstavlja primjer "otvorenog pranja", gdje je model označen kao open source, ali ne uspijeva u većini aspekata istinske otvorenosti, pri čemu su samo težine modela dostupne pod restriktivnim uvjetima. Ovo poređenje naglašava potrebu za nijansiranijim razumijevanjem otvorenosti u AI i važnost evaluacije modela na osnovu sveobuhvatnog skupa kriterija umjesto oslanjanja na površne tvrdnje o otvorenosti.

Izazov otvorenog pranja

"Open-washing" je praksa stavljanja etikete otvorenog koda na nešto što nije zaista otvoreno. U svijetu umjetne inteligencije, pranje na otvorenom je veoma rasprostranjeno, s kompanijama koje nude dijelove svojih AI sistema dok najvažnije komponente drže pod ključem.

Istraživački rad se bavi prljavim detaljima otvorenog pranja u AI, naglašavajući neke od ključnih izazova:

Kompozitna otvorenost: Otvorenost u AI nije koncept koji odgovara svima. To je slagalica sa mnogo delova, a svaki deo doprinosi ukupnoj transparentnosti sistema. Međutim, kompanije prečesto objavljuju samo neke od delova, što dovodi do obmanjujućeg osećaja otvorenosti. Istraživanje uvodi koncept gradijentne otvorenosti, naglašavajući da otvorenost u AI treba posmatrati kao spektar, a ne kao binarno stanje. Različite komponente AI sistema—izvorni kod, podaci, modeli—mogu biti otvorene u različitom stepenu i ključno je procijeniti svaku komponentu pojedinačno. Razumijevanjem ovog gradijenta, možemo bolje procijeniti pravu otvorenost AI sistema i izbjeći da nas zavara djelomična transparentnost.

Selektivna otvorenost: Neki AI modeli su objavljeni sa dovoljno otvorenosti da se prođu - obično težine modela - ali kritične komponente, poput podataka i procesa obuke, ostaju vlasništvo. Ova selektivna otvorenost je polovičan pokušaj transparentnosti koji donosi više štete nego koristi. Pružajući samo djelomičan pristup, kompanije mogu zahtijevati otvorenost, a da zapravo ne pružaju potpunu transparentnost potrebnu za smislenu saradnju i razumijevanje.

Regulatorne rupe: Zakon o veštačkoj inteligenciji EU, dobronamerni regulatorni okvir, može nenamerno potaknuti otvoreno pranje dozvoljavajući modelima veštačke inteligencije koji su objavljeni pod otvorenim licencama da zaobiđu zahteve za detaljnu dokumentaciju. Ova rupa u zakonu mogla bi dovesti do poplave AI sistema koji su "otvoreni" samo po imenu, sa malo ili nimalo stvarne transparentnosti. Iako je namjera ovakvih propisa promovirati otvorenost, bez pažljive implementacije i nadzora, oni se mogu iskoristiti za stvaranje iluzije otvorenosti bez suštine.

Julia Ferraioli se također dotiče pitanja otvorenog pranja u svom postu na blogu , napominjući: "Suština problema je u tome što se pojmovi poput 'otvorenog koda' protežu i redefiniraju kako bi se uklopili u programe velikih kompanija koje su više zainteresirane za marketing nego u istinskoj transparentnosti i saradnji." Ovaj uvid pojačava potrebu za čvrstim okvirom evaluacije kako bi se procijenile ove obmanjujuće tvrdnje.

Istraživački uvidi: stvarnost AI otvorenog koda

Okvir za model otvorenosti uveden u nedavnim raspravama dopunjuje neke od ovih uvida nudeći pristup transparentnosti koji je usklađen sa otvorenom naukom. Dok definicija veštačke inteligencije otvorenog koda (OSAID) pruža solidnu osnovu, mnogi na terenu – uključujući neke istraživače – veruju da možda neće ići dovoljno daleko, posebno kada je u pitanju transparentnost podataka. Model otvorenosti okvira, za usporedbu, postavlja strože mjerilo, naglašavajući ne samo otvorenost koda već i dostupnost skupova podataka, metodologija i procesa obuke u skladu s vrijednostima otvorene nauke.

Proširivanje sa Gradijentnom Otvorenošću

Nadovezujući se na OSAID, koncept otvorenosti gradijenta dodaje nijansu procesu evaluacije. Procjenom svake komponente AI sistema – izvornog koda, podataka, modela – pojedinačno, možemo bolje razumjeti pravi nivo transparentnosti i otvorenosti.

Ovaj spomenuti rad nudi ključne uvide iz istraživanja:

• Izazovi prilagođavanja licenciranja: Tradicionalne licence otvorenog koda su dizajnirane za softver, a ne za složenu, višestruku prirodu AI. U radu se tvrdi da su nove strategije licenciranja potrebne za rješavanje jedinstvenih izazova koje postavlja AI. Ove licence bi trebale osigurati da ne samo izvorni kod već i podaci, modeli i parametri budu pokriveni principima otvorenog koda. Ovaj holistički pristup licenciranju je ključan za održavanje integriteta pokreta otvorenog koda u eri umjetne inteligencije.

  
  

• Etička razmatranja: Osim tehničke otvorenosti, rad također naglašava važnost etičkih razmatranja u razvoju i primjeni AI. Ističe da osiguranje pravičnosti, odgovornosti i transparentnosti u sistemima umjetne inteligencije nije samo tehnički izazov već i moralni imperativ. Etička dimenzija razvoja umjetne inteligencije mora biti integrirana u svaku raspravu o otvorenosti, jer transparentnost bez odgovornosti može dovesti do značajne štete.

  
  

• Praktični pristup: Istraživači navode nekoliko razumnih načina za uspostavljanje kategoričke pouzdanosti čak i pod složenom licencom. Integracijom definicije AI otvorenog koda (OSAID) sa ovim dubljim uvidima, možemo izgraditi robusniji okvir za procjenu AI sistema. Ovaj pristup omogućava nijansiraniju i sveobuhvatniju evaluaciju AI modela, osiguravajući da oni ispunjavaju i tehničke i etičke standarde otvorenosti.

Problem verzioniranja LLM-a: previđeni aspekt otvorenosti

Jedan od nijansiranih izazova u otvorenosti AI je pitanje LLM verzija. Za razliku od tradicionalnih softverskih paketa, gdje su ažuriranja verzija obično dobro dokumentirana i transparentna, LLM-ovi mogu biti podvrgnuti ažuriranjima koja su neprozirna, ostavljajući korisnike u mraku o tome šta se promijenilo. Ovaj nedostatak transparentnosti je sličan instaliranju ažuriranja operativnog sistema bez saznanja šta je izmenjeno—osim, u slučaju LLM-a, ulozi su verovatno čak i veći.

Poređenje OS: Zamislite da instalirate operativni sistem na svoj računar i redovno dobijate ažuriranja. Obično biste očekivali da vidite dnevnik promjena, u kojem se detaljno opisuje šta je popravljeno, poboljšano ili dodano. Ova transparentnost je ključna da korisnici razumiju stanje svog sistema. Sada razmislite o LLM-u koji se stalno ažurira bez takve transparentnosti. Korisnici se mogu naći u radu s modelom koji se promijenio na suptilne ili značajne načine bez jasnog razumijevanja tih promjena. Ovaj nedostatak transparentnosti može dovesti do problema u rasponu od degradiranih performansi do etičkih briga, jer se model može ponašati na neočekivane načine. Poređenje naglašava rizike povezane s korištenjem AI modela koji nisu transparentni u pogledu njihovih ažuriranja, naglašavajući potrebu za jasnim i pristupačnim informacijama o verzijama.

Rizici neprozirnih ažuriranja: Bez transparentnosti, korisnici ne mogu u potpunosti vjerovati AI sistemima koje koriste. Baš kao što ne biste instalirali ažuriranje OS-a a da ne znate šta je promijenjeno, oslanjanje na LLM koji se podvrgava neprozirnim ažuriranjima je rizično. Ovo je posebno zabrinjavajuće u okruženjima s visokim ulozima u kojima se AI koristi za procese donošenja odluka koje utiču na stvarne živote. Ako ažuriranje LLM uvede nove predrasude ili ukloni važne funkcije, posljedice bi mogle biti ozbiljne. Nedostatak transparentnosti ne samo da podriva povjerenje korisnika, već i podiže značajne etičke i operativne rizike.

Uspostavljanje sveobuhvatnog okvira za evaluaciju: Integracija OSIAID-a

Da bismo pomogli da se lakše snađemo u ovim izazovima, uvodimo sveobuhvatan okvir za evaluaciju koji kombinuje prednosti definicije veštačke inteligencije otvorenog koda (OSIAID) sa dubljim uvidima iz nedavnih istraživanja. Ovaj okvir ima za cilj da pruži robusniji metod za procenu otvorenosti AI sistema.

OSIAID kao osnova: Definicija veštačke inteligencije otvorenog koda pruža solidnu osnovu za razumevanje šta čini AI sistem otvorenog koda. On postavlja jasne kriterije za transparentnost, pristupačnost i etičku upotrebu, osiguravajući da AI modeli ispunjavaju minimalni standard otvorenosti. Pridržavajući se OSIAID-a, programeri i korisnici mogu imati povjerenja da AI model ispunjava osnovne standarde otvorenosti i transparentnosti.

Proširivanje gradijentnom otvorenošću: Nadovezujući se na OSIAID, koncept otvorenosti gradijenta dodaje nijansu procesu evaluacije. Procjenom svake komponente AI sistema – izvornog koda, podataka, modela – pojedinačno, možemo bolje razumjeti pravi nivo transparentnosti i otvorenosti. To mogu biti pokazatelji sklonosti i okvira vaše organizacije prema riziku ili standardizirani između organizacija. Ovaj pristup omogućava detaljniju i tačniju procjenu AI modela, identifikujući oblasti u kojima je otvorenost jaka i gdje je možda potrebno poboljšati.

Rješavanje etičkih i pravnih implikacija: Okvir također uključuje etička i pravna razmatranja, osiguravajući da AI sistemi nisu samo tehnički otvoreni već i usklađeni sa širim društvenim vrijednostima i pravnim zahtjevima. Integracijom ovih razmatranja, okvir osigurava da otvorenost nije samo tehnička transparentnost, već i ispunjavanje etičkih i pravnih standarda koji su ključni u razvoju AI.

Naglasak Julije Feraioli na potrebi za jasnim definicijama i posvećenosti principima otvorenog koda rezonira sa ovim pristupom. Ona piše: "Zajednica otvorenog koda mora se čvrsto držati svojih vrijednosti, osiguravajući da se svaka odstupanja suoče s kritičkom kontrolom i zahtjevom za transparentnošću." Ove prakse su dizajnirane da zadovolje tu potrebu, pružajući robustan i sveobuhvatan okvir za evaluaciju AI sistema.

Imajte na umu regulatorni horizont

Kako pejzaž regulacije umjetne inteligencije nastavlja da se razvija, ključno je ostati informirani i uključeni u regulatorni razvoj. Zakon EU o AI i slični okviri će igrati značajnu ulogu u oblikovanju budućnosti otvorenosti i transparentnosti AI. Razumevanjem i učešćem u ovim diskusijama, možete pomoći da se osigura da regulatorni okviri efikasno promovišu transparentnost i odgovornost u AI.

• Procijenite otvorenost u više dimenzija: Koristite okvir za procjenu AI sistema na različitim dimenzijama otvorenosti, uključujući izvorni kod, podatke, težine modela i dokumentaciju. Sveobuhvatna evaluacija osigurava da vas ne obmanu površne tvrdnje o otvorenosti i da možete donositi informirane odluke o AI modelima koje koristite.
• Čuvajte se otvorenog pranja: Budite oprezni sa AI modelima koji tvrde da su otvorenog koda, ali nude samo djelomičnu transparentnost. Potražite znakove selektivne otvorenosti, gdje su dostupne samo određene komponente. Razumijevanje ovih taktika može vam pomoći da ne budete prevareni od strane modela koji se istinski ne pridržavaju principa otvorenog koda.
• Zahtijevajte sveobuhvatnu dokumentaciju: Insistirajte na detaljnoj dokumentaciji za AI sisteme, uključujući informacije o podacima o obuci, procesima finog podešavanja i etičkim razmatranjima. Ova transparentnost je ključna za razumijevanje mogućnosti i ograničenja modela. Sveobuhvatna dokumentacija omogućava bolju procjenu i korištenje AI modela, osiguravajući da ste potpuno informirani o alatima koje koristite.
• Podrška licenciranju specifičnim za AI: Zagovarajte razvoj i usvajanje licenci specifičnih za AI koje pokrivaju ne samo kod već i podatke, modele i parametre. To će spriječiti kompanije da se kriju iza djelomične otvorenosti. Licence specifične za AI mogu se pozabaviti jedinstvenim izazovima razvoja AI, osiguravajući da svi aspekti modela budu otvoreni i transparentni.
• Angažirajte se sa regulatornim okvirima: Budite informisani o regulatornom razvoju, kao što je Zakon o veštačkoj inteligenciji EU, i aktivno sudjelujte u raspravama kako biste osigurali da ovi okviri efikasno promovišu transparentnost i odgovornost u AI. Angažovanje sa regulatornim okvirima osigurava da se vaš glas čuje u razvoju politika koje će oblikovati budućnost AI.

Zaključak: Osigurati otvorenost AI u složenom svijetu

Svijet umjetne inteligencije je složen, neuredan i pun izazova za koje pokret otvorenog koda nije prvobitno bio dizajniran. Ali to ne znači da trebamo odustati od ideala transparentnosti, saradnje i otvorenosti. Umjesto toga, moramo se prilagoditi, evoluirati i osigurati da AI otvorenog koda i dalje predstavlja četiri slobode potrebne da se uklope u definiciju.

Dok se krećemo ovim novim svijetom, suradnja između zajednice otvorenog koda, regulatornih tijela i AI programera bit će ključna. Baveći se izazovima otvorenog pranja, promišljanjem našeg pristupa licenciranju i prihvaćanjem robusnih regulatornih okvira, možemo izgraditi AI ekosistem koji nije samo inovativan već i etički i odgovoran.

AI je tu da ostane, a na nama je da se pobrinemo da služi opštem dobru. Na kraju, ostaviću vam ovu važnu misao direktno od istraživača ovog važnog rada:

„Možda nije slučajno što javno finansirani istraživači prednjače u prozivanju otvorenog pranja: ne obavezujući se na korporativne interese i bez poticaja za hype AI, možemo napraviti korak unazad i otkriti šta velika tehnologija radi – i osmisliti konstruktivne načine da ih pozovemo na odgovornost.” Dr. Liesenfeld.

Ovaj istraživački tim aktivno je uključen u nekoliko inicijativa vezanih za EU zakon o umjetnoj inteligenciji, posebno se fokusirajući na ono što će u praksi podrazumijevati "dovoljno detaljan sažetak" u AI dokumentaciji. Ovaj rad se odvija u saradnji sa Mozilla fondacijom i fondacijom Open Future . Tim također nastavlja svoj akademski rad na procjeni tehnologije i planira da objavi novu web stranicu kasnije ove godine koja će služiti kao javni resurs za procjenu otvorenosti, čineći ove alate dostupnijim široj javnosti. Ova inicijativa ima za cilj da obezbedi jasnije standarde i okvire kako bi kompanije bile odgovorne za transparentnost u AI.

Definicija AI otvorenog koda (OSAID) je još uvijek otvorena za javnu recenziju i povratne informacije. Ako želite da učestvujete u oblikovanju budućnosti AI otvorenog koda, možete da pošaljete komentare na trenutni nacrt ovde . Konačna verzija definicije će biti objavljena na konferenciji All Things Open (ATO) , koja će se održati 2024. Pratite nas za još ažuriranja dok zajednica nastavlja da usavršava ovaj kritični okvir za otvoreni razvoj AI.

Na kraju krajeva, ako želite da preuzmete izračunati rizik koristeći ove LLM, onda morate da izmerite taj rizik. Nadam se da vam ovo daje nekoliko načina da to učinite i apsolutno želim da mi se obratite ako imate bilo kakve kvantitativne metrike ili poboljšanja gore ponuđenih rješenja ili općenito bilo kakva pitanja o ovoj temi koja ovdje nisam mogao pokriti .