Ou pa posede done ou, men AI fè - epi sa a se pwoblèm la

Pou kèk moun reyèlman konprann chanjman an revolisyonèl ki pwòp tèt yo lè li rive nan AI. Li se pa sèlman ke zouti nou yo ak lojisyèl yo te vin pi entelijan - li se ke nou te kòmanse devlope lojisyèl nan yon fason konplètman nouvo.

Sa a se entelijan, sepandan, paske pa gen okenn chanjman dramatik nan nenpòt ki lojisyèl oswa lojisyèl. Pwogram nou yo toujou kouri sou CPU dijital ak GPU, epi yo toujou ekri nan lang pwogramasyon tradisyonèl tankou Python. Se konsa, kote eksakteman se chanjman an revolisyonèl?

It’s worth taking a look at the source code of large language models like GPT-2, Grok, or Meta’s LLaMA. Even to a layperson, one striking thing is how short and relatively simple this code is — which is surprising, considering the vast knowledge and problem-solving intelligence these models possess. This is when we begin to truly grasp why this is a real revolution, and why we can say that the way we develop software has fundamentally changed.

Pou yon sistèm enstitisyon atifisyèl, kòd la kouri se jis yon pati marginal nan sistèm la - konesans la reyèl ak entelijan vini soti nan dataset la itilize pou fòmasyon. Data se nouvo kòd la sous!

Nan yon sistèm enstitisyon atifisyèl, kòd la kouri se jis yon pati marginal nan sistèm la - konesans ak entelijan reyèl vini soti nan dataset la itilize pou fòmasyon. Data se nouvo kòd sous!

Sa a se eksactman poukisa fòma sa a nouvo nan lojisyèl te rele Software 2.0 pa Andrej Karpathy - epi mwen panse ke li se yon non trè apwopriye.

Open pwa ≠ sous louvri

Gen plizyè modèl sous louvri ki disponib gratis ke nenpòt moun ka telechaje, kouri, oswa menm modifye. Egzanp yo gen ladan LLaMA, Grok, ak dènyèman anpil diskite modèl la Chinwa DeepSeek.

Modèl sa yo tipikman konsiste de kèk dosye Python ak plizyè matris gwo pwa (ki chak gen plizyè gigabytes nan gwosè). Malgre ke li se vre ke modèl sa yo ka devlope plis - fini-tune, kwantizasyon, destilye, ak sou sa - yo toujou pa ka reyèlman konsidere kòm sous louvri nan sens la klasik. Sa a se paske nou pa gen aksè nan dataset yo itilize yo fòmasyon yo.

Li se pi egzak yo rele modèl sa yo nan pwa louvri olye pou modèl sous louvri, paske eleman an reyèlman valè - done fòmasyon - rete nan men yo nan konpayi piblisite (Meta, xAI, elatriye).

True open-source AI se bati sou done louvri.

True open-source AI se bati sou done louvri.

Ki moun ki posede done yo?

Modèl lang gwo yo tipikman bati pa premye kreye yon modèl fondasyon, ki se Lè sa a fin-tune pou yon objektif espesifik (pou egzanp, chat, tankou ak ChatGPT). Modèl fondasyon sa a se fòme sou done ki te pwodwi pa moun ak fè piblikman disponib - atravè sit entènèt, liv, videyo YouTube, ak medya sosyal. Pandan ke sa a rich nan done se rezilta nan travay kolektiv nou an, li ta logik yo trete sa yo dataset kòm resous domèn piblik, gratis aksè a tout moun.

Pou rezon sa a, anpil sèvis eksplisitman deside entèdi devlopè modèl AI nan sèvi ak kontni yo.

Personèlman, mwen pa konplètman dakò ak apwòch sa a, paske mwen panse li entèdi pwogrè. Mwen ta prefere yon modèl fair-use ki pèmèt done piblikman disponib yo dwe itilize pou fòmasyon AI - sou kondisyon ke dataset la ak modèl ki rezilta yo dwe fè gratis aksè nan repons.

Kòm pa gen okenn anviwònman legal tankou sa a kounye a egziste, ak pa gen okenn anviwònman pou konpayi AI pou devlope modèl reyèlman sous louvri, responsablite sa a rive nan kominote a.

Descentralized magazen - kay la ideyal pou seri done louvri

Men, ki jan yon dataset louvri te bati pa yon kominote mondyal reyèlman sanble? Sa a se lwen soti nan yon kesyon trivial, paske gen diferans ideolojik ak kiltirèl enpòtan ant moun nan diferan rejyon nan mond lan. Pou rezon sa a, li se pa posib yo kreye yon dataset sèl soti nan konesans mondyal piblik ki tout moun ap dakò sou. Anplis de sa, li esansyèl ke yon dataset sa a pa se pwopriyete pa nenpòt moun, ke aksè a pa ka restriksyon, ke done yo pa ka modifye retroactively, ak ke pa gen okenn moun gen pouvwa pou censure li.

Dapre kritè sa yo, chwa a pi bon se yon imodifye sistèm depo desantralize, tankou IPFS oswa Ethereum Swarm. Solisyon sa yo sèvi ak adrèsman kontni (ki adrès la nan done a se yon hash ki te kreye soti nan kontni li yo), fè modifikasyon kontni pa otorize pratikman pa posib. Depo a se distribye nan plizyè nodes, asire aksè an sekirite ak rezistans cenzè kote disponiblite nan done yo pa ka limite.

Sistèm sa yo gen yon lòt karakteristik trè itil: yo sove kontni nan blòk. Pandan ke adrès la nan yon pati nan kontni se derive soti nan hash li yo, si blòk la menm ap parèt nan plizyè dosye, li sèlman bezwen sove yon fwa. Nan fason sa a, tou de IPFS ak Swarm fonksyon menm jan ak yon Git depo, kote vèsyonasyon se otomatik, ak forking se bon mache. Sa a se ideyal nan ka kote nou vle sove plizyè seri done ki diferan sèlman yon ti kras (pou egzanp, pa mwens pase 1%). Si yon moun diskite ak kontni a nan yon dataset, yo ka kreye yon vèsyon nouvo san yo pa bezwen fè yon kopi plen - sèlman chanjman yo sove. Paske menm janRepozidan nan Git

Ki jan blockchain ka sipòte kreyasyon an nan seri done louvri

Blockchain ak depo desantralize ranplase youn ak lòt byen. Nan yon pwen, depo desantralize pèmèt yo magazen kantite gwo kantite done ak yon nivo sekirite konparab ak depo blockchain. Nan lòt men, blockchain ka bay sistèm entimite ak kouch gouvènman pou depo desantralize. Yon bon egzanp se Ethereum Swarm, ki pa ta ka travay san yon blockchain, depi sistèm entimite li yo - esansyèl pou operasyon optimum nan rezo a - se aplike nan kontra entelijan kouri sou blockchain la.

Pou yon seri done louvri, DAO ki baze sou blockchain ta ka deside sa ki dwe enkli nan yon seri done. Sistèm la ta ka travay menm jan ak Wikipedya, kote administratè yo asire ke enfòmasyon false pa fè li nan encyclopedia a. Natirèlman, li se souvan pa klè-kredi ki sa ki konsidere kòm enfòmasyon false. Wikipedya pa gen okenn reyèl solisyon pou pwoblèm sa a - men nan yon sistèm desantralize, blockchain ki baze sou, fork vini nan jwèt la.

Si yon moun pa dakò ak kontni a nan yon dataset, yo ka kreye fork pwòp yo ak lanse yon nouvo DAO pou jere vèsyon an altènatif.

Descentralized fòmasyon

Si done se nouvo kòd la sous, Lè sa a, nan ka a nan lojisyèl 2.0 (artificial intelligence), fòmasyon se ekivalan a kompile pwogram la. Nan devlopman lojisyèl tradisyonèl, kompilasyon sa a se fè lokalman pa devlopè yo sou machin pwòp yo. Nan sistèm AI, sepandan, fòmasyon se yon travay trè enèji- ak òdinatè-intensive. Antrenman yon modèl lang gwo ka koute milyon dola ak mande pou gwo gwoup òdinatè - yon repitasyon gwo pou modèl kominote.

Yon opsyon yo se pou kominote yo ka ranmase lajan ak lou pouvwa òdinatè soti nan yon founisè nwaj pou fòmasyon santralize. Yon lòt opsyon se fòmasyon desantralize, kote manm donasyon kapasite òdinatè oswa pou gratis (kòm yon bene piblik) oswa nan echanj pou kompenzasyon.

However, decentralized training is far from a trivial task. One challenge is that large models cannot be trained on a single node — multi-node training is required, which demands high-volume communication between nodes. This communication must be optimized for training to be efficient. Fortunately, several startups are working on this issue. One notable example is Exo Labs, which has developed a protocol called DiLoCo, designed to enable training over an internet-connected network of nodes.

Anplis defi - ki komen pou tout sistèm desantralize louvri (blockchains, depo desantralize, elatriye) - se pwoblèm la nan konflik. Pandan ke nenpòt moun ka gratis kontribye aparèy yo pwòp yo nan sistèm la, pa gen okenn garanti ke yo pral travay onètman. Yon atis malid, pou egzanp, ta ka sèvi ak done ki pa otorize nan plas done yo ki apwouve pa DAO, ak sa a "kontamine" modèl la.

Nan sistèm sa yo, konfyans se ranplase pa garanti òdinatè. Pi plis sekirite nou vle nan yon rezo ki pa konfyans nan node, plis pouvwa òdinatè se mande. Yon bon egzanp nan sa a se blockchain, kote chak node ki pibliye yon nouvo blòk tou valide tout òdinatè nan lanmè ki mennen nan li.

Sa a apwòch, sepandan, pa travay pou fòmasyon AI, se konsa nou dwe eksplore lòt solisyon. Isit la se twa apwòch potansyèl:

Validasyon ki baze sou konsans

Yon apwòch se yo gen chak kominikasyon te fè pa plizyè (pou egzanp, twa) node selekte alegan. Si rezilta yo pa korespondan, node a malon pèdi depo a entèdi. Avantaj nan metòd sa a se ke li bay relatif segondè sekirite. dezavantaj la se ke li triple pouvwa a kominikasyon mande.

Zero-konnen dokiman

Sa a teknik se itilize nan sistèm tankou zkRollups, kote yon zkSNARK pwouve ke tranzaksyon valab te kouri sou yon chaj Layer 2. Disavantaj la se ke jenerasyon nan pwouve a se konpetitifman chè, espesyalman kòm kantite multiplikasyon nan kominikasyon an ogmante. Sa vle di ke ak teknoloji ZkRollups kounye a, fòmasyon modèl AI nan fason sa a ta bezwen plis pouvwa kominikasyon. Sepandan, ZKPs yo se yon zòn aktyèlman rechèch, ak nan tan kap vini an, yo ka vin efikas ase pou fòmasyon distribye.

Optimistic Decentralized Machine Learning

Optimistic decentralized machine learning travay menm jan ak optimistic rollups. Calculation se presume yo dwe korektè san yo yon moun soumèt yon fraud-proof yo montre anyen. Nan pratik, nod la fòmasyon anrejistre chak etap nan pwosesis la - ki gen ladan matris lan pwa inisyal, done fòmasyon, ak matris pwa rezilta. Si log la tou anrejistre semen yo alegance, tout kalkil la vin deterministyen ak repwodiktif.

Nod Validator ka Lè sa a, echantiyon random nan segman yo nan log la fòmasyon ak verifye yo. Si nenpòt inkonsistan yo jwenn, node fòmasyon a pèdi pwa li yo. Metòd sa a gen ki pi ba koute òdinatè: li pa mande pou koute-zero-konesans pwojè jenerasyon, ak nan kontrè ak konsensus ki baze sou valizyon, sèlman randomman chwazi pati nan òdinatè a bezwen re-valid. Sa a fè li pi efikas nan twa metòd yo.

Finally, decentralized training requires a “node marketplace” — a platform where available computing resources can be discovered and utilized. An example is Aleph Cloud, which, like other cloud providers, offers computational capacity — but it is a decentralized platform designed to provide scalable storage, computing, and database services through a network of distributed nodes. It uses an ERC20 token to pay for the services, so it can be easily integrated with other blockchain-based solutions. Aleph nodes use trusted execution environments, so validation is less relevant in this case.

Inferans desantralize

Pou modèl gwo-scale, pa sèlman fòmasyon se ki pa trivial akòz demann segondè òdinatè, men kouri modèl la (inferans) se tou reyèlman difisil. Sa a se espesyalman vle di pou modèl rezonans, kote rezilta yo ap vini sèlman apre plizyè pas kontinyèl devan - sa vle di total pouvwa òdinatè ki nesesè pou inferans ka depase anpil ke nan fòmasyon.

Kòm kouri yon rezo neural travay menm jan ak pandan fòmasyon (inferans se faz avanse, pandan y ap fòmasyon enplike anpil faz avanse ak retrograde), optimistic decentralized machine learning ka tou aplike isit la.

Konpayi prensipal la nan kontèks sa a se prive. Teknoloji tankou Homomorphic Encryption ak Multiparty Computation (MPC) ka ede pwoteje done prive. An menm tan an, pèfòmans nan lojisyèl la kontinye ogmante eksponansyèlman, ak nouvo teknik - tankou rezo nwaj 1.5-bit ak modèl distilled Mixture-of-Experts (MoE) tankou DeepSeek - se toujou fè li posib pou kouri rezo sa yo lokalman.

Mwen kwè ke nan long tèm, nou pral kapab kouri modèl sa yo lokalman - oswa omwen, nan anviwònman konfyans ki te rente prive.

Konklizyon

Pou kounye a, li se klè pou pifò moun ke AI ap pote chanjman revolisyonèl. Li pral reforme mond nou an nan fason ke nou pa ka imajine - ak sa a se san yo pa menm rele enpak la nan robo humanoid. Ki sa ki enpòtan se ki kenbe pouvwa a sou AI. Li pral rete santralman nan men kèk gwo korporasyon, oswa li pral vin yon byen piblik pataje ki benefisye tout moun?

Sa a fè yon kesyon nan yon kesyon pou tan kap vini nou an: pral reyèlman desantralize AI emerge?

Konstriksyon yon sistèm sa a mande pou plis pase jis inovasyon teknik - li mande pou seri done louvri, depo desantralize, gouvènman ki baze sou blockchain, ak mekanis enstitisyon ki pèmèt kominote kontribye ak kolaborasyon libète. Li tou bezwen solisyon ki gen rapò pou fòmasyon desantralize ak inferans, asire tou de efikasite ak prive.

Si nou siksè, nou pa pral sèlman demokratize AI - nou pral mete fondasyon an pou yon nouvo kominote dijital, kote entelijan an menm se co-kreye, transparan, ak louvri pou tout moun.