მაკუთი ადამიანი ნამდვილად იცით, რომ ავიცილოკური გადაზიდვა, რომელიც თავიდან ავიცილოთ AI- ის შესახებ, არ არის მხოლოდ ის, რომ ჩვენი ინსტრუმენტები და პროგრამული უზრუნველყოფა უფრო განიცდიან - ეს არის ის, რომ ჩვენ დაიწყოთ პროგრამული უზრუნველყოფის განვითარებას სრულიად ახალი გზა.
ეს ცოდნა, რა თქმა უნდა, იმიტომ, რომ არ იყო ნაბიჯული ცვლილება ჰარტერული ან პროგრამული უზრუნველყოფა. ჩვენი პროგრამები ჯერ კიდევ იყენებენ ციფრული CPUs და GPUs, და ისინი ჯერ კიდევ ჩართულია ტრადიციული პროგრამირების ენებზე, როგორიცაა Python. ასე რომ, რა არის რეკლუზიური ცვლილება?
It’s worth taking a look at the source code of large language models like GPT-2, Grok, or Meta’s LLaMA. Even to a layperson, one striking thing is how short and relatively simple this code is — which is surprising, considering the vast knowledge and problem-solving intelligence these models possess. This is when we begin to truly grasp why this is a real revolution, and why we can say that the way we develop software has fundamentally changed.
GPT-2GrokLLaMA
ბადის ინტელექტურობის სისტემაში, Runtime კოდი მხოლოდ სისტემის მინიმალური ნაწილია - რეალური ცოდნა და ინტელექტურობა მოდის ტრენინგიში გამოყენებული მონაცემთა კომპლექტიდან. Data არის ახალი წყარო კოდი!
ბადის ინტენსიური ინტენსიური სისტემა, Runtime კოდი მხოლოდ marginal ნაწილი სისტემა - რეალური ცოდნა და ინტენსიური მოდის მონაცემთა კომპლექტი, რომელიც გამოიყენება სასწავლო. Data არის ახალი წყარო კოდი!
Data არის ახალი წყარო კოდი!
ეს არის ის მიზეზი, რომ ეს ახალი ფორმა პროგრამული უზრუნველყოფა გამოქვეყნდა Software 2.0 by Andrej Karpathy - და მე ვფიქრობ, რომ ეს ძალიან ხელმისაწვდომი სახელი.
პროგრამული უზრუნველყოფა 2.0მართული ≠ Open Source
მართავს რამდენიმე უფასოდ ხელმისაწვდომი open-source მოდელები, რომლებიც ვინმეს შეუძლია ჩამოტვირთოთ, აწარმოოს ან თარგმნა. მაგალითები მოიცავს LLaMA, Grok, და უახლესი ჩინური მოდელი DeepSeek.
ეს მოდელები ჩვეულებრივ შედგება რამდენიმე Python ფაილი და რამდენიმე დიდი წონა მატრიზები (თუ თითოეული რამდენიმე gigabytes ზომა). მიუხედავად იმისა, რომ ეს არის ფაქტი, რომ ეს მოდელები შეიძლება შემდგომი განვითარება - ფინადონირებული, კუნთების, distilled და ა.შ. - ისინი ჯერ კიდევ არ შეიძლება ნამდვილად ითვლება open-source კლასიკური მნიშვნელობაში. ეს არის, რადგან ჩვენ არ გვაქვს ხელმისაწვდომი მონაცემთა კომპლექტი, რომელიც გამოიყენება მათ სასწავლო.
დაწვრილებით ამ Open-weight მოდულებს და არა Open-Source მოდულებს, რადგან ნამდვილად ღირებულ კომპონენტები - სასწავლო მონაცემები - მგრძნობიარეა Publishing კომპანიებს (Meta, xAI და ა.შ.).
open-weight მოდელები
ნამდვილი open-source AI შექმნილია open data.
რეალური open-source AI შექმნილია Open Data- ზე.
ვინ არის მონაცემთა მფლობელი?
დიდი ენის მოდელები ჩვეულებრივ შექმნილია პირველი შექმნა foundation მოდელი, რომელიც შემდეგ მორგებულია კონკრეტული მიზნით (გალითად, ჩატი, როგორც ChatGPT). ეს foundation მოდელი ტრენინგი მიერ წარმოებული მონაცემები და გაკეთებული საერთოდ ხელმისაწვდომია - მეშვეობით საიტები, წიგნი, YouTube ვიდეოები, და სოციალური მედია. იმიტომ, რომ ამ მონაცემთა ფართობი არის შედეგები ჩვენი საერთო მუშაობის, ეს იქნება გონივრული, რომ ამ მონაცემთა კომპლექტი როგორც საზოგადოებრივი დონე რესურსები, უფასოდ ხელმისაწვდომია ყველას.
ამ მიზეზით, მრავალი მომსახურება სპეციფიკურად აირჩიეს, რომ AI მოდელის განვითარებლები არ იყენებენ მათი შინაარსი.
Personally, I don't fully agree with this approach, as I believe it hinders progress. I would much prefer a fair-use model which allows publicly available data to be used for AI training — at the condition that the resulting dataset and model must be made freely accessible in return.
ფერსონალური გამოყენების მოდელი
დაწვრილებით, რომ ამავე დროს არ არსებობს ასეთი სამართლებრივი რუკა და არ არსებობს ინტენსიურობა AI კომპანიებს შექმნათ ნამდვილად open-source მოდელები, ეს პასუხისმგებლობა მოიცავს საზოგადოებას.
Decentralized Storage - იდეალური სახლი Open Datasets
მაგრამ რა უნდა გამოიყურებოდეს გლობალური საზოგადოების დამზადებული ღია მონაცემთა კომპლექტი? ეს არ არის მინიმალური კითხვა, რადგან მსოფლიოში განსხვავებული რეგიონებში ადამიანების შორის მნიშვნელოვანია ინდივიდუალური და კულტურული განსხვავება. ამ მიზეზით, არ არის შესაძლებელი შექმნათ ერთი მონაცემთა კომპლექტი, რომელიც ხელმისაწვდომია საერთო გლობალური ინფორმაციას, რომელიც ყველას შეესაბამება. გარდა ამისა, მნიშვნელოვანია, რომ ასეთი მონაცემთა კომპლექტი არ არის ვინმე, რომ ხელმისაწვდომობა არ შეიძლება შეზღუდოთ, რომ მონაცემები არ შეიძლება შეუზღუდავი იყოს, და რომ ვინმეს არ აქვს ძალა ეს სენსორებას.
დაწვრილებით ამ კარიერა, საუკეთესო არჩევანი არის შეუზღუდავი decentralized storage სისტემა, როგორიცაა IPFS ან Ethereum Swarm. ეს გადაწყვეტილებები გამოიყენებენ content-addressing (დაწვრილებით, თუ მონაცემების მისამართი არის ჰაქ, რომელიც წარმოადგენს მისი შინაარსი), რაც უძრავი შინაარსი შეცვალოს თითქმის არ არის შესაძლებელი. შენახვა გათავისუფლებულია მრავალი ღონისძიებში, უზრუნველყოფს უსაფრთხო და სენსორაციის წინააღმდეგობის ხელმისაწვდომობას, სადაც მონაცემების ხელმისაწვდომობა არ შეიძლება შეზღუდოთ.
IPFSEthereum Swarm ამჟამად
ეს სისტემები აქვს კიდევ ერთი ძალიან სასარგებლო ფუნქცია: ისინი შეინახავს შინაარსი ბლოკებში. მას შემდეგ, რაც შინაარსი სახის მისამართი იწყება მისი ჰისკზე, თუ იგივე ბლოკს აჩვენებს მრავალი ფაილებში, იგი მხოლოდ ერთხელ უნდა შეინახოს. ამ გზით, ორივე IPFS და Swarm მუშაობს როგორც Git repository, სადაც ვერსიაფიკაცია ავტომატურია და forking იაფი. ეს არის იდეალური შემთხვევაში, როდესაც ჩვენ გსურთ შეინახოთ მრავალი მონაცემთა კომპლექტი, რომელიც განსხვავდება მხოლოდ მცირე (გ.შ. ნაკლები, ვიდრე 1%). თუ ვინმეს არ შეესაბამება მონაცემთა კომპლექტი, მათ შეუძლია შექმნათ ახალი ვერსია, გარეშეGit რეპუტატორი
როგორ blockchain შეუძლია მხარდაჭერა შექმნა Open მონაცემთა კომპლექტი
Blockchain და decentralized storage სრულყოფილება. ერთ-ერთი მხრივ, decentralized storage საშუალებას გაძლევთ შენახვა დიდი რაოდენობით მონაცემები უსაფრთხოების დონეზე შედარებით blockchain storage. სხვა მხრივ, blockchain შეიძლება უზრუნველყოს incentive სისტემა და governance layer decentralized storage. კარგი მაგალითია Ethereum Swarm, რომელიც არ შეიძლება მუშაობა გარეშე blockchain, რადგან მისი incentive სისტემა - მნიშვნელოვანია ქსელის ოპტიმალური ოპერაცია - განლაგება მეშვეობით Smart კონტაქტები მუშაობს blockchain.
საწყისში ღია მონაცემთა კომპლექტი, blockchain-based DAO- ს შეუძლიათ აირჩიოთ, რა მოიცავს მონაცემთა კომპლექტი. სისტემა შეიძლება მუშაობა მსგავსი ვიკიპედია, სადაც ადმინისტრატორები უზრუნველყოფს, რომ ფსიქიკური ინფორმაცია არ შეიცავს ინტიმური მონაცემებს. რა არის ფსიქიკური მონაცემები, ხშირად არ არის ნათელი. ვიკიპედია არ აქვს რეალური გადაწყვეტილებები ამ საკითხზე - მაგრამ დეტალირებული, blockchain-based სისტემაში, forks მოიცავს.
თუ ვინმეს არ შეესაბამება მონაცემთა კომპლექტი, მათ შეუძლიათ შექმნათ საკუთარი fork და დაიწყოს ახალი DAO, რათა მართოთ ალტერნატიული ვერსია.
Decentralized სასწავლო
თუ მონაცემები არის ახალი წყარო კოდი, მაშინ პროგრამული უზრუნველყოფის 2.0 (ანქტური ინტელექტურობის) შემთხვევაში სასწავლო პროგრამის შედგება. ტრადიციული პროგრამული უზრუნველყოფის განვითარება, ამ კომბინირება აწარმოებს ინტელექტუალური კომპიუტერები საკუთარი მანქანებში. AI სისტემებში, თუმცა, სასწავლო ძალიან ენერგიული და კომპიუტერული ინტელექტუალური სამუშაოა. დიდი ენერგიის მოდელის სასწავლო შეიძლება ღირებულდეს მილიონი დოლარი და მოითხოვს დიდი კომპიუტერული კუნძულებს - ძირითადი მოვლენები საზოგადოების მორგებული მოდელები.
ერთ-ერთი ვარიანტი არის, რომ საზოგადოება ფული და rental კომპიუტერული ენერგიის cloud მომწოდებელს ცენტრიზებული სასწავლო. კიდევ ერთი შესაძლებლობა არის დეტალური სასწავლო, სადაც წევრები დაჯავშნა კომპიუტერული მოცულობა ან უფასოდ (მაგული საზოგადოება) ან შეუზღუდავი.
However, decentralized training is far from a trivial task. One challenge is that large models cannot be trained on a single node — multi-node training is required, which demands high-volume communication between nodes. This communication must be optimized for training to be efficient. Fortunately, several startups are working on this issue. One notable example is Exo Labs, which has developed a protocol called DiLoCo, designed to enable training over an internet-connected network of nodes.
Exo LabsDiLoCo
დაწვრილებით, კიდევ ერთი პრობლემა – საერთო ყველა ოპტიმიზირებული სისტემები (blockchains, decentralized storage, და ა.შ.) – არის პრობლემა trust. იმის გამო, რომ ვინმეს შეუძლია თავისუფლად შეუწყოს საკუთარი მოწყობილობები სისტემაში, არ არსებობს გარანტიას, რომ ისინი განიცდიან გონივლად. მძიმე მოვლენები, მაგალითად, შეიძლება გამოიყენოთ არასამთავრობო მონაცემები DAO- ის აღიარებული მონაცემთა კომპლექტი, ამით "მუნთოს" მოდელი.
მაგონება
ამ სისტემებში, trust არის შეცვალოს კომპიუტერული გარანტიები. რა უფრო უსაფრთხოება ჩვენ გსურთ არასასურველი ქსელი ქსელის, უფრო კომპიუტერული ძალა საჭიროა. კარგი მაგალითია ეს არის blockchain, სადაც თითოეული node გამოქვეყნოს ახალი ბლოკი ასევე დააყენებს ყველა კომპიუტერები ქსელში, რომელიც აწარმოებს მას.
მაგონება, თუმცა, არ მუშაობს AI ტრენინგი, ასე რომ ჩვენ უნდა შეამოწმოთ სხვა გადაწყვეტილებები. აქ არის სამი პოტენციური მიმოხილვა:
Consensus-based Validation
კონცეფციაზე დაფუძნებული კონფიდენციალურობაერთი მიმოხილვა არის, რომ თითოეული კომპიუტერის გაკეთება მრავალჯერადი (გალითად, სამი) ნომრები. თუ შედეგები არ შეესაბამება, ცუდი ნომერი დაკარგავს მისი სტატუსი. ამ მეთოდის უპირატესობა არის, რომ ეს უზრუნველყოფს საკმაოდ მაღალი უსაფრთხოება. უპირატესობა არის, რომ ეს მოითხოვს საჭირო კომპიუტერული ძალა.
Zero-Knowledge Proofs
Zk-knowledge proof (ZKP) ტექნოლოგია საშუალებას იძლევა, რომ კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული კომპიუტერული
Optimistic Decentralized Machine Learning
Optimistic decentralized machine learning მუშაობს ისევე, როგორც ოპტიმიზული rollups. კომპიუტერები იმიტომ, რომ ეს არის სწორი, თუ ვინმეს არ გთავაზობთ fraud-proof, რათა აჩვენოს განსხვავებით. პრაქტიკაში, სასწავლო ღილაკს დარეგისტრირებს პროცესის თითოეული ნაბიჯს - მათ შორის დაწყებული წონის მატრიზს, სასწავლო მონაცემებს და შედეგად წონის მატრიზს. თუ დოკუმენტი ასევე დარეგისტრირებს ნარკოტიკული ნარკოტიკები, მთელი კომპიუტერები გახდება deterministic და მოპოვება.
Validator ღონისძიებების შემდეგ შეიძლება ნიმუში ნიმუში segments of the training log და შეამოწმეთ მათ. თუ ნებისმიერი შეზღუდვა იპოვება, სასწავლო ღონისძიება დაკარგავს მისი სტატისტიკა. ეს მეთოდი აქვს ყველაზე დაბალი კომპიუტერული ღირებულება: ეს არ მოითხოვს ღირებულება zero-knowledge გამოცდილება, და განსხვავებით კონცენტრაციის დაფუძნებული შეზღუდვა, მხოლოდ ნიმუში აირჩიული ნაწილები კომპიუტერის უნდა აღწერილი. ეს იძლევა ყველაზე ეფექტური სამი მიმოხილვა.
Finally, decentralized training requires a “node marketplace” — a platform where available computing resources can be discovered and utilized. An example is Aleph Cloud, which, like other cloud providers, offers computational capacity — but it is a decentralized platform designed to provide scalable storage, computing, and database services through a network of distributed nodes. It uses an ERC20 token to pay for the services, so it can be easily integrated with other blockchain-based solutions. Aleph nodes use trusted execution environments, so validation is less relevant in this case.
Aleph CloudDecentralized Inference
მომცველი მოდელები, არა მხოლოდ სასწავლო არ არის ნედლეული, რადგან მაღალი კომპიუტერული მოთხოვნები, მაგრამ მოდელის გაკეთება (inference) არის ასევე რთული. ეს განსაკუთრებით ფაქტობრივი მოდელები, სადაც შედეგები გამოჩნდა მხოლოდ შემდეგ მრავალჯერადი შემდეგი წინასწარ გადაცემები - რაც ნიშნავს, საერთო კომპიუტერული ძალა, რომელიც მოითხოვს შეფასების შეიძლება უფრო მეტია, ვიდრე სასწავლო.
დაწვრილებით, რომ ვირტუალური ქსელის გაშვება მუშაობს იგივე გზა, რაც ტრენინგის დროს მუშაობს (დაწვრილება არის წინასწარ ფაზები, ხოლო ტრენინგი მოიცავს მრავალი წინასწარ და წინასწარ ფაზები), აქ ასევე შეიძლება გამოყენებულ იქნას ოპტიმიზული დეტალირებული მანქანური სასწავლო.
შემატა ამ კონტაქტში არის კონფიდენციალურობა. ტექნოლოგია, როგორიცაა ჰომომომორფული კრეპტიზაცია და მრავალფეროვანი კომპიუტერაცია (MPC), შეუძლია დაეხმაროს პირადი მონაცემების დაცვას. ამავე დროს, ჰომორფული ქსელის შესრულება გაგრძელებს ექსპონენტურად, და ახალი ტექნოლოგია, როგორიცაა 1.5-bit ნეიროური ქსელები და დისტრირებული Mixture-of-Experts (MoE) მოდელები, როგორიცაა DeepSeek, უფრო მეტად საშუალებას იძლევა ამ ქსელები ადგილობრივ.
მე ვფიქრობ, რომ ხანგრძლივში, ჩვენ შეგვიძლია გააკეთოთ ასეთი მოდელები ადგილობრივ - ან მინიმუმ, პირადი გაქირავებული საიმედო გარემოებში.
სასვლელი
დაწვრილებით, ყველაზე ადამიანებისთვის ნათელია, რომ AI- ის გაკეთება რეკლუზიური ცვლილებები იქნება. ეს იქნება ჩვენი მსოფლიოს რედაქტირება გზა, რომ ჩვენ არ შეგვიძლია დაინახოთ - და ეს არ არის, ვიდრე ჰომანოიდული robots- ის ეფექტი. რა მნიშვნელოვანია, ვინც გაქვთ ძალა AI- ზე. ეს გაგრძელდება ზოგიერთი დიდი კორპორაციების ხელში, ან ეს გახდება საერთო საზოგადოებრივი ღირებულება, რომელიც უპირატესობა ყველა ადამიანის?
ეს იძლევა ერთი კითხვა ჩვენი მომავალი ძირითადი: იქნება ნამდვილად decentralized AI გამოწვევა?
მუშავება ასეთი სისტემა მოითხოვს უფრო მეტია, ვიდრე მხოლოდ ტექნიკური ინოვაცია - ეს მოითხოვს ოპერაციული მონაცემთა კომპლექტი, დეტალირებული შენახვის, blockchain-based governance, და საავტომობილო მექანიზმი, რომელიც საშუალებას გაძლევთ საზოგადოებებს შეუწყოს და თანამშრომლობენ თავისუფლად. იგი ასევე მოითხოვს მგრძნობიარე გადაწყვეტილებები დეტალირებული სასწავლო და შემდეგი, უზრუნველყოს ორივე ეფექტურობის და კონფიდენციალურობის.
