Rất ít người thực sự hiểu sự thay đổi cách mạng diễn ra trước mắt họ khi nói đến AI.Không chỉ là các công cụ và phần mềm của chúng tôi đã trở nên thông minh hơn - đó là chúng tôi đã bắt đầu phát triển phần mềm theo một cách hoàn toàn mới.
Điều này là dễ hiểu, tất nhiên, vì không có bất kỳ thay đổi đáng kể nào trong phần cứng hoặc phần mềm. các chương trình của chúng tôi vẫn chạy trên CPU và GPU kỹ thuật số, và chúng vẫn được viết bằng các ngôn ngữ lập trình truyền thống như Python.
Đó là giá trị nhìn vào mã nguồn của các mô hình ngôn ngữ lớn nhưGPT-2,Grokhoặc MetaLời bài hátNgay cả đối với một người bình thường, một điều đáng chú ý là mã này ngắn và tương đối đơn giản như thế nào – điều đáng ngạc nhiên khi xem xét kiến thức rộng lớn và trí thông minh giải quyết vấn đề mà các mô hình này sở hữu.
ThìTrong một hệ thống trí tuệ nhân tạo, mã thời gian chạy chỉ là một phần nhỏ của hệ thống - kiến thức và thông minh thực sự đến từ bộ dữ liệu được sử dụng để đào tạo.
Thì
Trong một hệ thống trí tuệ nhân tạo, mã thời gian chạy chỉ là một phần nhỏ của hệ thống - kiến thức và thông minh thực sự đến từ bộ dữ liệu được sử dụng để đào tạo.
Đó chính xác là lý do tại sao loại phần mềm mới này được gọi làPhần mềm 2.0bởi Andrej Karpathy – và tôi nghĩ đó là một cái tên rất phù hợp.
Open Source = Nguồn mở
Có một số mô hình mã nguồn mở có sẵn miễn phí mà bất cứ ai cũng có thể tải xuống, chạy hoặc thậm chí sửa đổi. ví dụ bao gồm LLaMA, Grok, và mô hình DeepSeek Trung Quốc gần đây được thảo luận nhiều.
Những mô hình này thường bao gồm một vài tập tin Python và một số ma trận trọng lượng khổng lồ (mỗi có kích thước vài gigabyte).Mặc dù đúng là những mô hình này có thể được phát triển hơn nữa - tinh chỉnh, định lượng, chưng cất, v.v. - chúng vẫn không thể thực sự được coi là mã nguồn mở theo nghĩa cổ điển.
Nó là chính xác hơn để gọi nhữngopen-weight modelsthay vì các mô hình mã nguồn mở, vì thành phần thực sự có giá trị - dữ liệu đào tạo - vẫn nằm trong tay các công ty xuất bản (Meta, xAI, v.v.).
ThìAI nguồn mở thực sự được xây dựng trên dữ liệu mở.
Thì
AI nguồn mở thực sự được xây dựng trên dữ liệu mở.
Ai sở hữu dữ liệu?
Các mô hình ngôn ngữ lớn thường được xây dựng bằng cách tạo ra mộtMô hình Foundation, sau đó được điều chỉnh tốt cho một mục đích cụ thể (ví dụ, trò chuyện, như với ChatGPT). Mô hình nền tảng này được đào tạo trên dữ liệu được tạo ra bởi nhân loại và được cung cấp công khai - thông qua các trang web, sách, video YouTube và phương tiện truyền thông xã hội.
Vì lý do này, nhiều dịch vụ đã quyết định cấm các nhà phát triển mô hình AI sử dụng nội dung của họ.
Cá nhân, tôi không hoàn toàn đồng ý với cách tiếp cận này, vì tôi tin rằng nó cản trở sự tiến bộ.fair-use modelcho phép dữ liệu có sẵn công khai được sử dụng cho đào tạo AI - với điều kiện rằng tập hợp dữ liệu và mô hình kết quả phải được cung cấp miễn phí để đổi lấy.
Vì không có khuôn khổ pháp lý như thế này hiện nay và không có động lực cho các công ty AI phát triển các mô hình mã nguồn mở thực sự, trách nhiệm này thuộc về cộng đồng.
Lưu trữ phi tập trung – ngôi nhà lý tưởng cho các bộ dữ liệu mở
Nhưng một tập dữ liệu mở được xây dựng bởi một cộng đồng toàn cầu thực sự trông như thế nào? Đó là xa một câu hỏi tầm thường, vì có những khác biệt ý thức hệ và văn hóa đáng kể giữa mọi người ở các khu vực khác nhau trên thế giới. Vì lý do này, không thể tạo ra một tập dữ liệu duy nhất từ kiến thức toàn cầu có sẵn công khai mà mọi người sẽ đồng ý.
Với những tiêu chí này, sự lựa chọn tốt nhất là một hệ thống lưu trữ phi tập trung không thay đổi, chẳng hạn như:IPFShoặcEthereum SwarmCác giải pháp này sử dụng địa chỉ nội dung (nơi địa chỉ của dữ liệu là một hash được tạo ra từ nội dung của nó), làm cho việc sửa đổi nội dung không được ủy quyền hầu như không thể.
Những hệ thống này có một tính năng cực kỳ hữu ích khác: chúng lưu trữ nội dung trong các khối. Vì địa chỉ của một phần nội dung được lấy từ hash của nó, nếu cùng một khối xuất hiện trong nhiều tệp, nó chỉ cần được lưu trữ một lần.Git repository, nơi phiên bản là tự động, và forking là rẻ. Điều này là lý tưởng trong trường hợp chúng tôi muốn lưu trữ nhiều tập dữ liệu chỉ khác nhau một chút (ví dụ, ít hơn 1%). Nếu ai đó không đồng ý với nội dung của một tập dữ liệu, họ có thể tạo ra một phiên bản mới mà không cần phải làm một bản sao đầy đủ - chỉ những thay đổi được lưu trữ. chính xác như khi chúng tôi fork một dự án trên GitHub để sửa đổi một cái gì đó.
Làm thế nào blockchain có thể hỗ trợ việc tạo ra các bộ dữ liệu mở
Blockchain và lưu trữ phi tập trung bổ sung tốt cho nhau. Một mặt, lưu trữ phi tập trung cho phép lưu trữ một lượng lớn dữ liệu với mức độ bảo mật tương đương với lưu trữ blockchain. mặt khác, blockchain có thể cung cấp hệ thống khuyến khích và lớp quản trị cho lưu trữ phi tập trung. Một ví dụ tốt là Ethereum Swarm, không thể hoạt động mà không có blockchain, vì hệ thống khuyến khích của nó - cần thiết cho hoạt động tối ưu của mạng - được thực hiện thông qua các hợp đồng thông minh chạy trên blockchain.
Trong trường hợp các tập dữ liệu mở, các DAO dựa trên blockchain có thể quyết định những gì được bao gồm trong một tập dữ liệu. Hệ thống có thể hoạt động tương tự như Wikipedia, nơi các quản trị viên đảm bảo rằng thông tin giả không đưa nó vào bách khoa. Tất nhiên, nó thường không rõ ràng những gì được tính là thông tin giả. Wikipedia không có giải pháp thực sự cho vấn đề này - nhưng trong một hệ thống phi tập trung, dựa trên blockchain, các lỗ hổng đi vào chơi.
Nếu ai đó không đồng ý với nội dung của một tập dữ liệu, họ có thể tạo fork của riêng họ và khởi động một DAO mới để quản lý phiên bản thay thế.
đào tạo phi tập trung
Nếu dữ liệu là mã nguồn mới, thì trong trường hợp phần mềm 2.0 (thông minh nhân tạo), đào tạo là tương đương với việc biên soạn chương trình. Trong phát triển phần mềm truyền thống, việc biên soạn này được thực hiện tại địa phương bởi các nhà phát triển trên máy tính của họ. Tuy nhiên, trong các hệ thống AI, đào tạo là một nhiệm vụ cực kỳ năng lượng và tính toán. Đào tạo một mô hình ngôn ngữ lớn có thể tốn hàng triệu đô la và đòi hỏi các cụm máy tính khổng lồ - một thách thức lớn đối với các mô hình dựa trên cộng đồng.
Một lựa chọn là cộng đồng có thể huy động tiền và cho thuê năng lượng tính toán từ nhà cung cấp điện toán đám mây để đào tạo tập trung.Một khả năng khác là đào tạo phi tập trung, nơi các thành viên quyên góp năng lực tính toán miễn phí (như một lợi ích công cộng) hoặc để đổi lấy bồi thường.
Tuy nhiên, đào tạo phi tập trung không phải là một nhiệm vụ tầm thường. Một thách thức là các mô hình lớn không thể được đào tạo trên một nút duy nhất - đào tạo đa nút là cần thiết, đòi hỏi giao tiếp khối lượng cao giữa các nút. Giao tiếp này phải được tối ưu hóa để đào tạo có hiệu quả. May mắn thay, một số công ty khởi nghiệp đang làm việc trên vấn đề này.Phòng thí nghiệm Exo, đã phát triển một giao thức được gọi làDialoCo, được thiết kế để cho phép đào tạo trên một mạng lưới kết nối Internet của các nút.
Một thách thức khác - phổ biến cho tất cả các hệ thống phi tập trung mở (blockchain, lưu trữ phi tập trung, v.v.) - là vấn đềtrustBởi vì bất cứ ai cũng có thể tự do đóng góp các thiết bị của mình vào hệ thống, không có gì đảm bảo rằng họ sẽ hành động một cách trung thực.Ví dụ, một tác nhân độc hại có thể sử dụng dữ liệu không được ủy quyền thay vì tập hợp dữ liệu được DAO phê duyệt, do đó “bị ô nhiễm” mô hình.
Trong các hệ thống này, sự tin tưởng được thay thế bằng các bảo đảm tính toán.Chúng ta muốn an ninh nhiều hơn trong một mạng lưới các nút không đáng tin cậy, sức mạnh tính toán nhiều hơn được yêu cầu.Một ví dụ tốt về điều này là blockchain, nơi mỗi nút phát hành một khối mới cũng xác nhận tất cả các tính toán trong chuỗi dẫn đến nó.
This approach, however, doesn’t work for AI training, so we must explore other solutions. Here are three potential approaches:
Validation dựa trên consensus
Một cách tiếp cận là có mỗi tính toán được thực hiện bởi nhiều (ví dụ, ba) các nút được chọn ngẫu nhiên. Nếu kết quả không phù hợp, nút không trung thực mất tiền gửi của nó. Ưu điểm của phương pháp này là nó cung cấp bảo mật tương đối cao. Nhược điểm là nó tăng gấp ba lần sức mạnh tính toán cần thiết.
Chứng minh Zero Knowledge
Với công nghệ Zero-knowledge proof (ZKP), người ta có thể chứng minh rằng một tính toán đã được thực hiện - và làm như vậy theo cách mà bản thân bằng chứng là rẻ để xác minh. Kỹ thuật này được sử dụng trong các hệ thống như zkRollups, nơi một zkSNARK chứng minh rằng các giao dịch hợp lệ đã được thực hiện trên một chuỗi Layer 2. Nhược điểm là việc tạo ra bằng chứng là tốn kém về mặt tính toán, đặc biệt là khi số lượng nhân trong tính toán tăng lên. Điều này có nghĩa là với công nghệ ZKP hiện tại, đào tạo các mô hình AI theo cách này sẽ đòi hỏi sức mạnh tính toán nhiều hơn.
Optimistic Decentralized Machine Learning - Học máy phi tập trung
Học máy phi tập trung lạc quan hoạt động tương tự như rollup lạc quan. Máy tính được cho là chính xác trừ khi ai đó gửi bằng chứng gian lận để chứng minh khác. Trong thực tế, nút đào tạo ghi lại từng bước của quá trình - bao gồm cả ma trận trọng lượng ban đầu, dữ liệu đào tạo và ma trận trọng lượng kết quả. Nếu nhật ký cũng ghi lại các hạt giống ngẫu nhiên, toàn bộ tính toán trở nên xác định và có thể tái tạo.
Các nút xác nhận sau đó có thể lấy mẫu ngẫu nhiên các phân đoạn của nhật ký đào tạo và xác minh chúng. Nếu có bất kỳ sự không nhất quán nào được tìm thấy, nút đào tạo mất vai trò của nó. Phương pháp này có chi phí tính toán thấp nhất: nó không đòi hỏi phải tạo ra bằng chứng kiến thức không tốn kém, và không giống như xác nhận dựa trên sự đồng thuận, chỉ những phần được lựa chọn ngẫu nhiên của tính toán cần được xác minh lại.
Cuối cùng, đào tạo phi tập trung đòi hỏi một “thị trường node” – một nền tảng nơi các nguồn lực tính toán có sẵn có thể được khám phá và sử dụng.Đám mây Aleph, mà, giống như các nhà cung cấp điện toán đám mây khác, cung cấp khả năng tính toán - nhưng nó là một nền tảng phi tập trung được thiết kế để cung cấp dịch vụ lưu trữ, tính toán và cơ sở dữ liệu có thể mở rộng thông qua một mạng lưới các nút phân tán. nó sử dụng mã thông báo ERC20 để thanh toán cho các dịch vụ, vì vậy nó có thể dễ dàng tích hợp với các giải pháp dựa trên blockchain khác. nút Aleph sử dụng môi trường thực hiện đáng tin cậy, vì vậy xác nhận ít có liên quan trong trường hợp này.
Decentralized Inference Phát hiện
Đối với các mô hình quy mô lớn, không chỉ là đào tạo không tầm thường do các yêu cầu tính toán cao nhưng chạy mô hình (điều tra) cũng là thách thức.Điều này đặc biệt đúng đối với các mô hình lý luận, nơi kết quả chỉ xuất hiện sau nhiều bước tiếp theo - có nghĩa là tổng công suất tính toán cần thiết cho kết luận có thể vượt xa đào tạo.
Vì chạy một mạng lưới thần kinh hoạt động theo cách tương tự như trong quá trình đào tạo (điều tra là các giai đoạn tiến, trong khi đào tạo liên quan đến nhiều giai đoạn tiến và lùi), học máy phi tập trung lạc quan cũng có thể được áp dụng ở đây.
Các công nghệ như mã hóa đồng tính và tính toán đa phần (MPC) có thể giúp bảo vệ dữ liệu cá nhân.Tuy nhiên, hiệu suất phần cứng tiếp tục phát triển theo cấp số nhân, và các kỹ thuật mới – chẳng hạn như mạng thần kinh 1.5 bit và mô hình phân tán Mixture-of-Experts (MoE) như DeepSeek – đang ngày càng cho phép các mạng này chạy tại địa phương.
Tôi tin rằng trong dài hạn, chúng tôi sẽ có thể chạy các mô hình như vậy tại địa phương - hoặc ít nhất là trong các môi trường đáng tin cậy được thuê riêng.
Kết luận
Bây giờ, nó rõ ràng với hầu hết mọi người rằng AI sẽ mang lại những thay đổi mang tính cách mạng. Nó sẽ định hình lại thế giới của chúng ta theo những cách mà chúng ta khó có thể tưởng tượng - và đó là mà không kể đến tác động của robot nhân tạo. Điều hoàn toàn quan trọng là ai nắm quyền lực trên AI. Nó sẽ vẫn tập trung trong tay một vài tập đoàn lớn, hoặc nó sẽ trở thành một lợi ích công cộng chung có lợi cho toàn nhân loại?
Điều này đặt ra một câu hỏi trung tâm cho tương lai của chúng ta: AI phi tập trung thực sự sẽ xuất hiện?
Xây dựng một hệ thống như vậy đòi hỏi nhiều hơn chỉ là đổi mới kỹ thuật - nó đòi hỏi các bộ dữ liệu mở, lưu trữ phi tập trung, quản trị dựa trên blockchain và cơ chế khuyến khích cho phép cộng đồng đóng góp và cộng tác tự do.
Nếu chúng ta thành công, chúng ta sẽ không chỉ dân chủ hóa AI - chúng ta sẽ đặt nền tảng cho một cộng đồng kỹ thuật số mới, nơi mà chính trí thông minh được đồng sáng tạo, minh bạch và mở cho tất cả mọi người.
