به لطف فیزیک، زمستان هوش مصنوعی نزدیک است

زمستان (فیزیک) در راه است

اکنون به نظر می‌رسد که مدل‌های زبان بزرگی که بر روی فناوری GPT اجرا می‌شوند ممکن است در حال توسعه خود باشند. این از آخرین ویدیوی یوتیوب فیزیکدان محبوب دکتر سابین هوسنفلدر است.

دکتر سابین به چند منبع اشاره می کند، از جمله بیل گیتس، که سال گذشته گفت که GPT 5 خیلی بهتر از GPT 4 نخواهد بود. این برخلاف تمام تبلیغات ری کورزویل توسط سم آلتمن و ایلیا سوتسکور همانطور که در ویدیو دیده می شود، مطابقت دارد.

اما اگر همان‌طور که دکتر سابین همیشه به ما یادآوری می‌کند، صرفاً ریاضیات زیبا باعث پیشرفت فیزیک نمی‌شود، آن‌گاه تفکر گروهی واهی صرفاً به ما یک هوش عمومی مصنوعی مافوق بشری (AGI) نمی‌دهد.

چرا پرتاب آنقدر داده، قدرت محاسباتی، و نظارت انسانی که می‌توانیم برای ما یک AGI فوق بشری به دنیا نمی‌آوریم؟

دکتر سابین پاسخی آماده دارد. او توضیح می دهد که مشکل جدا شدن مقیاس ها است.

جدا شدن ترازو

جهان به مقیاس تقسیم شده است.

در دنیای فیزیکی، مقیاس حیوانات خشکی مانند ما انسان ها وجود دارد. سپس در زیر آن میکروب ها، سپس مولکول ها، اتم ها و ذرات زیر اتمی را داریم. در جهت مخالف، ما هواپیماها و آسمان خراش ها، کوه ها، سیارات، ستاره ها، منظومه های خورشیدی، کهکشان ها و غیره داریم.

در دنیای داده‌ها، ما داده‌هایی با وضوح بالا داریم، مانند دسته‌هایی مانند «اشیاء قابل لمس»، «حیوانات»، «گربه‌ها». سپس داده‌های با وضوح پایین برای گسترش بیشتر دسته‌های فوق، مانند «گونه‌های گربه»، «الگوهای گربه»، «رفتار گربه در ساعت 8 صبح دوشنبه» و غیره.

با این حال، طبقه بندی های دیگری نیز وجود دارد. برخی از داده ها آنلاین و برخی آفلاین در کتاب ها، مقالات و ذهن مردم هستند.

ما ممکن است همه دانش مورد نظر خود را در مقیاس با وضوح بالا ایجاد زبان انسانی در اینترنت داشته باشیم. اما این با منبع داده بسیار بزرگتر و با وضوح پایین که ایجاد زبان انسانی در جهان است، برابری نمی کند.

بنابراین، هوش مصنوعی سم آلتمن مانند ارسطو در تصویر زیر است. به امید کشف مدل استاندارد فیزیک با نگاه کردن به دست او.

اما بدون چیزی مانند برخورددهنده بزرگ هادرون که بتواند ذرات زیر اتمی را بکوبد و داده های جدید عجیب و غریبی را که در آن پنهان شده است ببیند، ارسطو در مورد چگونگی ادامه کار دچار مشکل شده است.

برخورد دهنده بزرگ هادرون برای هوش مصنوعی

معماری GPT که تنها 2 سال پیش با ChatGPT خارق العاده به دنیا معرفی شد، احتمالاً به پایان «بهبود» خود نزدیک شده است. شاید زمان آن رسیده است که به طور جدی باتوم و بودجه VC را به چیز دیگری واگذار کنیم.

من در حال ریشه‌یابی محاسبات ترمودینامیکی هستم که در حال حاضر توسط شرکت‌هایی مانند Extropic در حال بررسی است، که با استفاده از نویز حرارتی برای ایجاد نمونه‌های تصادفی از داده‌ها مانند فناوری انتشار پایدار و سپس حذف نویز با استفاده از تجزیه و تحلیل آماری کار می‌کند.

در واقع، در هر شبکه عصبی ، وزن های اولیه معمولاً با نویز تصادفی مقداردهی اولیه می شوند. لازلو فازکاس می نویسد : در طول تمرین، پس انتشار وزنه های نهایی را از این صدای تصادفی شکل می دهد .

مزیت آن در تراشه‌هایی است که در مقیاس‌های کوچک‌تر از محاسبات دیجیتال سنتی کار می‌کنند، جایی که اثرات کوانتومی منجر به نویز حرارتی فراوان می‌شود.

به هر حال نویز حرارتی همیشه زیاد بوده است.

اجاق گاز آشپزخانه من پر از صدای حرارتی است.

مشکل واقعی همیشه این بوده است که چگونه می توان آن را از طریق تقسیم آماری داده های آن، بدون دور ریختن داده ها در طول تحلیل رگرسیون، بهتر درک کرد.

حدس من؟ نوعی آموزش عظیم محاسباتی ابری هوش مصنوعی با استفاده از تلفن های هوشمند، گره های بیت کوین، تلویزیون ها، رادیوها، آن را نام ببرید.

در حال حاضر، اجازه دادن به هوش مصنوعی «زمان فکر کردن» به طوری که استنباط طولانی‌تری روی همان داده‌ها انجام دهد، روشی است که شرکت‌های هوش مصنوعی در حال فشرده کردن مقداری آب بیشتری هستند. برای مثال با مدل o1 ChatGPT.

اما شاید حتی زمان تمرین هم باید تمدید شود. شاید برای به دست آوردن هوش مصنوعی عالی، مانند یک کودک، به چندین دهه آموزش از داده های جمع آوری شده از سراسر جهان نیاز داشته باشد. جمع آوری شده و به آرامی در یک مدل هوش مصنوعی متراکم در چند سرور سیفون شده است.

سام آلتمن ممکن است برای چنین طرحی به آن تریلیون ها دلار دولتی نیاز داشته باشد. افسوس، به احتمال زیاد بدست آوردن آنها آسان نخواهد بود. ممکن است DOGE از او حمایت مالی نکند (اگر xAI دچار همین مشکلات باشد).

در همین حال بیت کوین همچنان در حال رشد است

همانطور که نمودار بالا نشان می دهد، تعداد بسیار کمی از مردم از بیت کوین استفاده می کنند. با این حال در حال حاضر 90 هزار دلار است.

داده های Bitbo نشان می دهد که در واقع تنها 400000 نفر روزانه از بیت کوین استفاده می کنند. و فقط 106 میلیون بیت کوین دارند.

این را با 314 میلیون نفری که طبق داده های Statista از ابزارهای هوش مصنوعی استفاده کرده اند، مقایسه کنید. ChatGPT به تنهایی میلیون ها کاربر در روز دارد . احتمالاً بیشتر از مجموع کل بلاک چین بیت کوین!

بیشتر از این؟ هوش مصنوعی بیشترین تعداد این کاربران را در کمتر از یک سال جمع آوری کرد. این احساس اشتباه است. رشد بیت کوین سال ها طول کشید. مردم عرق ریختند، از دست دادند، DCA'd، ایمان داشتند.

شاید همین باشد. ChatGPT خیلی سریع رشد کرده است. حالا سرعتش کم شده و همه ترش کرده اند.

با عرض پوزش، بله، هنوز کار برای انجام دادن وجود دارد. درک AGI چندان آسان نخواهد بود، و دانشمندان GPT باید یاد بگیرند که مانند بیت‌کوینرها کار کنند. زمستان خواهد آمد و می رود، اما در حال حاضر، زمان پرداخت هزینه است.