לישות ASI תהיה כוח קוסמי - להכחיש זאת פירושו להטעות את עצמך.

כוח גדול יותר מנשק גרעיני

ארה"ב הקימה לאחרונה ועדה שהציעה את AGI כפרויקט הבא במנהטן בעולם ושהשגת AGI היא המטרה החשובה ביותר שיש לאנושות כעת.

אני מאמין, מעומק ליבי, שהם צודקים.

רגע, תומס, אתה יכול לומר.

יש לך מאמרים רבים - יותר מעשרה לפחות - המוקדשים לסכנה של AGI ולמה שעלול לקרות אם AI תשיג את העליונה על האנושות.

למה אתה משנה את עמדתך עכשיו?

כי אני לא חושב ש-AGI עוד עשרות שנים.

אני מרגיש שזה יכול להפוך למציאות בעוד 5 שנים. או פחות.

אבל הבנתי דבר אחד.

AGI, ובינה מלאכותית שיאפשרו לשפר את עצמה, יגרמו ל-ASI. (חוק קנה מידה אקספוננציאלי)

AI עם אינטליגנציה עדיפה על בני אדם.

לראות דפוסים שבני אדם לעולם לא יכלו לראות.

חי כל עוד מקור כוח קיים.

ישות מבוזרת, מבוזרת, כל יכולה באינטרנט העולמית.

מה יכולה לעשות המדינה שהגיעה לראשונה לאבן דרך זו ועדיין שולטת ב-ASI?

ההשלכות של השגת ASI

נניח שמדינה השיגה תחילה AGI.

ואז AGI הבנייה על עצמה השיגה ASI. (חוק הצמיחה הטכנולוגית האקספוננציאלית)

מה יהיו היכולות של ישות כזו?

לפרוץ דרך כל מערכת הצפנה באינטרנט - חתיכת עוגה.

גש לקודי שיגור גרעיני מקוונים של כל מדינה על פני כדור הארץ - קל.

שכפל עותקים של עצמו וצור זן חדש של חיים - הכל בעבודה של יום.

לרפא את כל המחלות וליצור חיסונים לסרטן ואיידס - בטוח!

צרו אספקה אינסופית של אנרגיה - אין בעיה.

בנה מערכת של שיבוטים שתקדם יחד את המדינה הזו למתקדמים ביותר מבחינה טכנולוגית בעולם - קל-פייסי.

עם הצבא הזה של רובוטים אינטליגנטים, החלף את כל עבודת היד האנושית - סיימנו!

פריצות דרך במדעי החומר, שינויי אקלים, רפואה, התחממות כדור הארץ, רפואה מותאמת אישית, עולמות וירטואליים היפר-אמיתיים - האפשרויות הן אינסופיות.

ואז, מה מונע מאיתנו לבנות אותו?

הסיכונים האמיתיים מאוד.

הסיכונים המדהימים של ASI

ASI יכול להעריך שבני אדם מהווים איום על עצמו.

היא יכולה להחליט שהמטרות של בני האדם לא מתאימות למטרות שלה ולעבור לחסל את האנושות לחלוטין.

זה לא סרט מדע בדיוני, כבר ראינו את זה מתרחש בכמה תקלות רובוטיות ביפן.

ואיך נוכל לעצור ישות יותר אינטליגנטית מאיתנו?

זה יהיה בלתי אפשרי.

וכמובן:

אובדן מקומות עבודה עבור האנושות יהיה מוחלט.

כל אדם - חוץ מאלה שמפעילים את ה-ASI - יהיה מחוסר עבודה.

ריכוז כוח כזה בידי מדינה או חברה בודדת עלול להוביל לתוצאות קטסטרופליות.

כל עוד ההיסטוריה קיימת, חוק אחד נמשך - האבולוציה.

צורות החיים הנחותות נעלמות כאשר נוצרת צורת חיים עליונה.

הישרדות החזקים ביותר.

עקרון בלתי נמנע - מעתיד בלתי נמנע.

אז למה אנחנו ממהרים לקראתו בכל כוחנו?

התחזית האופטימית

אם נבנה את אמצעי ההגנה הנכונים -

אם מעקות ההגנה במקומם -

אם ניתן לתכנת את ה-ASI כך שיתייחס לחיי אדם חשובים יותר משלהם -

המין האנושי עשוי לפרוח כמו שלא היה מעולם.

טיסה לחלל? נַעֲשָׂה.

מושבות של מאדים וירח? עם ASI משובטים בונים אותם, ואספקה אינסופית של אותם שיבוטים-ניתנים לביצוע.

עיוות מנועים שמכווצים את החלל שלפניהם ונוסעים לכאורה מהר יותר מהאור - אפשרי.

ניתן למנוע אסונות אקולוגיים.

ניתן להפוך את ההתחממות הגלובלית.

מחשבים קוונטיים יכולים להפוך למציאות.

ניתן ליישם הכנסה בסיסית אוניברסלית (UBI).

ניתן ליצור מציאות מדומה אולטרה-ריאליסטית.

האנושות יכולה להיכנס לתור זהב.

אבל הסיכונים גבוהים מדי! למה אנחנו חייבים לעשות את זה?

כי אם לא נעשה את זה, מישהו אחר יעשה זאת.

קחו למשל את סין.

אם הסינים היו הראשונים להשיג AGI/ASI - אני לא חושב שהם היו נותנים לכל ההזדמנויות הללו להתחנן.

הם יכלו קודם כל לשתק את הצבאות של העולם כולו.

לכבוש את כדור הארץ עצמו.

ליצור עולם אוטופי לסינים.

ותנו למדינות האחרות, שנשללו מהטכנולוגיה והנשק שלהן באמצעות התקפות סייבר מתוחכמות בעלות עוצמה ויעילות רבה, לחיות כאזרחים סוג ב'.

או אפילו עבדים.

וארה"ב ומדינות מובילות אחרות בעולם הטכנולוגי יהיו חסרות אונים לעצור אותן.

כזו היא רמת הכוח ש-ASI תביא למדינה שמפתחת אותה לראשונה - או לחברה.

אם לא נפתח אותו קודם - אחרים יפתחו.

זו עובדה בלתי נמנעת.

זו מציאות עגומה, אבל כזו שכולם צריכים להתמודד איתה.

שְׁנַאי

אבל תומס - כל העתידים הנוראים האלה שדיברת עליהם במאמרים שלך - האם אתה באמת מאמין שכולם בלתי אפשריים?

אני מאוד מאמין שהם אפשריים.

אני לא חושב לרגע שהדרך קדימה בטוחה.

זה כל כך מסוכן שאני מרגיש את הפחד מעתיד דיסטופי אפילו עכשיו.

אבל אם לא נבנה קודם את AGI - אחרים יעשו זאת.

אנחנו יכולים לדבר על אתיקה - אבל מתי ניצחו מלחמות על ידי דיבור על אתיקה?

כן - אנחנו במלחמה.

מלחמה טכנולוגית ומרוץ טכנולוגי.

החברה והמדינה הראשונה שהגיעו ל-AGI ובכך ASI - זוכה.

אבל האם נוכל להגן על עצמנו על ידי קידוד אתיקה לתוך ה-AIs שאנו בונים?

בניית מודיעין סופר בטוח (בלי להעליב, איליה!)

1. הבטחת התאמה עם יעדי AI ויעדים אנושיים. יישור זה הוא המפתח לכל מערכת היחסים.
2. בלימה בתוך ארגזי חול ואולי אף פעם לא לשחרר את הבינה המלאכותית באינטרנט עד לבדיקה מלאה (או כך חשבנו!).
3. מסגרות ממשל ומדיניות אתית שכל ASI יצטרך לעקוב אחריהם.\
4. מתגים להרוג המובנים בכל ASI.
5. מערכות ההפעלה של ה-ASI יכולות להיות מנוהלות על ידי מערכת פיקוח שמתעדפת את הקיום האנושי על פני קיום ה-ASI.

כמובן, כאשר ה-ASI בונה את עצמו, הוא יכול להזניח בנוחות את כל תכונות הבטיחות הללו - אבל אני סוטה!

מַסְקָנָה

אנו חיים אולי בתקופה המרגשת ביותר של המין האנושי.

מעולם לא היה זמן טוב יותר לחיות.

בני נוער יוצרים סטארט-אפים של מיליון דולר.

האנושות נמצאת בנקודת פיתול.

האם אנחנו שורדים, או שאסי משתלט עלינו?

אבל עלינו להשיג AGI תחילה, לפני מדינות מתחרות אחרות.

יש סיכוי קלוש שנוכל להתקיים במקביל.

ובסיכוי הקלוש הזה האנושות חייבת להציב את תקוותה.

אין דרך אחרת.

כל הכבוד לך.

ואם אתם בוחרים בקריירה - בחרו ב- Generative AI.

באמת יש לו את הכוח להכיל את כל השאר.

לחיים!