הקודם Grok 3: All the GPUs, None of the Breakthroughs

בסוף פברואר, אלון הציג את המודל האחרון שלו.

האם זה באמת AI החכם ביותר על פני כדור הארץ?

כמו תמיד, מאסק הביא את הרכבת היפ. אבל לא היו הרבה נתונים אובייקטיביים בהשקה. xAI's קצר בלוג פוסט ציין כי זה עדיין היה בטה ואת המודלים היו אימון פעיל.

הם צלצלו כמה ביקורות המראות את Grok 3 קדימה. עם זאת, הם לא נתנו גישה ל-API.

אז, אלון טוען Grok 3 הוא "כמעט חכם" ומגביר את כל השאר.

ואם אתן רואות את זה?

ראו אזור קל יותר בצד ימין?זהו הדחף שגרק קיבל על ידי כוח מחשוב רב יותר (מחשב בזמן בדיקה) כדי לקבל תשובות עקביות יותר.

אתם כנראה יודעים שהמודלים ל-AI לעתים קרובות נותנים תשובות שונות במקצת בכל פעם – לפעמים טובות יותר, לפעמים גרועות יותר.

אבל כל התוצאות של Grok הוצגו באמצעות cons@64. כלומר, היא קיבלה 64 ניסיונות עבור כל שאלה ובחרה את התשובה הנפוצה ביותר.

אז מצד אחד, הם טוענים שזה מודל מהדור הבא, מצד שני, הם משתמשים בטריקים זולים למדי.

כדי להיות הוגן, בשדה תחרותי כזה, כל המעבדות מגלגלות את הכללים.

Ok, benchmarks בצד. מה משתמשים מנוסים אומרים לאחר השימוש בפועל?

המודל הוא עצום אבל לא הביא פריצת דרך.הוא עדיין הלהיט ונוהג לתגובות ארוכות מדי.

במונחים של ביצועים, Grok 3 נחת איפשהו ליד מודלים OpenAI המובילים, אולי קצת יותר טוב מאשר DeepSeek ו- Google's stuff בזמן השחרור.

עם זאת, חודשיים לאחר מכן, הגיעו Gemini 2.5, Claude 3.7 ו-GPT-4o החדש. סוף סוף קיבלנו גישה חלקית ל-API עבור Grok 3 וגרסת המיניו.

אז היום אנחנו יודעים שזה יקר ובטח לא הטוב ביותר.

אבל תמשיכו, יש עוד סיפור.

ואתה צריך להעביר את זה אליהם, אלון ו xAI קפצו לשוק במהירות, הופכים לשחקן מפתח בזמן שיא.

1 – המכשיר

הסיפור הגדול כאן?

בשנת 2024, xAI בנה קבוצה ענקית של מחשבים.אנחנו מדברים על 100,000 GPUs Nvidia H100 לעלות ולפעול רק 4 חודשים ואז הם הכפילו את זה 200,000 כרטיסים ב 3 חודשים נוספים.

מנכ"ל NVIDIA, Jensen Huang, זכיר זה בדרך כלל לוקח בערך 4 שנים.

זה היה הישג הנדסי עצום, והפעם, שום דבר מצחיק – זהו מרכז הנתונים הגדול ביותר בעולם.

בדרך כלל, קבוצות כאלה הן מרכזי נתונים קבועים מרובים המחוברים על ידי כבלים Infiniband יקרים.במהלך האימון, מרכזי אלה צריכים להחליף טונות של נתונים כל הזמן.

מרכז נתונים טיפוסי עשוי להיות 10,000-20,000 GPUs, סופג 20-30 מגה וואט של כוח. לדוגמה, מיקרוסופט (ל-OpenAI) מפעילה רשת של 100k GPUs באריזונה, ומטה פועלת 128k.

ראו את שתי הבניינים בצורת H?

צריכת החשמל עבור קבוצות ברמה העליונה התפוצצה פי 10 מאז 2022.אנחנו מדברים כעת על 150 מגה-ווט לכל קבוצה.זה כמו כוח עיר קטנה.זה יוצר עומס עצום על רשתות החשמל האזוריות.

אז, אלון נכנס לשוק הזה מאחור. ... עושה את "הדבר של אלון." שונא את הטוויטים שלו כל מה שאתה רוצה, האיש יודע איך לבנות מפעלים כמו אף אחד אחר.

הוא רכש מפעל אלקטרוולקס ישן בממפיס והחליט לבנות מרכז נתונים ענק במקום רשת כמו כולם.

כמובן שהכוח הפך לבעיה.

המפעל היה בעל רק 7 מגה-ווט מהרשת המקומית - מספיק רק עבור 4,000 GPUs.החברה המקומית, עמק טנסי, הבטיחה עוד 50 מגה-ווט, אבל לא עד אוגוסט.

אבל ההמתנה היא לא סגנון של מאסק.

Dylan Patel (מ Semianalysis) צפו באמצעות תמונות לוויין כי Elon רק הביא 14 גנרטורים דיזל ניידים מסיביים מ VoltaGrid. חיבק אותם עד 4 תחנות ניידות וחזק את מרכז הנתונים. ממש משאית בחשמל.

פטל ציין כי הם עשויים לקנות 30% מכלל השוק האמריקאי עבור גנרטורים אלה (אם כי לא מצאתי שום דבר על זה).

מדהים, מרכז הנתונים גם משתמש בקירור נוזלי.רק Google באמת עשתה זאת בקנה מידה בעבר.זה עניין גדול כי הדור הבא של צ'יפס Nvidia, Blackwell B200s, דורשים קירור נוזלי.

אתה יכול לבדוק את הדקות הראשונות של וידאו זה כדי לראות איך זה נראה בפנים.

זה באמת הנדסה מגניבה – פשוט תסתכל על ניהול הכבלים.

אף אחד לא עשה עבודה כה גדולה בתוך זמן כה קצר.

2 – אפילו יותר חומרה!

אלון טוען כי עד קיץ 2025 יהיה להם קבוצה של 300,000 GPU עם צ'יפס Blackwell B200. בהתחשב בהרגלו של מאסק להגזים, נניח שזה מציאותי בין 200-400,000 צ'יפס חדשים עד סוף 2025.

מוסק אפילו מתכנן לבנות תחנת כוח מיועדת של 2.2 ג'יגה-ווט, וזה יותר כוח מאשר עיר בינונית צורכת.

והוא לא לבד – כל השחקנים הגדולים עושים משהו דומה:

• Meta בונה שתי תחנות גז בלואיזיאנה.
• OpenAI/Microsoft יוצרת משהו דומה בטקסס.
• Amazon ו-Google גם בונים מרכזי נתונים בקנה מידה גיגוואט.

למה לא גרעיני? יש לו את הכוח, אבל בניית מפעל גרעיני לוקח יותר מדי זמן.אינך יכול פשוט להופיע ליד מרכז הנתונים שלך בשנה.

כתוצאה מכך, גם מיקרוסופט וגם מטה כבר נאלצו לחזור אחורה בהבטחותיהם באנרגיה ירוקה מתחדשת. הם שברו את גבו והרים את מולוק לגן עדן!

3 – Grok 3 הוא ענק

לכן, אלון בנה את הקופסה הגדולה והיקרה הזאת.

הערכות מצביעות על Grok 2 מאומן על ~20k H100s, בעוד Grok 3 השתמש מעל 100k.

בהשוואה ל-GPT-4, Grok 2 קיבל כפול מהכוח המחשוב שהושקע בו, ו-Grok 3 קיבל פי חמישה יותר מ-Grok 2.

בסיס, סך מחיר חישוב עבור Grok 3 הוא סדר גודל (10 פעמים!) גבוה יותר מאשר המתחרה הקרוב ביותר שלה. למרבה הצער, אין לנו נתונים ציבוריים עבור GPT-4.5 או Gemini 2.5.

אז הם זרקו כמויות מטורפות של משאבים לבניית המגה-קלאסטר הזה, והמודל המתקבל הוא ... רק על שוויון עם המועמדים.

זה נראה כי המומחיות של xAI בהכשרה עדיין מאחורי OpenAI, Google, או אנתרופי. הם למעשה brute-כפילו את דרכם לתוך הרמה העליונה.

Epoch AI עריכה כי במהלך העשור האחרון, שיפורים אלגוריתמיים עשו בערך שליש מהתקדמות ביכולות המודל.

כוח כבד עבד עבור Grok 3 הפעם, אבל עלויות יגדל באופן אקספונציונלי תוך מתן פחות ויותר שיפור. xAI צריך לתפוס את הצד של האלגוריתם. החדשות הטובות הן כי עכשיו הם נראים כמו דחוף את הגבול, כך שזה כנראה יהיה הרבה יותר קל למשוך את הכישרון העליון.

4 – מה טוב בגרוק?

1. זה לגמרי חופשי (אולי עד לשחרור המלא).

ולא גבולות קפדניים של Anthropic, הפסקות של DeepSeek, או רמות בתשלום של OpenAI.

אפילו עם כל הדגמים החדשים שנפלו בחודשים האחרונים, Grok עדיין מחזיק את עצמו ליד העליון של Chatbot Arena לוח המובילים.

עכשיו יש לנו גם benchmarking עצמאי על ידי EpochAI:

ו על ידי LiveBench:

2. סיבה ומצב מחקר עמוק

   
   

פעם בחודש פברואר, התכונה החינמית של Deep Research הייתה בעיקר בלעדית ל- Perplexity.Now, Google and OpenAI offer some in a basic level—maybe Grok pushed them?

מצב זה מנתח באופן אוטומטי 30-100 קישורים (Google עשוי לעשות יותר) בתוך דקות ומפיץ סיכום מפורט (והנפוח) שאתה רק צריך לסרוק ולבדוק את העובדות.זה הרבה יותר קל מאשר לחקור כל דבר מהתחלה.

3. אינטגרציה עם X

   
   

זה יכול להיות תכונה הרוצח שלה: חיפוש סמנטי לא רק עבור מילות מפתח, אבל עבור מה אתה מתכוון.

טוויטר הוא הקרוב ביותר לפלטפורמת מידע בזמן אמת, אז זה נהדר, אבל עד כה גרוק לעתים קרובות מתעכב, למשוך נתונים מהימים האחרונים במקום.

4. The Unfiltered Stuff

   
   

לגבי הגמר הגדול, המצב 18+. גרוק קל לגלוש ללא מאמץ רב.אתה יכול לעשות את זה... ובכן, כל מה שאתה יכול לרצות, מן קולות מעורפלים לתפריטים מפוקפקים.

קשיבו עד הסוף, זה מצחיק!

אירונית, גרוק עצמו לא נראה לשמור על מאסק (או טראמפ) בראש.כשהוא יצא, xAI ניסתה לתקן – באופן מילולי קודד חוק שבו גרוק לא יכול להביע ביקורת על אלון.

הבעיה האמיתית היא שהדעות של גרוק הן רק השתקפות של נתוני האימון שלה (כלומר, האינטרנט), ולא כמה דעות קדומות בכוונה.

5 - האם אתה מעז לנסות את זה?

החלט לנסות את זה, אבל כמו הטייס השני שלך.

תגית:

p

• למרות זאת, הביצועים כמעט שווים עם הטובים ביותר.

אבל זה מאוד מהיר וחינמי (עד עכשיו).

• אופן החיפוש העמוק הוא באמת שימושי – נסה אותו אם לא.

יותר נוטים לחלומות ולקפוץ למסקנות מהר מדי.

תשובות בדרך כלל מאורגנות היטב, אך לעיתים קרובות מרגישות נפיחות.

U> גישה לנתונים של טוויטר.

xAI הוכיח כי הוא מסוגל לבנות תשתיות ברמה עולמית במהירות חסרת תקדים, אבל ביכולות אמיתיות של AI, הם בעצם קונים את דרכם למעלה עם כוח מחשוב טהור.

זה מוסיף שחקן חזק נוסף בלחץ על OpenAI, Google, ו Anthropic, דוחף את תעשיית AI לקראת סחורה.

היה לי זה כיף? תן הצבעה או להירשם ל ניוזלטר שלי. אני מעריך את זה!