Transcription
מה שיעמוד על הפרק לא יהיו רק מוצרים מגניבים, אלא האם הדמוקרטיה הליברלית תשרוד, האם ה-CCP ישרוד, ומה יהיה הסדר העולמי במאה הבאה. ה-CCP יעשה מאמץ כולל לחדור למעבדות הבינה המלאכותית האמריקאיות. מיליארדי דולרים, אלפי אנשים. ה-CCP ינסה לבנות יותר מאיתנו. אנשים לא מבינים כמה אינטנסיבית יכולה להיות ריגול ברמה מדינתית. כשיש לנו אינטליגנציה-על ממשית, הם יכולים, למשל, לתקוף את מרכזי הנתונים הסיניים כמו Stuxnet. אתה באמת חושב שזו תהיה חברה פרטית והממשלה לא תגיד "אלוהים אדירים, מה קורה?" אני כן חושב שזה חשוב באופן קיצוני שהאשכולות הללו יהיו בארצות הברית. כלומר, האם היית עושה את פרויקט מנהטן באיחוד האמירויות? שנת 2023 הייתה הרגע בשבילי שבו זה עבר מ-AGI כדבר תיאורטי, מופשט, שבו אתה יוצר את המודלים, ל"אני רואה את זה, אני מרגיש את זה". אני יכול לראות את האשכול שבו הוא מאומן, את השילוב הגס של אלגוריתמים, את האנשים, איך זה קורה, ואני חושב שרוב העולם לא; רוב האנשים שמרגישים את זה נמצאים ממש כאן. היום אני משוחח עם חברי לאופולד אשנברנר. הוא גדל בגרמניה וסיים בהצטיינות יתרה את לימודיו בקולומביה בגיל 19. לאחר מכן, הייתה לו שנת פער מעניינת מאוד שעליה נדבר. לאחר מכן, הוא היה בצוות ה-superalignment של OpenAI, יהי זכרו ברוך. כעת, עם כמה השקעות עוגן – מפטרריק וג'ון קוליסון, דניאל גרוס, ונט פרידמן – הוא משיק חברת השקעות. לאופולד, אתה מתחיל לאט אבל החיים ארוכים. לא הייתי דואג מזה יותר מדי. תשלים את זה בזמן הנכון. תודה שהגעת לפודקאסט. תודה. גיליתי את הפודקאסט שלך לראשונה כשהפרק הטוב ביותר שלך זכה לכמה מאות צפיות. זה היה מדהים לעקוב אחר המסלול שלך. זה תענוג להיות כאן. בפרק של שולטו וטרנטון, ציינתי שרבים מהדברים שלמדתי על AI למדתי משיחות איתם. החלק השלישי, וכנראה המשמעותי ביותר, של השלישייה הזו היה אתה. נרשום את כל הדברים על הרשומות עכשיו. הנה הדבר הראשון שאני רוצה לרשום. ספר לי על אשכול הטריליון דולר. אני צריך לציין זאת לצורך ההקשר של הפודקאסט. היום אתה משחרר סדרה בשם "מודעות מצבית". אנחנו נצלול לזה. השאלה הראשונה לגבי זה היא, ספר לי על אשכול הטריליון דולר. בניגוד לרוב הדברים שיצאו לאחרונה מעמק הסיליקון, AI הוא תהליך תעשייתי. המודל הבא לא דורש רק קוד. הוא בונה אשכול חדש וענק. הוא בונה תחנות כוח חדשות וענקיות. בקרוב מאוד, זה יכלול בניית מפעלי ייצור חדשים וענקיים. מאז ChatGPT, הואצה טכנו-קפיטלית יוצאת דופן זו הופעלה. לפני שנה בדיוק היום, לנבידיה הייתה שיחת הרווחים הראשונה שלה. היא עלתה ב-25% לאחר שעות המסחר וכולם אמרו, "אלוהים אדירים, AI זה דבר אמיתי". בתוך שנה, הכנסות מרכזי הנתונים של Nvidia עלו מכמה מיליארדים ברבעון ל-25 מיליארד דולר ברבעון והן ממשיכות לעלות. ההוצאות הוניות של ענקיות הטכנולוגיה מזנקות. זה מצחיק. יש כאן מאבק מטורף שמתרחש, אבל במובן מסוים זה רק המשך של קווים ישרים על גרף. יש כאן מגמה ארוכת טווח של כמעט עשור של כוח מחשוב לאימון מערכות AI הגדולות ביותר, הגדלה של כחצי סדר גודל, 0.5 OOMs בשנה. פשוט תמשיכו את זה. דווח כי GPT-4 סיים את האימון המקדים שלו בשנת 2022. ב-SemiAnalysis, דווח כי גודל האשכול שלו היה כ-25,000 A100s. זה בערך אשכול של 500 מיליון דולר. באופן גס מאוד, זה 10 מגה-וואט. פשוט תמשיכו את זה חצי שנה קדימה. עד 2024, זה יהיה אשכול של 100 MW ו-100,000 מקבילי H100 עם עלויות של מיליארדים. תמשיכו את זה עוד שנתיים. עד 2026, זה יהיה ג'יגה-וואט, בגודל של כור גרעיני גדול. זה כמו הכוח של סכר הובר. זה יעלה עשרות מיליארדי דולרים וידרוש מיליון מקבילי H100. עד 2028, זה יהיה אשכול של 10 GW. זה יותר כוח מרוב מדינות ארה"ב. זה 10 מיליון מקבילי H100, בעלות של מאות מיליארדי דולרים. עד 2030, תקבלו את אשכול הטריליון דולר תוך שימוש ב-100 ג'יגה-וואט, יותר מ-20% מייצור החשמל בארה"ב. זה 100 מיליון מקבילי H100. זה רק אשכול האימון. יש גם יותר מעבדי GPU להסקה. ברגע שיהיו מוצרים, רובם יהיו מעבדי GPU להסקה. ייצור החשמל בארה"ב גדל בקושי במשך עשורים. עכשיו אנחנו באמת הולכים לרכיבה. כשהבאתי את צוקרברג לפודקאסט, הוא טען לא פלטו במובן מסוים, אלא שקדמת ה-AI תהיה מוגבלת על ידי האילוץ הזה על אנרגיה. באופן ספציפי, הוא אמר, "אה, מרכזי נתונים של ג'יגה-וואט, האם נבנה עוד סכר שלושת הערוצים או משהו?" על פי דיווחים פומביים, יש חברות שמתכננות דברים בקנה מידה של מרכז נתונים של 1 GW. עם מרכז נתונים של 10 GW, מי יוכל לבנות אותו? מרכז של 100 GW הוא כמו פרויקט מדינתי. האם תכניסו את זה למרכז נתונים פיזי אחד? איך זה יהיה אפשרי? מה צוקרברג מפספס? לפני שישה חודשים, 10 GW היה השיחה המרכזית. עכשיו, אנשים התקדמו. 10 GW קורה. יש את הדיווח של The Information על OpenAI ומיקרוסופט שמתכננות אשכול של 100 מיליארד דולר. האם זה 1 GW? או שזה 10 GW? אני לא יודע, אבל אם תנסו למפות כמה יקר יהיה אשכול ה-10 GW, זה כמה מאות מיליארדים. זה בערך בסדר הגודל הזה והם מתכננים את זה. זה לא רק התפיסה המטורפת שלי. AMD חזתה שוק של 400 מיליארד דולר למאיצי AI עד 2027. מאיצי AI הם רק חלק מההוצאות. אנחנו במסלול מלא להשקעה כוללת של טריליון דולר ב-AI עד 2027. אשכול הטריליון דולר ידרוש קצת יותר האצה. ראינו כמה ChatGPT שחרר. כל דור, המודלים יהיו מטורפים ויזיזו את חלון אוברטון. אז ההכנסות יגיעו. אלו השקעות צופות פני עתיד. השאלה היא, האם הן משתלמות? בואו נעריך את אשכול GPT-4 בסביבות 500 מיליון דולר. יש טעות נפוצה שאנשים עושים, ואומרים שזה היה 100 מיליון דולר עבור GPT-4. זו רק עלות השכירות. אם אתה בונה את האשכול הגדול ביותר, אתה צריך לבנות ולשלם עבור כל האשכול. אתה לא יכול פשוט לשכור אותו לשלושה חודשים. אתה לא יכול? ברגע שאתה מנסה להגיע למאות מיליארדים, אתה צריך להגיע לכ-100 מיליארד דולר בשנה בהכנסות. כאן זה הופך להיות ממש מעניין עבור חברות הטכנולוגיה הגדולות כי ההכנסות שלהן הן בסדר גודל של מאות מיליארדים. 10 מיליארד דולר זה בסדר. זה ישתלם לאשכול האימון בגודל 2024. זה יהיה ממש מדהים עם ענקיות הטכנולוגיה כשהעלות תהיה 100 מיליארד דולר בשנה. השאלה היא כמה ריאלי להשיג 100 מיליארד דולר בשנה מהכנסות AI. זה הרבה יותר ממה שיש עכשיו. אם אתה מאמין במסלול של מערכות AI כמוני, זה לא כל כך מטורף. יש בערך 300 מיליון מנויי Office של מיקרוסופט. יש להם עכשיו Copilot. אני לא יודע כמה הם מוכרים אותו. נניח שמכרת תוסף AI כלשהו ב-100 דולר לחודש לשליש ממנויי Office. זה יהיה 100 מיליארד דולר ישר שם. 100 דולר לחודש זה הרבה. זה הרבה עבור שליש ממנויי Office. עבור העובד הידע הממוצע, זה כמה שעות של פרודוקטיביות בחודש. אתה צריך לצפות להתקדמות AI די עלובה כדי לא להגיע לכמה שעות של פרודוקטיביות בחודש. בטח, בואו נניח את כל זה. מה קורה בשנים הקרובות? מה יכול לעשות ה-AI שאומן במרכז הנתונים של 1 GW? מה לגבי זה שבמרכז הנתונים של 10 GW? פשוט תמפה את השנים הקרובות של התקדמות AI עבורי. טווח ה-10 GW הוא ההערכה הטובה ביותר שלי מתי מגיעים ל-AGI אמיתי. כוח מחשוב הוא למעשה מוגזם. נדבר על זה. עד 2025-2026, נקבל מודלים שהם בעצם חכמים יותר מרוב בוגרי המכללות. הרבה מהתועלת הכלכלית תלויה ב"שחרור". המודלים חכמים אך מוגבלים. יש צ'אטבוטים ויש דברים כמו היכולת להשתמש במחשב ולבצע משימות ארוכות טווח סוכנותיות. עד 2027-2028, זה יהיה חכם כמו המומחים החכמים ביותר. מסלול ה"שחרור" מצביע על כך שהוא יהפוך להיות יותר כמו סוכן מאשר צ'אטבוט. זה יהיה כמעט כמו עובד מרחוק בהחלפה. זו השאלה לגבי התשואות הכלכליות. מערכות AI ביניים יכולות להיות שימושיות מאוד, אבל זה דורש הרבה "שליפה" כדי לשלב אותן. יש הרבה שאתה יכול לעשות עם GPT-4 או GPT-4.5 במקרה שימוש עסקי, אבל אתה באמת צריך לשנות את זרימות העבודה שלך כדי להפוך אותן לשימושיות. זו תפיסה מאוד בסגנון טיילר קואן. זה פשוט לוקח הרבה זמן להתפשט. אנחנו ב-SF ולכן מפספסים את זה. אבל במובן מסוים, הדרך שבה המערכות הללו רוצות להיות משולבות היא המקום שבו מקבלים את "בום הקול" הזה. מערכות ביניים יכלו לעשות זאת, אבל זה היה דורש "שליפה". לפני שתעשה את ה"שליפה" לשילובן, תקבל מערכות חזקות הרבה יותר ש"שוחררו". הן סוכנים, עובדים מרחוק בהחלפה. אתה מתקשר איתם כמו עמיתים לעבודה. אתה יכול לעשות איתם שיחות זום וסלאק. אתה יכול לבקש מהם לבצע פרויקט והם יוצאים וכותבים טיוטה ראשונה, מקבלים משוב, מריצים בדיקות על הקוד שלהם, וחוזרים. ואז אתה יכול להגיד להם עוד דברים. זה יהיה הרבה יותר קל לשלב. ייתכן שתצטרך קצת "יותר מדי" כדי להקל על המעבר ולקצור את הרווחים. למה אתה מתכוון ב"יותר מדי"? יותר מדי ביכולות המודל? כן, המודלים הבינוניים יכלו לעשות זאת, אבל זה היה דורש הרבה "שליפה". ה-AGI של עובד מרחוק בהחלפה יכול להפוך משימות קוגניטיביות לאוטומטיות. המודלים הבינוניים היו הופכים את מהנדס התוכנה ליותר פרודוקטיבי. אבל האם מהנדס התוכנה יאמץ את זה? עם מודל 2027, אתה פשוט לא צריך את מהנדס התוכנה. אתה יכול לתקשר איתו כמו מהנדס תוכנה, והוא יעשה את העבודה של מהנדס תוכנה. הפרק האחרון שעשיתי היה עם ג'ון שולמן. שאלתי על זה. יש לנו את המודלים האלה שיצאו בשנה האחרונה ואף אחד מהם לא נראה שחצה משמעותית את GPT-4, בוודאי לא באופן סוכנותי שבו הם מתקשרים איתך כעמית לעבודה. הם יתגאו בכמה נקודות נוספות ב-MMLU. אפילו עם GPT-4o, זה מגניב שהם יכולים לדבר כמו סקרלט ג'והנסון (אני מניח שלא יותר), אבל זה לא כמו עמית לעבודה. זה הגיוני למה הם יהיו טובים במענה על שאלות. יש להם נתונים כיצד להשלים טקסט בוויקיפדיה. איפה הנתונים האימוניים המקבילים להבנת שיחת זום? בהתייחסות לנקודה שלך לגבי שיחת סלאק, איך היא יכולה להשתמש בהקשר כדי להבין את הפרויקט הלכיד שאתה עובד עליו? מאיפה מגיעים נתוני האימון האלה? שאלה מרכזית להתקדמות AI בשנים הקרובות היא כמה קשה לפתוח את עודף מחשוב זמן הבדיקה. כרגע, GPT-4 יכול לעשות כמה מאות טוקנים עם שרשרת מחשבה. זו כבר שיפור עצום. לפני כן, מענה על שאלה במתמטיקה היה פשוט ירי תותחים. אם היית מנסה לענות על שאלה במתמטיקה על ידי אמירת הדבר הראשון שעולה בראשך, לא היית טוב במיוחד. GPT-4 חושב כמה מאות טוקנים. אם אני חושב ב-100 טוקנים בדקה, זה בערך מה ש-GPT-4 עושה. זה שווה ערך לי לחשוב שלוש דקות. נניח ש-GPT-4 יכול לחשוב מיליוני טוקנים. זה +4 OOMs על מחשוב זמן בדיקה בבעיה אחת. הוא לא יכול לעשות את זה עכשיו. הוא נתקע. הוא כותב קוד. הוא יכול לעשות קצת ניפוי שגיאות איטרטיבי, אבל בסופו של דבר נתקע ולא יכול לתקן את השגיאות שלו. יש עודף גדול. בתחומי ML אחרים, יש מאמר נהדר על AlphaGo, שבו אתה יכול לסחור בזמן אימון ובזמן בדיקה. אם אתה יכול להשתמש ב-4 OOMs יותר מחשוב זמן בדיקה, זה כמעט כמו מודל גדול פי 3.5 OOM. שוב, אם זה 100 טוקנים בדקה, כמה מיליוני טוקנים זה כמה חודשי עבודה. יש הרבה יותר שאתה יכול לעשות בכמה חודשי עבודה מאשר פשוט לקבל תשובה עכשיו. השאלה היא כמה קשה לפתוח את זה? בטווח הקצר של עולם ה-AI, זה לא כל כך קשה. הסיבה לכך שאולי זה לא כל כך קשה היא שיש רק כמה טוקנים נוספים ללמוד. אתה צריך ללמוד דברים כמו טוקני תיקון שגיאות שבהם אתה אומר "אה, עשיתי טעות, בוא נחשוב על זה שוב". אתה צריך ללמוד טוקני תכנון שבהם זה כמו "אני אתחיל על ידי יצירת תוכנית. הנה תוכנית ההתקפה שלי. אני אכתוב טיוטה ועכשיו אני אבקר את הטיוטה שלי ואחשוב על זה". אלו לא דברים שמודלים יכולים לעשות עכשיו, אבל השאלה היא כמה קשה זה. יש שני מסלולים לסוכנים. כששולטו היה בפודקאסט שלך, הוא דיבר על כך שהגדלה מובילה ליותר תשעיות של אמינות. זה מסלול אחד. המסלול השני הוא מסלול ה"שחרור". הוא צריך ללמוד את תהליך מערכת 2 הזה. אם הוא יכול ללמוד את זה, הוא יכול להשתמש במיליוני טוקנים ולחשוב באופן קוהרנטי. הנה אנלוגיה. כשאתה נוהג, אתה בטייס אוטומטי רוב הזמן. לפעמים אתה נתקל באזור בנייה מוזר או בצומת. לפעמים חברה שלי יושבת במושב הנוסע ואני אומר "אה, שתקי לרגע, אני צריך להבין מה קורה". אתה עובר מטייס אוטומטי למערכת 2 ואתה חושב איך לעשות את זה. הגדלה משפרת את טייס המערכת 1 האוטומטי הזה. הדרך הכוחנית להגיע לסוכנים היא שיפור המערכת הזו. אם אתה יכול לגרום למערכת 2 לעבוד, אתה יכול לקפוץ במהירות למשהו יותר סוכנותי ועודף מחשוב זמן הבדיקה נפתח. מה הסיבה לחשוב שזה ניצחון קל? האם יש פונקציית הפסד כלשהי שמאפשרת בקלות חשיבת מערכת 2? אין הרבה בעלי חיים עם חשיבת מערכת 2. לקח לאבולוציה הרבה זמן לתת לנו חשיבת מערכת 2. אימון מקדים יש טריליוני טוקנים של טקסט אינטרנטי, אני מבין את זה. אתה מתאים את זה ומקבל את כל יכולות האימון החינמיות האלה. מה הסיבה לחשוב שזה "שחרור" קל? קודם כל, אימון מקדים הוא קסם. זה נתן לנו יתרון עצום למודלים של אינטליגנציה כללית כי אתה יכול לחזות את הטוקן הבא. אבל יש תפיסה מוטעית נפוצה. חיזוי הטוקן הבא מאפשר למודל ללמוד ייצוגים עשירים להפליא. תכונות למידת ייצוג הן הקסם של למידה עמוקה. במקום רק ללמוד ארטיפקטים סטטיסטיים, המודלים לומדים מודלים של העולם. זו הסיבה שהם יכולים להכליל, כי הם למדו את הייצוגים הנכונים. כשאתה מאמן מודל, יש לך את החבילה הגולמית הזו של יכולות שהיא שימושית. ה"שחרור" מ-GPT-2 ל-GPT-4 לקח את המסה הגולמית הזו ו-RLHF'd אותה לצ'אטבוט טוב. זה היה ניצחון עצום. במאמר המקורי של InstructGPT, השוואת מודלים של RLHF לעומת מודלים לא-RLHF זה כמו ניצחון של פי 100 בגודל מודל בדירוג העדפות אנושיות. זה התחיל להיות מסוגל לבצע שרשרת מחשבה פשוטה וכן הלאה. אבל עדיין יש לך את היתרון הזה של כל היכולות הגולמיות הללו, ועדיין יש הרבה שאתה לא עושה איתן. יתרון האימון המקדים הזה הוא גם ההבדל לרובוטיקה. אנשים נהגו לומר שזו בעיית חומרה. החומרה נפתרת, אבל אין לך את היתרון העצום הזה של אתחול עם אימון מקדים. אין לך את כל הלמידה הלא מפוקחת הזו שאתה יכול לעשות. אתה צריך להתחיל מיד עם משחק עצמי של RL. השאלה היא למה RL ו"שחרור" עשויים לעבוד. אתחול הוא יתרון. ביוגרפיית הטוויטר שלך עוברת אימון מקדים. אתה כבר לא עובר אימון מקדים. עברת אימון מקדים בבית הספר היסודי ובתיכון. בשלב מסוים, אתה עובר ליכולת ללמוד בעצמך. לא יכולת לעשות זאת בבית הספר היסודי. תיכון הוא כנראה המקום שבו זה התחיל ובאוניברסיטה, אם אתה חכם, אתה יכול ללמד את עצמך. מודלים רק מתחילים להיכנס למשטר הזה. זה קצת יותר הגדלה ואז אתה מבין מה קורה למעלה. זה לא יהיה טריוויאלי. הרבה למידה עמוקה נראית ברורה בדיעבד. יש צבר ברור של רעיונות. יש כמה רעיונות שנראים קצת טיפשיים אבל עובדים. יש הרבה פרטים שאתה צריך לעשות נכון. אנחנו לא נקבל את זה בחודש הבא. ייקח זמן להבין את זה. זמן עבורך זה כמו חצי שנה. אני לא יודע, בין שישה חודשים לשלוש שנים. אבל זה אפשרי. זה גם קשור מאוד לסוגיית "קיר הנתונים". הנה אינטואיציה אחת על למידה עצמית. אימון מקדים הוא קצת כמו המורה מרצה לך והמילים חולפות. אתה מקבל מזה רק קצת. זה לא מה שאתה עושה כשאתה לומד בעצמך. כשאתה לומד בעצמך, נניח שאתה קורא ספר לימוד מתמטיקה צפוף, אתה לא רק עובר עליו פעם אחת. כמה "וורדסלים" פשוט עוברים עליו וקוראים שוב ושוב את ספר הלימוד במתמטיקה והם זוכרים. מה שאתה עושה זה שאתה קורא עמוד, חושב עליו, יש לך מונולוג פנימי שרץ, ויש לך שיחה עם חבר לימודים. אתה מנסה בעיית תרגול ונכשל כמה פעמים. בשלב מסוים זה "קליק", ואתה אומר, "זה הגיוני". ואז אתה קורא עוד כמה עמודים. אנחנו איכשהו העלנו את עצמנו כדי להתחיל להיות מסוגלים לעשות את זה עכשיו עם מודלים. השאלה היא, האם אתה יכול להשתמש בכל ה"משחק העצמי", הנתונים הסינתטיים, ה-RL כדי לגרום לדבר הזה לעבוד. כרגע, יש למידה בהקשר, שהיא יעילה במיוחד מבחינת דגימה. במאמר של Gemini, הוא פשוט לומד שפה בהקשר. אימון מקדים, לעומת זאת, אינו יעיל כלל מבחינת דגימה. מה שבני אדם עושים זה סוג של למידה בהקשר. אתה קורא ספר, חושב עליו, עד שבסופו של דבר זה "קליק". ואז אתה איכשהו מזקק את זה בחזרה למשקולות. במובן מסוים, זה מה ש-RL מנסה לעשות. RL הוא מאוד פיקחי, אבל כשהוא עובד הוא קסום. זה הנתונים הטובים ביותר האפשריים עבור המודל. זה כשאתה מנסה בעיית תרגול, נכשל, ובשלב מסוים מבין את זה באופן שנעשה לך הגיוני. זה הנתונים הטובים ביותר האפשריים עבורך כי זו הדרך שבה היית פותר את הבעיה, ולא רק קריאה כיצד מישהו אחר פתר את הבעיה, מה שלא "קליק" בהתחלה. דרך אגב, אם התפיסה הזו נשמעת מוכרת, זה בגלל שהיא הייתה חלק מהשאלה ששאלתי את ג'ון שולמן. זה ממחיש את הדבר שאמרתי בהקדמה. הרבה מהדברים שלמדתי על AI מגיעים מהארוחות ערב שאנו עורכים לפני הראיונות איתי, איתך, שולטו, ועוד כמה. אנחנו אומרים, "מה עלינו לשאול את ג'ון שולמן, מה עלינו לשאול את דאריו." נניח שזה הדרך שבה הדברים מתנהלים ואנחנו מקבלים את ה"שחרורים" האלה – והגדלה. יש לך את הבסיס הזה של הכוח העצום הזה של הגדלה. GPT-2 היה מדהים. הוא יכול היה לחבר משפטים סבירים, אבל הוא בקושי יכול היה לעשות משהו. הוא היה קצת כמו ילד בגן. GPT-4, לעומת זאת, יכול היה לכתוב קוד ולעשות מתמטיקה קשה, כמו תלמיד תיכון חכם. הקפיצה הגדולה הזו ביכולת נחקרת בסדרת המאמרים. אני סופר את סדרי הגודל של כוח המחשוב והגדלת ההתקדמות האלגוריתמית. הגדלה לבדה עד 2027-2028 תעשה קפיצה נוספת מגן ילדים לתיכון מעבר ל-GPT-4. ברמת טוקן בודד, המודלים יהיו חכמים להפליא. הם יצברו יותר אמינות, ועם הוספת ה"שחרורים", הם ייראו פחות כמו צ'אטבוטים ויותר כמו סוכנים או עובדים מרחוק בהחלפה. אז הדברים באמת יתחילו. אני רוצה לשאול עוד שאלות על זה, אבל בואו נתמקד. נניח שאתה צודק לגבי זה. זה בגלל אשכול 2027 שהוא ב-10 GW? 2028 הוא 10 GW. אולי זה יקרה מוקדם יותר. משהו כמו רמה 5.5 עד 2027, מה שזה לא יהיה. איך נראה העולם באותה נקודה? יש לך את העובדים המרוחקים האלה שיכולים להחליף אנשים. מה התגובה לכך מבחינת הכלכלה, הפוליטיקה והגיאופוליטיקה? שנת 2023 הייתה שנה מעניינת באמת לחוות כאדם שעקב באמת אחרי ענייני AI. מה עשית ב-2023? OpenAI. כשאתה היית ב-OpenAI ב-2023, זה היה דבר מוזר. כמעט לא רצית לדבר על AI או AGI. זה היה קצת מילה גסה. ואז ב-2023, אנשים ראו את ChatGPT בפעם הראשונה, הם ראו את GPT-4, וזה פשוט התפוצץ. זה עורר הוצאות הון עצומות מכל החברות הללו ופיצוץ בהכנסות מ-Nvidia וכן הלאה. הדברים היו שקטים מאז, אבל הדבר הבא היה בתנור. אני מצפה שכל דור הכוחות הללו יתעצמו. אנשים יראו את המודלים. הם לא יספרו את ה-OOMs ולכן הם יופתעו. זה יהיה קצת מטורף. ההכנסות יאיצו. נניח שתגיע ל-10 מיליארד דולר עד סוף השנה. נניח שזה פשוט ימשיך במסלול של הכנסות שמתכפלות כל שישה חודשים. זה לא כל כך רחוק מ-100 מיליארד דולר, אולי עד 2026. בשלב מסוים, מה שקרה ל-Nvidia יקרה לענקיות הטכנולוגיה. זה יתפוצץ. הרבה יותר אנשים ירגישו את זה. שנת 2023 הייתה הרגע בשבילי שבו AGI עבר מלהיות דבר תיאורטי, מופשט. אני רואה את זה, אני מרגיש את זה, ואני רואה את הדרך. אני רואה לאן זה הולך. אני יכול לראות את האשכול שהוא מאומן עליו, את השילוב הגס של האלגוריתמים, את האנשים, איך זה קורה. רוב העולם עדיין לא שם. רוב האנשים שמרגישים את זה נמצאים ממש כאן. הרבה יותר מהעולם יתחיל להרגיש את זה. זה יתחיל להיות אינטנסיבי. כרגע, מי מרגיש את זה? אתה יכול להיכנס לטוויטר ויש את חברות ה"עטיפה" של GPT, כמו, "וואו, GPT-4 ישנה את העסק שלנו". אני מאוד דובי לגבי חברות העטיפה כי הן מהמרות על סטגנציה. הן מהמרות על כך שיש לך את המודלים הבינוניים האלה וזה דורש כל כך הרבה "שליפה" לשלב אותם. אני מאוד דובי כי אנחנו פשוט ניתן לך "בום קול". נקבל את ה"שחרורים". נקבל את עובד ה-AI המרוחק בהחלפה. הדברים שלך לא יהיו רלוונטיים. אז זה נגמר. SF, הקהל הזה, שם לב עכשיו. מי ישים לב ב-2026 וב-2027? כנראה, אלו שנים שבהן מושקעים מאות מיליארדים של הוצאות הון על AI. מדינת הביטחון הלאומי תתחיל לשים לב הרבה. אני מקווה שנדבר על זה. בואו נדבר על זה עכשיו. מה קורה? מהי התגובה הפוליטית המיידית? במבט בינלאומי, אני לא יודע אם שי ג'ינפינג רואה את חדשות GPT-4 ואומר, "אלוהים אדירים, תראו את ציון ה-MMLU של זה. מה אנחנו עושים לגבי זה, חבר?" אז מה קורה כשהוא רואה מחליף עובדים מרחוק ויש לו 100 מיליארד דולר בהכנסות? יש הרבה עסקים שיש להם 100 מיליארד דולר בהכנסות, ואנשים לא נשארים ערים כל הלילה לדבר על זה. השאלה היא, מתי ה-CCP ומתי מנגנון הביטחון הלאומי האמריקאי יבינו שסופר-אינטליגנציה תהיה מכרעת לחלוטין לכוח לאומי? כאן נכנסים ענייני פיצוץ האינטליגנציה, שעליהם עלינו לדבר מאוחר יותר. יש לך AGI. יש לך את עובד ה-AI המרוחק בהחלפה שיכול להחליף אותך או אותי, לפחות עבור עבודות מרחוק. די מהר, אתה מסובב את הידית עוד פעם או שתיים ואתה מקבל דבר שהוא חכם יותר מבני אדם. אפילו יותר מאשר רק לסובב את הידית עוד כמה פעמים, אחת מהעבודות הראשונות שתהפוך לאוטומטית תהיה זו של חוקר או מהנדס AI. אם אתה יכול להפוך מחקר AI לאוטומטי, דברים יכולים להתחיל לקרות מהר מאוד. כרגע, כבר יש במגמה הזו של 0.5 OOMs בשנה של התקדמות אלגוריתמית. בשלב מסוים, יהיו לך צי fleets של GPU בעשרות מיליונים להסקה או יותר. תוכל להפעיל 100 מיליון בני אדם מקבילים של חוקרי AI אוטומטיים אלה. אם אתה יכול לעשות את זה, אתה יכול אולי לעשות עשור של התקדמות מחקר ML בשנה. אתה מקבל סוג של האצה פי 10. אתה יכול לעשות את הקפיצה ל-AI שהוא חכם הרבה יותר מבני אדם תוך שנה, שנתיים. זה מתרחב משם. יש לך את ההאצה הראשונית הזו של מחקר AI. אתה מיישם מו"פ על הרבה תחומי טכנולוגיה אחרים. בשלב זה, יש לך מיליארד חוקרי על, מהנדסים, טכנאים, הכל. הם בעלי יכולת מעולה בכל הדברים. הם יפתרו את הרובוטיקה. דיברנו על זה כבעיה של תוכנה. ובכן, יש לך מיליארד חוקרי AI חכמים במיוחד – חכמים יותר מחוקרי האנוש החכמים ביותר – באשכול שלך. בשלב מסוים במהלך פיצוץ האינטליגנציה, הם יוכלו לפתור את הרובוטיקה. שוב, זה יתרחב. אם אתה מציג את התמונה הזו קדימה, היא שונה מאוד מכל טכנולוגיה אחרת. כמה שנים של יתרון יכולות להיות מכריעות לחלוטין, נניח, בתחרות צבאית. אם מסתכלים על מלחמת המפרץ הראשונה, לכוחות הקואליציה המערבית היה יחס הריגה של 100:1. היו להם חיישנים טובים יותר בטנקים שלהם. היו להם טילים מדויקים יותר, GPS, וחמקנות. היה להם יתרון טכנולוגי של אולי 20-30 שנה. הם פשוט ריסקו אותם לחלוטין. סופר-אינטליגנציה המיושמת על תחומי מו"פ רחבים – והפיצוץ התעשייתי הנובע מכך, רובוטים המייצרים הרבה חומר – יכולים לדחוס מאה שנות התקדמות טכנולוגית לפחות מעשור. זה אומר שכמה שנים יכולות להביא יתרון בסגנון מלחמת המפרץ 1 בעניינים צבאיים. זה כולל יתרון מכריע שמונע אפילו נשק גרעיני. איך מוצאים צוללות גרעיניות חמקניות? כרגע, יש לך חיישנים ותוכנה לזהות היכן הם נמצאים. אתה יכול לעשות את זה. אתה יכול למצוא אותם. יש לך מיליוני או מיליארדי רחפנים בגודל יתוש, והם מחסלים את הצוללות הגרעיניות. הם מחסלים את המשגרים הניידים. הם מחסלים את הנשק הגרעיני האחר. זה פוטנציאלית מערער יציבות באופן עצום וחשוב ביותר לכוח לאומי. בשלב מסוים אנשים יבינו את זה. עדיין לא, אבל הם יבינו. כשיבינו, לא רק חוקרי ה-AI יהיו אחראים. ה-CCP יעשה מאמץ כולל לחדור למעבדות ה-AI האמריקאיות. זה יכלול מיליארדי דולרים, אלפי אנשים, ואת מלוא הכוח של משרד הביטחון המדינתי. ה-CCP ינסה לבנות יותר מאיתנו. הם הוסיפו כל כך הרבה כוח בעשור האחרון כמו רשת חשמל אמריקאית שלמה. אז אשכול ה-100 GW, לפחות חלק ה-100 GW ממנו, יהיה קל הרבה יותר עבורם להשיג. עד לנקודה זו, זו תהיה תחרות בינלאומית אינטנסיבית ביותר. דבר אחד שאני לא בטוח לגביו בתמונה הזו הוא אם זה כמו מה שאתה אומר, שזה יותר פיצוץ. פיתחת AGI. אתה הופך אותו לחוקר AI. למשך זמן מה, אתה רק משתמש ביכולת הזו כדי ליצור מאות מיליוני חוקרי AI אחרים. הדבר שיוצא מהתהליך המטורף הזה הוא סופר-אינטליגנציה. ואז זה יוצא לעולם ומפתח רובוטיקה ועוזר לך להשתלט על מדינות אחרות וכל מה שזה לא יהיה. זה קצת יותר הדרגתי. זה פיצוץ שמתחיל באופן צר. הוא יכול לעשות עבודות קוגניטיביות. השימוש עם ה-ROI הגבוה ביותר עבור עבודות קוגניטיביות הוא לשפר את ה-AI ולפתור רובוטיקה. כשאתה פותר רובוטיקה, עכשיו אתה יכול לעשות מו"פ בביולוגיה ובטכנולוגיה אחרת. בתחילה, אתה מתחיל עם פועלי המפעל. הם לובשים משקפיים ואיירפודס, וה-AI מדריך אותם כי אתה יכול להפוך כל עובד לטכנאי מיומן. ואז מגיעים הרובוטים. אז התהליך הזה מתרחב. משקפי Ray-Ban של Meta הם משלימים ל-Llama. עם מפעלי הייצור בארה"ב, המגבלה שלהם היא עובדים מיומנים. גם אם אין לך רובוטים, יש לך את האינטליגנציה הקוגניטיבית העל ויכולה להפוך אותם מיד לכל העובדים המיומנים. זו תקופה קצרה מאוד. רובוטים יגיעו בקרוב. נניח שזה באמת איך שהטכנולוגיה מתקדמת בארצות הברית, אולי בגלל שהחברות הללו כבר מייצרות מאות מיליארדי דולרים בהכנסות AI. בשלב זה, חברות לווות מאות מיליארדים או יותר בשוקי החוב התאגידי. למה פקיד CCP, איזה גבר בן 60, מסתכל על זה ואומר, "אה, Copilot השתפר עכשיו" ועכשיו – זה הרבה יותר מ-Copilot השתפר עכשיו. זה ידרוש שינוי של הייצור של מדינה שלמה, הזזת אנרגיה שמשמשת אחרת למוצרי צריכה או משהו, והזנת כל זה למרכזי הנתונים. חלק מכל הסיפור הזה הוא שאתה מבין שסופר-אינטליגנציה מגיעה בקרוב. אתה מבין את זה ואולי אני מבין את זה. אני לא בטוח כמה אני מבין את זה. האם מנגנון הביטחון הלאומי בארצות הברית וה-CCP יבינו את זה? זו שאלה מפתח אמיתית. יש לנו עוד כמה שנים של "משחק אמצע". יש לנו עוד כמה "2023s". זה פשוט מתחיל לעדכן יותר ויותר אנשים. קווי המגמה יהיו ברורים. תראו כמות מסוימת של הדינמיקה של COVID. COVID בפברואר 2020 מרגיש בכנות כמו היום. זה מרגיש כמו דבר מטורף לחלוטין שמגיע. אתה רואה את האקספוננציאליות ובכל זאת רוב העולם פשוט לא מבין את זה. ראש עיריית ניו יורק אומר, "צאו להצגות", ו"זה פשוט גזענות אסייתית". בשלב מסוים, אנשים ראו את זה ואז הגיעו תגובות מטורפות ורדיקליות. דרך אגב, מה עשית במהלך COVID? האם זו הייתה השנה הראשונה או השנייה שלך? שלישית. עדיין, היית כמו בן 17 או משהו, נכון? האם מכרת בחסר את השוק או משהו? האם מכרת בזמן הנכון? כן. אז יהיה רגע של מרץ 2020. אתה יכול לעשות את האנלוגיה שאתה עושה בסדרה שלך, שזה יגרום לתגובה כמו, "אנחנו צריכים לעשות שוב את פרויקט מנהטן עבור אמריקה כאן". אני תוהה איך יהיו הפוליטיקות של זה. ההבדל כאן הוא שזה לא רק, "אנחנו צריכים את הפצצה כדי לנצח את הנאצים". אנחנו נבנה את הדבר הזה שגורם לכל מחירי האנרגיה שלנו לעלות הרבה והוא הופך הרבה מהעבודות שלנו לאוטומטיות. לגבי שינויי האקלים, אנשים יגידו, "אלוהים אדירים, זה מחמיר את שינויי האקלים וזה עוזר לענקיות הטכנולוגיה". מבחינה פוליטית, זה לא נראה כמו דינמיקה שבה מנגנון הביטחון הלאומי או הנשיא אומרים, "אנחנו צריכים ללחוץ על הגז כאן ולהבטיח שאמריקה תנצח". שוב, הרבה מזה תלוי באמת בכמה אנשים מרגישים את זה וכמה אנשים רואים את זה. הדור שלנו כל כך רגיל לשלום, להגמוניה אמריקאית וששום דבר לא משנה. הנורמה ההיסטורית היא מאוד של דברים אינטנסיביים ויוצאי דופן שקורים בעולם עם תחרות בינלאומית אינטנסיבית. יש תקופה ייחודית של 20 שנה. במלחמת העולם השנייה, משהו כמו 50% מהתמ"ג הלך לייצור מלחמה. ארה"ב לוו מעל 60% מהתמ"ג. עם גרמניה ויפן אני חושב שזה היה מעל 100%. במלחמת העולם הראשונה, בריטניה, צרפת וגרמניה לוו מעל 100% מהתמ"ג. הרבה יותר היה על הפרק. אנשים מדברים על מלחמת העולם הראשונה שהייתה כל כך הרסנית עם 20 מיליון חיילים סובייטים שנהרגו ו-20% מפולין. זה קרה כל הזמן. במהלך מלחמת שבע השנים משהו כמו 20-30% מפרוסיה נהרגו. במלחמת שלושים השנים, עד 50% מחלק גדול של גרמניה נהרגו. האם אנשים יראו שהסיכונים כאן באמת גבוהים ושההיסטוריה חזרה? מדינת הביטחון הלאומי האמריקאית חושבת ברצינות רבה על דברים כאלה. הם חושבים ברצינות רבה על תחרות עם סין. סין חושבת מאוד על עצמה במשימה היסטורית זו של התחדשות האומה הסינית. הם חושבים הרבה על כוח לאומי. הם חושבים הרבה על הסדר העולמי. יש שאלה אמיתית לגבי תזמון. האם הם יתחילו לקחת את זה ברצינות כשהפיצוץ האינטליגנציה כבר מתרחש די מאוחר? האם הם יתחילו לקחת את זה ברצינות שנתיים מוקדם יותר? זה משנה הרבה לאופן שבו הדברים יתפתחו. בשלב מסוים הם יעשו זאת והם יבינו שזה יהיה מכריע לחלוטין לא רק עבור מלחמת פרוקסי כלשהי, אלא עבור שאלות גדולות. האם הדמוקרטיה הליברלית יכולה להמשיך לשגשג? האם ה-CCP יכול להמשיך להתקיים? זה יפעיל כוחות שלא ראינו זמן רב. קונפליקט מעצמות גדול בהחלט נראה משכנע. כל מיני דברים שונים נראים הרבה יותר סבירים כשחושבים מפרספקטיבה היסטורית. אתה מתמקד מעבר לדמוקרטיה הליברלית שבה הייתה לנו הזכות לחיות באמריקה במשך 80 השנים האחרונות. זה כולל דברים כמו דיקטטורות, מלחמה, רעב וכו'. קראתי את "ארכיפלג גולאג" ואחד הפרקים מתחיל עם סולז'ניצין שאומר שאם היית אומר לאזרח רוסי תחת הצארים שבגלל כל הטכנולוגיות החדשות הללו – לא היינו רואים התחדשות רוסית גדולה עם רוסיה הופכת למעצמה גדולה והאזרחים מתעשרים – היית רואה עשרות מיליוני אזרחים סובייטים מעונים על ידי מיליוני חיות בדרכים הגרועות ביותר. אם היית אומר להם שזה יהיה התוצאה של המאה ה-20, הם לא היו מאמינים לך. הם היו קוראים לך מלבין דיבה. האפשרויות לדיקטטורה עם סופר-אינטליגנציה הן אפילו יותר מטורפות. דמיין שיש לך צבא וכוח ביטחון נאמנים לחלוטין. אין יותר מרד. אין יותר התקוממויות עממיות. יש לך זיהוי שקר מושלם. יש לך מעקב אחרי כולם. אתה יכול להבין בדיוק מי המתנגד ולעקור אותו. אין גורבצ'וב שהיו לו ספקות מסוימים לגבי המערכת היו עולים לשלטון. שום הפיכה צבאית לא הייתה מתרחשת. יש דרך אמיתית שבה חלק מהסיבה שהדברים הסתדרו היא שרעיונות יכולים להתפתח. יש איזשהו מובן שבו הזמן מרפא הרבה פצעים ופותר הרבה ויכוחים. לאורך זמן, הרבה אנשים היו להם אמונות חזקות מאוד, אבל הרבה מהן הופרכו לאורך זמן בגלל שהייתה פלורליזם מתמשך ואבולוציה. דמיין ליישם גישה בסגנון CCP לאמת שבה אמת היא מה שהמפלגה אומרת. כשאתה מחזק את זה עם סופר-אינטליגנציה, זה יכול פשוט להיות נעול ומקודש לזמן רב. האפשרויות מפחידות למדי. לנקודה שלך לגבי היסטוריה ומגורים באמריקה בשמונה השנים האחרונות, זה אחד הדברים שלקחתי מגידול בגרמניה. הרבה מהדברים האלה מרגישים יותר ויזואליים. אמי גדלה במזרח לשעבר, אבי במערב לשעבר. הם נפגשו זמן קצר לאחר נפילת החומה. סוף המלחמה הקרה היה רגע מכריע ביותר עבורי כי זו הסיבה שאני קיים. גדלתי בברלין עם החומה לשעבר. סבתא רבתא שלי, שעדיין בחיים, חשובה מאוד בחיי. היא נולדה ב-1934 וגדלה בתקופת הנאצים. במלחמת העולם השנייה, היא ראתה את ההפצצה של דרזדן מבית הכפר הזה שבו הם היו כילדים. ואז היא בילתה את רוב חייה בדיקטטורה הקומוניסטית של מזרח גרמניה. היא הייתה מספרת לי איך טנקים סובייטים הגיעו כשהייתה ההתקוממות העממית ב-1954. בעלה אמר לה לחזור הביתה מהר מאוד ולרדת מהרחובות. היה לה בן שניסה לרכוב על אופנוע מעבר למסך הברזל ואז נכלא בכלא שטזי לזמן מה. לבסוף, כשהיא כמעט בת 60, זו הייתה הפעם הראשונה שהיא חיה במדינה חופשית, ובמדינה עשירה. כשהייתי ילד, הדבר שהיא באמת לא רצתה שאעשה היה להתערב בפוליטיקה. הצטרפות למפלגה פוליטית הייתה בעלת קונוטציות רעות מאוד עבורה. היא גידלה אותי כשהייתי צעיר. אז זה לא מרגיש כל כך מזמן. זה מרגיש קרוב מאוד. יש דבר אחד שאני תוהה לגביו כשמדברים היום על ה-CCP. האנשים בסין שיעשו את הגרסה שלהם לפרויקט הזה יהיו חוקרי AI שהם במידה מסוימת מערביים. הם יקבלו חינוך במערב או יהיו להם קולגות במערב. האם הם יחתמו על פרויקט ה-CCP שימסור את השליטה לשי ג'ינפינג? מה דעתך על זה? ביסודו של דבר, הם פשוט אנשים, נכון? אי אפשר לשכנע אותם לגבי הסכנות של סופר-אינטליגנציה? האם הם יהיו אחראים בכל זאת? במובן מסוים, זה גם המצב בארה"ב. זה כמו ההשפעה המואצת של עובדי המעבדה. כרגע, לעובדי מעבדות AI יש כל כך הרבה כוח. ראיתם את אירוע נובמבר הזה. כל כך הרבה כוח. שניהם יהפכו לאוטומטיים והם יאבדו את כל כוחם. יהיו רק כמה אנשים אחראים עם צבאות ה-AI האוטומטיים שלהם. זה גם הפוליטיקאים והגנרלים ומדינת הביטחון הלאומי. יש כמה מהסצנות הקלאסיות האלה מהסרט אופנהיימר. המדענים בנו את זה ואז הפצצה נשלחה משם והיא הייתה מחוץ לידיהם. זה טוב שעובדי המעבדה יהיו מודעים לכך. יש לך הרבה כוח עכשיו, אבל אולי לא לעוד הרבה זמן. השתמש בו בחוכמה. אני כן חושב שהם ירוויחו מכמה איברים נוספים של דמוקרטיה ייצוגית. למה אתה מתכוון בזה? באירועי הדירקטוריון של OpenAI, כוח העובדים מופעל בצורה מאוד דמוקרטית ישירה. איך חלק מזה התנהל באמת הדגיש את היתרונות של דמוקרטיה ייצוגית וקיום איברים דליברטיביים. מעניין. בואו נחזור לשאלת ההכנסות של 100 מיליארד דולר. החברות מנסות לבנות אשכולות בגודל הזה. איפה הן בונות את זה? נניח שזה כמות האנרגיה שתדרוש מדינה אמריקאית קטנה או בינונית. האם קולורדו אז לא תקבל חשמל כי זה קורה בארצות הברית? האם זה קורה במקום אחר? זה הדבר שתמיד מצחיק אותי, כשאתה מדבר על קולורדו שלא מקבלת חשמל. הדרך הקלה להשיג את החשמל תהיה להחליף דברים פחות שימושיים כלכלית. לקנות את מפעל התכת האלומיניום שיש לו ג'יגה-וואט. אנחנו נחליף אותו במרכז הנתונים כי זה חשוב. זה לא באמת קורה כי הרבה מחוזי החשמל האלה נעולים באמת לטווח ארוך. כמו כן, אנשים לא אוהבים דברים כאלה. בפועל מה שזה דורש, לפחות כרגע, זה בניית חשמל חדש. זה עשוי להשתנות. אז הדברים הופכים להיות מעניינים באמת, כשזה כמו, "לא, אנחנו פשוט מקדישים את כל החשמל ל-AGI". אז כרגע זה בניית חשמל חדש. 10 GW זה די בר ביצוע. זה כמו כמה אחוזים מייצור הגז הטבעי בארה"ב. כשיהיה לך את אשכול האימון של 10 GW, יהיה לך הרבה יותר הסקה. 100 ג'יגה-וואט זה איפה שזה מתחיל להיות די פראי. זה יותר מ-20% מייצור החשמל בארה"ב. זה די בר ביצוע, במיוחד אם אתה מוכן ללכת על גז טבעי. זה חשוב באופן קיצוני שהאשכולות הללו יהיו בארצות הברית. למה זה משנה שזה בארה"ב? יש אנשים שמנסים לבנות אשכולות במקומות אחרים. יש הרבה כסף מזרח תיכוני שזורם בחופשיות ומנסה לבנות אשכולות במקומות אחרים. זה חוזר לשאלת הביטחון הלאומי שדיברנו עליה. האם היית עושה את פרויקט מנהטן באיחוד האמירויות? אתה יכול לשים את האשכולות בארה"ב ואתה יכול לשים אותם בדמוקרטיות בעלות ברית. ברגע שאתה שם אותם בדיקטטורות סמכותניות, אתה יוצר סיכון ביטחוני בלתי הפיך. ברגע שהאשכול שם, הרבה יותר קל להם להוציא את המשקולות. הם יכולים ממש לגנוב את ה-AGI, את הסופר-אינטליגנציה. זה כאילו הם קיבלו עותק ישיר של פצצת האטום. זה מקל עליהם הרבה. יש להם קשרים מוזרים לסין. הם יכולים לשלוח את זה לסין. זה סיכון עצום. דבר נוסף הוא שהם יכולים פשוט להחרים את כוח המחשוב. הבעיה כאן היא שאנשים חושבים על זה כרגע כמו מוצרי ChatGPT, מוצרי ענקיות הטכנולוגיה, אשכולות. האשכולות שמתוכננים כעת, בעוד שלוש עד חמש שנים, עשויים להיות אשכולות ה-AGI, הסופר-אינטליגנציה. כשהדברים יתחממו, הם עשויים פשוט להחרים את כוח המחשוב. נניח שאנחנו שמים 25% מיכולת המחשוב בדיקטטורות המזרח התיכוניות הללו. נניח שהם מחרימים את זה. עכשיו זה יחס מחשוב של 3:1. עדיין יש לנו יותר, אבל אפילו עם רק 25% מכוח המחשוב שם זה מתחיל להיות די קשה. 3:1 זה לא יחס כל כך טוב. אתה יכול לעשות הרבה עם כמות כוח מחשוב כזו. נניח שהם לא עושים את זה בפועל. גם אם הם לא מחרימים את כוח המחשוב בפועל, גם אם הם לא גונבים את המשקולות בפועל, יש הרבה מינוף מרומז שאתה מקבל. הם מקבלים מושבים בשולחן ה-AGI. אני לא יודע למה אנחנו נותנים לדיקטטורות סמכותניות מושב בשולחן ה-AGI. יהיה הרבה כוח מחשוב במזרח התיכון אם העסקאות הללו יתבצעו. קודם כל, מי זה? האם זו פשוט כל חברת טכנולוגיה גדולה שמנסה להבין את זה שם? זה לא כולם, חלקם. יש דיווחים, אני חושב מיקרוסופט. אנחנו נצלול לזה. אז נניח שה-UAE מקבל הרבה כוח מחשוב כי אנחנו בונים שם את האשכולות. בואו נגיד שיש להם 25% מכוח המחשוב. למה יחס מחשוב חשוב? אם זה קשור ליכולת שלהם להפעיל את פיצוץ האינטליגנציה, האם זה לא רק סף כלשהו שבו יש לך 100 מיליון חוקרי AI או שאין לך? אתה יכול לעשות הרבה עם 33 מיליון מדענים חכמים במיוחד. זה עשוי להספיק כדי לבנות את כלי הנשק הביולוגיים המטורפים. ואז אתה נמצא במצב שבו הם גנבו את המשקולות והם החרימו את כוח המחשוב. עכשיו הם יכולים ליצור את כלי הנשק החדשים המטורפים האלה שיהיו אפשריים עם סופר-אינטליגנציה. עכשיו פשוט ריבבת את הדברים שיהיו חזקים מאוד. כמו כן, 3x על כוח מחשוב זה לא הרבה. המצב המסוכן ביותר הוא אם אנחנו נמצאים בסוג של מאבק בינלאומי צמוד מאוד, קדחתני. נניח שאנחנו מאוד קרובים ל-CCP ואנחנו חודשים בנפרד. המצב שבו אנחנו רוצים להיות בו – ויכולים להיות בו אם נשחק את הקלפים שלנו נכון – הוא קצת יותר כמו ארה"ב בונה את פצצת האטום לעומת הפרויקט הגרמני שנים מאחור. אם יש לנו את זה, יש לנו הרבה יותר חופש פעולה כדי לעשות את הבטיחות נכון. אנחנו נבנה את כלי הנשק החדשים המטורפים האלה שיערערו לחלוטין את ההרתעה הגרעינית. זה הרבה יותר קל להתמודד עם זה אם אין מישהו ממש על הזנב שלך ואתה צריך ללכת במהירות מקסימלית. אין לך חופש פעולה. אתה מודאג שבכל רגע הם יכולים לעקוף אותך. הם יכולים גם פשוט לנסות לבנות יותר מאיתנו. הם עשויים לנצח ממש. סין עשויה לנצח ממש אם היא תוכל לגנוב את המשקולות, כי היא יכולה לבנות יותר מאיתנו. ייתכן שיש להם פחות זהירות, הן זהירות טובה והן זהירות רעה מבחינת כל הרגולציות הלא סבירות שיש לנו. אם אתה במרוץ צמוד מאוד זה, המאבק הקדחתני הזה, אז יש את הסכנה הגדולה ביותר של הרס עצמי. כנראה שהחברות שמנסות לבנות אשכולות במזרח התיכון מבינות את זה. האם זה פשוט שאי אפשר לעשות את זה באמריקה? אם אתה רוצה שחברות אמריקאיות יעשו את זה בכלל, האם אתה צריך לעשות את זה במזרח התיכון או לא בכלל? ואז פשוט תן לסין לבנות אשכול של סכר שלושת הערוצים. יש כמה סיבות. אנשים לא חושבים על זה כאשכול ה-AGI סופר-אינטליגנציה. הם פשוט אומרים, "אה, אשכולות מגניבים עבור ה-ChatGPT שלי". אם אתה עושה כאלה להסקה, כנראה שאתה יכול לפזר אותם ברחבי המדינה או משהו. אלה שהם בונים, הם יעשו ריצת אימון אחת במקום אחד שהם בונים. זה פשוט קשה להבחין בין מחשוב הסקה למחשוב אימון. אנשים יכולים לטעון שזה מחשוב הסקה, אבל הם עשויים להבין שזה למעשה יהיה שימושי גם למחשוב אימון. בגלל נתונים סינתטיים ודברים כאלה? RL נראה דומה להסקה, למשל. או שאתה פשוט מחבר אותם בזמן. זה דומה לחומרי גלם. זה כמו למקם שם את מתקני זיקוק האורניום שלך. אז יש כמה סיבות. אחת, הם לא חושבים על זה כאשכול ה-AGI. אחר הוא פשוט שיש כסף קל שמגיע מהמזרח התיכון. אחד נוסף הוא שחלק מהאנשים חושבים שאי אפשר לעשות את זה בארה"ב. אנחנו באמת מתמודדים עם תחרות מערכות אמיתית כאן. יש אנשים שחושבים שרק אוטוקרטיות שיכולות לעשות את זה עם גיוס מלמעלה למטה של קיבולת תעשייתית וכוח להשיג דברים במהירות. שוב, זה סוג הדבר שלא נתקלנו בו זמן רב. אבל במהלך המלחמה הקרה, הייתה תחרות מערכות אינטנסיבית זו. מזרח מול מערב גרמניה היה זה. זו הייתה מערב גרמניה כקפיטליזם דמוקרטי ליברלי מול קומוניזם מתוכנן מדינה. עכשיו ברור שהעולם החופשי ינצח. אבל אפילו עד 1961, פול סמואלסון חזה שהאיחוד הסובייטי יעלה על ארה"ב כי הם הצליחו לגייס תעשייה טוב יותר. אז יש אנשים ש"משתפים פוסטים" על אהבת אמריקה, אבל אז בפרטיות הם מהמרים נגד אמריקה. הם מהמרים נגד הסדר הליברלי. בעצם, זו פשוט הימור גרוע. הדברים האלה אפשריים באמת בארה"ב. כדי להפוך את זה לאפשרי בארה"ב, במידה מסוימת אנחנו צריכים להתארגן. יש בעצם שני מסלולים לעשות את זה בארה"ב. אחד הוא שאתה פשוט צריך להיות מוכן להשתמש בגז טבעי. יש שפע של גז טבעי. אתה שם את האשכול שלך במערב טקסס. אתה שם אותו בדרום מערב פנסילבניה ליד Marcellus Shale. אשכול ה-10 GW קל מאוד. אשכול ה-100 GW גם די בר ביצוע. אני חושב שייצור גז טבעי בארצות הברית כמעט הוכפל בעשור. אתה עושה את זה עוד פעם אחת בשבע השנים הקרובות, אתה יכול להפעיל מספר מרכזי נתונים של טריליון דולר. הבעיה כאן היא שהרבה אנשים עשו את ההתחייבויות האקלימיות האלה, לא רק הממשלה. זה למעשה החברות הפרטיות עצמן, מיקרוסופט, אמזון וכו', שעשו את ההתחייבויות האקלימיות האלה. אז הם לא ישתמשו בגז טבעי. אני מעריץ את ההתחייבויות האקלימיות, אבל בשלב מסוים האינטרס הלאומי והביטחון הלאומי חשובים יותר. המסלול השני הוא ביצוע פרויקטים ירוקים ענקיים. אתה עושה אנרגיה סולארית וסוללות ו-SMRs וגיאותרמית. אם אנחנו רוצים לעשות את זה, חייבת להיות דחיפה רגולטורית רחבה. אתה לא יכול לאפשר להיתרים לקחת עשור. אתה צריך לרפורמה ב-FERC. אתה צריך פטורי NEPA גורפים לדברים האלה. יש רגולציות מטופשות ברמה המדינתית. אתה יכול לבנות את הפאנלים הסולאריים והסוללות ליד מרכז הנתונים שלך, אבל זה עדיין ייקח שנים כי אתה באמת צריך לחבר אותו לרשת החשמל המדינתית. אתה צריך להשתמש בכוחות ממשלתיים כדי ליצור זכויות מעבר עבור מספר אשכולות ולחבר אותם ולקבל את הכבלים. באופן אידיאלי אנחנו עושים את שניהם. באופן אידיאלי אנחנו עושים גז טבעי ואת האג'נדה הירוקה הרגולטורית הרחבה יותר. אנחנו צריכים לעשות לפחות אחד. אז הדברים האלה אפשריים בארצות הברית. לפני השיחה קראתי ספר טוב על גיוס תעשייתי במלחמת העולם השנייה בארצות הברית בשם "Freedom's Forge". אני חושב על התקופה ההיא, במיוחד בהקשר של קריאת "Fast" של פטריק קוליסון ודברים של מחקר התקדמות. יש נרטיב שם שאנחנו היינו
מצב הקיבולת אז ואנשים פשוט עשו דברים, אבל עכשיו זה בלאגן. זה לא היה המצב בכלל! זה היה באמת מעניין. היו לך אנשים מצד תעשיית הרכב בדטרויט, כמו וויליאם קנודסן, שהיו אחראים על הגיוס של ארצות הברית. הם היו מוכשרים ביותר. באותו זמן היו לך ארגוני עובדים ותסיסה, שזה אנלוגי מאוד לאמנות שינויי האקלים והחששות שיש לנו היום. הם היו ממש מקיימים שביתות כאלה, עד 1941, שעלו מיליוני שעות עבודה כשהיינו מנסים לייצר עשרות אלפי מטוסים בחודש. הם פשוט היו משתקים מפעלים עבור ויתורים טריוויאליים מההון שהיו שווים פרוטות על הדולר. היו חששות שתעשיות הרכב מנסות להשתמש בתירוץ של מלחמה פוטנציאלית כדי למנוע מלשלם לעובדים את הכסף המגיע להם. אז עם מה ששינויי האקלים הם היום, אולי תחשוב, "אה, אמריקה אבודה. אנחנו לא נצליח לבנות את הדבר הזה אם תסתכל על NEPA או משהו כזה," לא הבנתי כמה העבודה הייתה משתקת במלחמת העולם השנייה. זה לא היה רק זה. לפני 1939, הצבא האמריקאי היה במצב של כאוס מוחלט. אתה קורא על זה וזה נשמע קצת כמו הצבא הגרמני היום. הוצאות צבאיות היו, אני חושב, פחות מ-2% מהתמ"ג. כל המדינות האירופאיות עברו, אפילו בשלום, מעל 10% מהתמ"ג. זו הייתה גיוס מהיר שהתחיל מאפס. לא ייצרנו מטוסים. לא היו חוזים צבאיים. הכל הוזנח במהלך השפל הגדול. אבל הייתה שם קיבולת סמויה. בנקודה מסוימת ארצות הברית התארגנה. זה חל גם בכיוון ההפוך עם סין. לפעמים אנשים מחשיבים אותם קצת פחות עם בקרות הייצוא וכן הלאה. הם מסוגלים לייצר שבבי 7 ננומטר עכשיו. יש שאלה כמה הם יכולים לייצר. יש לפחות אפשרות שהם יבשילו את היכולת הזו ויצרו הרבה שבבי 7 ננומטר. יש הרבה קיבולת תעשייתית סמויה בסין. הם מסוגלים לבנות הרבה כוח במהירות. אולי זה עדיין לא מופעל עבור AI. בנקודה מסוימת, באותה צורה שארצות הברית והרבה אנשים בממשלת ארה"ב יתעוררו, ה-CCP יתעורר. חברות מבינות שקנה מידה הוא דבר. ברור שכל התוכניות שלהן תלויות בקנה מידה. אז הן מבינות שב-2028 נבנה מרכזי נתונים של 10 GW. בנקודה זו, אלה שיכולים לעמוד בקצב הם Big Tech, פוטנציאלית בקצה יכולותיהם, דברים הממומנים על ידי קרנות הון ריבוניות, וגם מדינות גדולות כמו אמריקה וסין. מה התוכנית שלהם? עם מעבדות ה-AI, מה התוכנית שלהם בהתחשב בנוף הזה? האם הם לא רוצים את הכוח של להיות בארצות הברית? המזרח התיכון אכן מציע הון, אבל לאמריקה יש הון רב. יש לנו חברות של טריליון דולר. מהן המדינות הללו במזרח התיכון? הן קצת כמו חברות נפט של טריליון דולר. יש לנו חברות של טריליון דולר ושוקי הון עמוקים מאוד. מיקרוסופט יכולה להנפיק מאות מיליארדי דולרים באגרות חוב והן יכולות לשלם עבור האשכולות הללו. טיעון נוסף שנשמע, ושווה להתייחס אליו ברצינות, הוא שאם אנחנו לא נעבוד עם איחוד האמירויות או עם מדינות המזרח התיכון הללו, הן פשוט יפנו לסין. הן יבנו מרכזי נתונים וישקיעו כסף ב-AI ללא קשר. אם אנחנו לא נעבוד איתן, הן פשוט יתמכו בסין. יש משהו בטיעון הזה במובן שאנחנו צריכים לחלוק איתן את התועלת. בדרך ל-AGI, צריכים להיות שני סוגי קואליציות. צריכה להיות קואליציה צרה של דמוקרטיות שמפתחת AGI. ואז צריכה להיות קואליציה רחבה יותר של מדינות אחרות, כולל דיקטטורות, ואנחנו צריכים להציע להן חלק מהיתרונות של AI. אם איחוד האמירויות רוצה להשתמש במוצרי AI, להריץ מנועי המלצות של מטא, או להריץ את הדגמים מהדור האחרון, זה בסדר. כברירת מחדל, לא היה להן את המקום הזה בשולחן ה-AGI. אז יש להן קצת כסף, אבל להרבה אנשים יש כסף. הסיבה היחידה שהן מקבלות את המקום הזה בשולחן ה-AGI ונותנות לדיקטטורים הללו כוח על הטכנולוגיה החשובה הזו לביטחון לאומי, היא כי אנחנו מעוררים אותן ומציעים להן זאת. מי בדיוק עושה את זה? אילו חברות הולכות לשם לגייס כספים? דווח שסם אלטמן מנסה לגייס 7 טריליון דולר או משהו כזה לפרויקט שבבים. לא ברור כמה אשכולות יהיו שם, אבל בהחלט דברים קורים. יש סיבה נוספת שאני קצת חושד בטיעון הזה שאם ארה"ב לא תעבוד איתן, הן יפנו לסין. שמעתי מאנשים מרובים – לא מתקופתי ב-OpenAI, ולא ראיתי את התזכיר – שבנקודה מסוימת לפני כמה שנים, הנהלת OpenAI הציגה תוכנית לממן ולמכור AGI על ידי התחלת מלחמת הצעות מחיר בין ממשלות ארצות הברית, סין ורוסיה. זה מפתיע אותי שהם מוכנים למכור AGI לממשלות הסיניות והרוסיות. יש גם משהו שמרגיש מוכר באופן מצמרר בהתחלת מלחמת הצעות מחיר זו ואז משחקת אותן אחת נגד השנייה, ואומרת, "טוב, אם אתם לא עושים את זה, סין תעשה את זה." מעניין. זה די מעוות. נניח שאתה צודק. הגענו למקום הזה כי, כפי שאחד מחברינו ניסח זאת, למזרח התיכון יש מיליארדים או טריליונים של דולרים להשפעה כמו בשום מקום אחר בעולם. עם מעט אחריות. אין דירקטוריון של מיקרוסופט. יש רק הדיקטטור. בואו נניח שאתה צודק, שלא היית צריך לעורר אותם לגבי AGI מלכתחילה. עכשיו אנחנו במקום שבו הם מתלהבים מ-AGI והם אומרים, "לעזאזל, אנחנו רוצים שיהיה לנו GPT-5 בזמן שאתם תבנו סופר-אינטליגנציה. הדבר הזה של אטומים למען השלום לא עובד לנו." אם אתם במקום הזה, האם אין להם כבר את הכוח? איחוד האמירויות לבדו אינו תחרותי. הם כבר תחת בקרות ייצוא. אסור לכם לשלוח לשם שבבי Nvidia. זה לא כאילו יש להם איזושהי מעבדת AI מובילה. יש להם כסף, אבל קשה פשוט לתרגם כסף להתקדמות. אבל אני רוצה לחזור לדברים אחרים שאמרת בפריסת החזון שלך. יש פה תהליך תעשייתי כמעט של הכנסת כוח חישוב ואלגוריתמים, חיבור של זה, וקבלת AGI בצד השני. אם זה משהו יותר בכיוון הזה, אז הטיעון שמישהו יוכל להדביק במהירות נראה משכנע יותר מאשר אם זה משהו מותאם אישית... ובכן, אם הם יכולים לגנוב את האלגוריתמים ואם הם יכולים לגנוב את המשקלים, זה באמת חשוב. כמה קל יהיה לשחקן לגנוב את הדברים שהם לא הדברים הטריוויאליים ששוחררו, כמו הקול של סקרלט ג'והנסון, אלא דברים ה-RL שאנחנו מדברים עליהם, ה"שחרורים"? הכל קל מאוד. הם לא טוענים שזה קשה. DeepMind פרסמו את מסגרת הבטיחות החזיתית שלהם והם מפרטים רמות אבטחה, אפס עד ארבע. ארבע עמיד לפעילות מדינתית. הם אומרים, אנחנו ברמה אפס. ממש לאחרונה, הייתה הגשת כתב אישום נגד בחור שגנב הרבה קוד AI חשוב מאוד ונעלם לסין איתו. כל מה שהוא היה צריך לעשות כדי לגנוב את הקוד היה להעתיק אותו, לשים אותו ב-Apple Notes, ולייצא אותו כ-PDF. זה עבר את הניטור שלהם. לגוגל יש את האבטחה הטובה ביותר מכל מעבדות ה-AI כנראה, כי יש להם את התשתית של גוגל. הייתי חושב על האבטחה של סטארט-אפ. איך נראית אבטחה של סטארט-אפ? זה לא כל כך טוב. קל לגנוב. גם אם זה המצב, הרבה מהפוסט שלך מציג את הטיעון מדוע נקבל את פיצוץ האינטליגנציה. אם יש לנו מישהו עם האינטואיציה של אלק רדפורד שיעלה את כל הרעיונות האלה, האינטואיציה הזו יקרה מאוד ואתה יכול להגדיל את זה. אם זו רק אינטואיציה, אז זה לא יהיה רק בקוד, נכון? גם בגלל בקרות הייצוא, למדינות הללו יהיה חומרה שונה במקצת. תצטרך לעשות פשרות שונות וכנראה לכתוב מחדש דברים כדי שיהיו תואמים לכך. האם זה רק עניין של להשיג את הדיסק-און-קי הנכון ולחבר אותו למרכז הנתונים של ג'יגוואט ליד סכר שלוש הנקיקים ואז אתה יוצא לדרך? יש כמה דברים שונים, נכון? מודל איום אחד הוא פשוט שהם גונבים את המשקלים עצמם. המשקלים האלה חשובים במיוחד כי הם יכולים פשוט לגנוב את התוצר הסופי – פשוט ליצור העתק של פצצת האטום – ואז הם מוכנים לצאת לדרך. זה חשוב במיוחד סביב הזמן שיהיה לנו AGI וסופר-אינטליגנציה כי סין יכולה לבנות אשכול גדול כברירת מחדל. יהיה לנו יתרון גדול כי יש לנו את המדענים הטובים יותר, אבל אם ניצור את הסופר-אינטליגנציה והם פשוט יגנבו אותה, הם יצאו לדרך. משקלים פחות חשובים כרגע כי למי אכפת אם הם גונבים את משקלי GPT-4. אנחנו עדיין צריכים להתחיל באבטחת משקלים עכשיו כי אם אנחנו חושבים שיהיה AGI עד 2027, הדברים האלה ייקחו זמן. זה לא יהיה רק, "אה, אנחנו עושים בקרת גישה כלשהי." אם אתה באמת רוצה להיות עמיד בפני ריגול סיני, זה צריך להיות הרבה יותר אינטנסיבי. הדבר שאנשים לא שמים עליו מספיק תשומת לב הוא הסודות. עניין החישוב הוא סקסי, אבל אנשים מזלזלים בסודות. חצי סדר גודל בשנה זה פשוט כברירת מחדל, סוג של התקדמות אלגוריתמית. זה עצום. אם יש לנו כמה שנים של יתרון, כברירת מחדל, זה אשכול גדול פי 10-30, פי 100, אם נגן עליהם. יש פה שכבה נוספת של חומת הנתונים. אנחנו צריכים לעבור את חומת הנתונים. זה אומר שאנחנו באמת צריכים להבין איזושהי פרדיגמה חדשה בסיסית. אז זה "שלב שני של AlphaGo". "שלב ראשון של AlphaGo" לומד מחיקוי אנושי. "שלב שני של AlphaGo" הוא סוג הדבר של משחק עצמי RL שכולם עובדים עליו כרגע. אולי נצליח לפצח את זה. אם סין לא יכולה לגנוב את זה, אז הן תקועות. אם הן יכולות לגנוב את זה, הן יצאו לדרך. מה שזה לא יהיה, האם אני יכול לכתוב את זה ממש על גב מפיות? אם זה כל כך קל, אז למה כל כך קשה להן להבין את זה? אם זה יותר קשור לאינטואיציות, אז לא פשוט צריך להעסיק את אלק רדפורד? מה אתה מעתיק? יש כמה שכבות לזה. למעלה יש את הגישה הבסיסית. על אימון מקדים זה עשוי להיות למידה בלתי מפוקחת, חיזוי האסימון הבא, אימון על כל האינטרנט. אתה באמת מקבל הרבה תועלת מזה כבר. זה מאוד מהיר לתקשורת. ואז יש הרבה פרטים שחשובים, ודיברת על זה קודם. זה כנראה יהיה די ברור במבט לאחור, או שיהיה משהו לא מסובך מדי שיעבוד, אבל יהיו הרבה פרטים כדי להשיג את זה. אם זה נכון, אז שוב, למה אנחנו חושבים שקבלת אבטחת רמה מדינתית בסטארט-אפים הללו תמנע מסין להדביק את הפער? זה פשוט כמו, "אה, אנחנו יודעים שסוג כלשהו של משחק עצמי RL יידרש כדי לעבור את חומת הנתונים." זה ייפתר עד 2027, נכון? זה לא כל כך קשה. לארה"ב, ולמעבדות המובילות בארה"ב, יש יתרון עצום. כברירת מחדל, לסין יש כמה LLMs טובים כי הן פשוט משתמשות בקוד קוד פתוח, כמו Llama. אנשים באמת מזלזלים הן בהתפצלות בהתקדמות האלגוריתמית והן ביתרון שיהיה לארה"ב כברירת מחדל כי כל הדברים האלה פורסמו עד לאחרונה. תראו את חוקי קנה המידה של Chinchilla, מאמרי MoE, טרנספורמרים. כל הדברים האלה פורסמו. זו הסיבה שקוד פתוח טוב ולמה סין יכולה ליצור כמה מודלים טובים. עכשיו, הן לא מפרסמות את זה יותר. אם היינו שומרים את זה בסוד, זה היה יתרון עצום. לנקודה שלך לגבי ידע מרומז ואלק רדפורד, יש שכבה נוספת בתחתית שהיא משהו לגבי עבודה הנדסית בקנה מידה גדול כדי לגרום להרצות האימון הגדולות הללו לעבוד. זה קצת יותר כמו ידע מרומז, אבל סין תצליח להבין את זה. זה שחיקה הנדסית, והן יבינו איך לעשות את זה. למה הן לא יכולות להבין את זה, אבל לא איך לגרום לדבר ה-RL לעבוד? אני לא יודע. גרמניה במהלך מלחמת העולם השנייה הלכה בדרך הלא נכונה עם מים כבדים. יש אנקדוטה מדהימה ב"יצירת הפצצה האטומית" על זה. סודיות הייתה אחת הסוגיות השנויות ביותר במחלוקת בשלבים המוקדמים. ליאו שילארד באמת חשב שתגובת שרשרת גרעינית ופצצה אטומית היו אפשריות. הוא הסתובב ואמר, "זה יהיה בעל חשיבות אסטרטגית וצבאית עצומה." הרבה אנשים לא האמינו בזה או חשבו, "אולי זה אפשרי, אבל אני אתנהג כאילו זה לא, והמדע צריך להיות פתוח." בימים הראשונים, היו כמה מדידות שגויות שנעשו על גרפיט כממתן. גרמניה חשבה שגרפיט לא יעבוד, אז הן היו צריכות מים כבדים. אבל אז אנריקו פרמי עשה מדידות חדשות שהצביעו על כך שגרפיט יעבוד. זה היה חשוב מאוד. שילארד תקף את פרמי עם בקשת סודיות נוספת ופרמי היה עצבני, זרק התקף זעם. הוא חשב שזה אבסורדי, ואמר, "נו, זה מטורף." אבל שילארד התמיד, והם גייסו עוד בחור, ג'ורג' פגראם. בסופו של דבר, פרמי לא פרסם את זה. זה היה בדיוק בזמן. העובדה שפרמי לא פרסם גרמה לכך שהנאצים לא גילו שגרפיט יעבוד. הן הלכו בדרך של מים כבדים, שהייתה הדרך הלא נכונה. זו סיבה מרכזית לכך שהפרויקט הגרמני לא הצליח. הן היו הרבה מאחור. אנחנו מתמודדים עם מצב דומה עכשיו. האם אנחנו פשוט נדליף באופן מיידי איך לעבור את חומת הנתונים ומהי הפרדיגמה הבאה? או שלא? הסיבה שזה יהיה חשוב היא שאם להיות שנה אחת קדימה יהיה יתרון עצום. בעולם שבו אתה פורס AI לאורך זמן, הן פשוט ידביקו את הפער בכל מקרה. ראיינתי את ריצ'רד רודס, האיש שכתב את "יצירת הפצצה האטומית". אחת האנקדוטות שהיו לו הייתה כאשר הסובייטים הבינו שלאמריקה יש את הפצצה. ברור, הפלנו אותה ביפן. לבנטי ברייה – האיש שניהל את ה-NKVD, איש אכזרי ורשע באופן מפורסם – פונה למדען הסובייטי שניהל את גרסתם לפרויקט מנהטן. הוא אומר, "חבר, תביא לנו את הפצצה האמריקאית." הבחור אומר, "טוב, תשמע, המכשיר האימפלסיבי שלהם למעשה אינו אופטימלי. אנחנו צריכים לעשות את זה בדרך אחרת." ברייה אומר, "לא, תביא לנו את הפצצה האמריקאית, או שמשפחתך תהיה אבק מחנה." הדבר הרלוונטי לגבי האנקדוטה הזו הוא שהסובייטים היו מקבלים פצצה טובה יותר אם הם לא היו מעתיקים את העיצוב האמריקאי, לפחות בהתחלה. זה מרמז משהו על היסטוריה, לא רק על פרויקט מנהטן. לעיתים קרובות יש דפוס של המצאה מקבילה מכיוון שעץ הטכנולוגיה מרמז שדבר מסוים הוא הבא – במקרה זה, משחק עצמי RL – ואנשים עובדים על זה והולכים להבין את זה בערך באותו זמן. לא יהיה פער גדול כל כך במי שמקבל את זה ראשון. באופן מפורסם, הרבה אנשים המציאו את נורת הלהט בערך באותו זמן. האם זה ייתכן שזה נכון אבל השנה או חצי השנה עושים את ההבדל? שנתיים עושות את כל ההבדל. אני לא יודע אם זה יהיה שנתיים. אם ננעל את המעבדות, יש לנו מדענים טובים הרבה יותר. אנחנו הרבה לפני. זה יהיה שנתיים. אפילו חצי שנה, שנה, יעשה הבדל עצום. זה חוזר לדינמיקת פיצוץ האינטליגנציה. שנה עשויה להיות ההבדל בין מערכת שהיא בערך ברמה אנושית למערכת שהיא הרבה יותר-על-אנושית. זה עשוי להיות כמו חמש סדרי גודל. תסתכל על הקצב הנוכחי. לפני שלוש שנים, במבחן המתמטיקה – אלה בעיות תחרות מתמטיקה קשות מאוד של תיכון – היינו באחוזים בודדים, לא יכולנו לפתור כלום. עכשיו זה נפתר. זה היה בקצב הרגיל של התקדמות AI. לא היו לך מיליארד חוקרים סופר-אינטליגנטיים. שנה היא הבדל עצום, במיוחד לאחר סופר-אינטליגנציה. ברגע שזה ייושם על אלמנטים רבים של מו"פ, תקבל פיצוץ תעשייתי עם רובוטים וטכנולוגיות מתקדמות אחרות. כמה שנים עשויות להניב עשורים של התקדמות. שוב, זה כמו היתרון הטכנולוגי שהיה לארה"ב במלחמת המפרץ הראשונה, כאשר היתרון הטכנולוגי של 20-30 שנה התברר כמכריע לחלוטין. זה באמת חשוב. הנה עוד סיבה שזה באמת חשוב. נניח שהן גונבות את המשקלים, נניח שהן גונבות את האלגוריתמים, והן קרובות בעקבותינו. נניח שאנחנו עדיין מושכים קדימה. אנחנו קצת יותר מהירים ואנחנו מקדימים בשלושה חודשים. העולם שבו אנחנו ממש צמודים, יש לנו רק יתרון של שלושה חודשים, הוא מסוכן להפליא. אנחנו נמצאים במאבק קדחתני שבו אם הן יקדימו, הן יקבלו את השליטה, אולי יקבלו יתרון מכריע. הן בונות אשכולות בטירוף. הן מוכנות לזרוק את כל הזהירות לרוח. אנחנו צריכים לעמוד בקצב. יש נשק יום הדין חדש ומשוגע שצץ. אז אנחנו נהיה במצב שבו יש טכנולוגיה צבאית חדשה ומשוגעת, נשק יום הדין חדש ומשוגע, הרתעה, השמדה הדדית מובטחת ממשיכה להשתנות כל כמה שבועות. זה מצב לא יציב לחלוטין, תנודתי, שהוא מסוכן להפליא. אז אתה צריך להסתכל על זה מנקודת המבט שטכנולוגיות אלה מסוכנות, מנקודת המבט של יישור קו. זה עשוי להיות חשוב מאוד במהלך פיצוץ האינטליגנציה כדי שיהיה לך חלון תמרון של שישה חודשים כדי לומר, "תראו, נקדיש יותר כוח חישוב ליישור קו במהלך תקופה זו כי אנחנו חייבים לעשות את זה נכון. אנחנו מרגישים לא בנוח לגבי איך זה הולך." אחד הקלט החשובים ביותר לשאלה האם נ уничтожим את עצמנו או שנצלח את התקופה המטורפת הזו הוא האם יש לנו את המאגר הזה. לפני שנמשיך, כדאי מאוד לציין שכמעט אף אחד שאני מדבר איתו לא חושב על ההשלכות הגיאופוליטיות של AI. יש לי כמה אי-הסכמות ברמה האובייקטיבית שנגיע אליהן, דברים שאני רוצה ליישר קו. אולי בסוף לא נסכים. ההנחה הבסיסית היא שאם תמשיך להגדיל קנה מידה, אם אנשים יבינו שזה לאן האינטליגנציה הולכת, זה לא יהיה רק אותו עולם ישן. זה לא יהיה רק על איזה מודל אנחנו פורסים מחר או מה הדבר האחרון. אנשים בטוויטר אומרים, "אה, GPT-4 ירעיד את הציפיות שלך" או משהו כזה. קוביד מעניין מאוד כי כשמרץ 2020 הגיע, זה הפך ברור לעולם – נשיאים, מנכ"לים, תקשורת, האדם הממוצע – שיש דברים אחרים שקורים בעולם כרגע אבל הדבר העיקרי שאנחנו כעולם מתמודדים איתו כרגע הוא קוביד. בקרוב זה יהיה AGI. זו התקופה השקטה. אולי תרצה לצאת לחופשה. אולי עכשיו זה הפעם האחרונה שאתה יכול להביא ילדים לעולם. החברה שלי לפעמים מתלוננת כשאני עובד שהיא לא מבלה איתה מספיק זמן. היא מאיימת להחליף אותי ב-GPT-6 או משהו כזה. אני אומר, "גם GPT-6 יהיה עסוק מדי במחקר AI." למה אנשים אחרים לא מדברים על ביטחון לאומי? עשיתי את הטעות הזו עם קוביד. בפברואר 2020, חשבתי שזה ישטוף את העולם וכל בתי החולים יקרסו. זה יהיה מטורף, ואז זה ייגמר. הרבה אנשים חשבו על סוג כזה של דבר בתחילת קוביד. הם סגרו את המשרד שלהם לחודש או משהו כזה. הדבר שלא הערכתי מספיק היה התגובה החברתית. תוך שבועות, הקונגרס הוציא יותר מ-10% מהתמ"ג על אמצעי קוביד. כל המדינה נסגרה. זה היה מטורף. לא הערכתי את זה מספיק עם קוביד. למה אנשים מזלזלים בזה? להיות בתוך התעלות נותן לך תמונה פחות ברורה של קווי המגמה. אתה לא צריך להתקרב יותר מדי, רק כמה שנים. כשאתה בתוך התעלות, אתה מנסה לגרום למודל הבא לעבוד. תמיד יש משהו שקשה. אתה עשוי לזלזל בהתקדמות אלגוריתמית כי אתה אומר, "אה, דברים קשים עכשיו," או "חומת נתונים."