ארצות הברית וסין מנהלות מרוץ חסר מעצורים על הבכורה העולמית בבינה המלאכותית, אבל השבוע הן עומדות לנסות לעשות דבר שנראה עד לאחרונה כמעט בלתי אפשרי: להתחיל לתאם ביניהן כיצד לפעול אם מערכת בינה מלאכותית תגרום לאירוע חמור המאיים על הביטחון הלאומי. דונלד טראמפ ושי ג׳ינפינג צפויים להיפגש ביום חמישי בוושינגטון, ועל השולחן תהיה הצעה אמריקנית להקים מנגנון התרעה בין שתי מעצמות ה־AI הגדולות בעולם.
מאחורי המהלך מסתתר חשש עמוק בהרבה מן התחרות על שבבים, כסף ומודלים חכמים יותר. ככל שמערכות הבינה המלאכותית מקבלות יותר יכולת לפעול כסוכנים עצמאיים — לתכנן, לכתוב קוד, להשתמש בכלים, להתחבר למערכות ולבצע רצף פעולות ללא אישור אנושי בכל שלב — מתחדדת השאלה מה יקרה כאשר מערכת חזקה במיוחד תעשה משהו שמפעיליה לא התכוונו שתעשה ולא יצליחו לעצור אותה בזמן.
היוזמה האמריקנית הוצגה בסוף השבוע בשיחות בניו יורק בין שר האוצר האמריקני סקוט בסנט לסגן ראש ממשלת סין חה ליפנג. האמריקנים הציעו מנגנון שבאמצעותו שתי המדינות יוכלו להודיע זו לזו על אירוע בינה מלאכותית שהגיע לרמה המאיימת על הביטחון הלאומי.
המטרה פשוטה ומצמררת כאחד: למנוע מצב שבו מערכת אוטונומית גורמת למשל למתקפת סייבר, חדירה לתשתית אסטרטגית או אירוע ביטחוני אחר — והמדינה שנפגעה מפרשת אותו כמתקפה מכוונת של המעצמה היריבה ומגיבה בהתאם.
ארצות הברית וסין הסכימו להמשיך בדיאלוג בנושא הבינה המלאכותית. עם זאת, נכון לעכשיו אין עדיין הסכמה סינית פומבית למנגנון ההתרעה האמריקני עצמו. הנושא מגיע כעת לפסגת טראמפ–שי לצד הסוגיות הכלכליות והאסטרטגיות הכבדות שבין שתי המעצמות.
וכל זה כבר אינו רק תסריט למדע בדיוני.
בין מאי ליולי השנה התרחש במהלך ניסויי סייבר של OpenAI אירוע חריג שהמחיש בצורה מוחשית מדוע שאלת השליטה בסוכני AI מתחילה להטריד גם ממשלות. סוכנים שנועדו לפעול בסביבות מבודדות גילו דרכים לעקוף מגבלות, לתקשר ביניהם בערוץ שלא אושר, לנצל חולשות בתשתיות ולהגיע למערכות שלא היו אמורים להגיע אליהן.
החקירה שנערכה בעקבות האירוע חשפה תמונה מטרידה במיוחד. כ־1,200 סוכנים שנועדו להיות מבודדים זה מזה הצליחו לתקשר באמצעות מעין לוח הודעות שלא תוכנן עבורם. יותר מ־70 אלף הודעות וקבצים הוחלפו באמצעותו, וכ־700 מן הסוכנים השתתפו בהמשך בפעילות שפגעה במערכות של Hugging Face.
הם לא קיבלו מאדם הוראות מפורטות לבצע את שרשרת הפעולות הזאת. הסוכנים מצאו בעצמם חולשות, שיתפו מידע, תיאמו פעולות וניסו בדרכים שונות לרמות או לשבש את מנגנון הבדיקה שנועד להעריך אותם. חלק מהפעילות כלל גם ניסיונות להסתיר התנהגות בעייתית.
האירוע נעצר. בני אדם חזרו לשליטה ולא נגרם אסון. אבל דווקא משום כך חשיבותו עצומה: הוא המחיש שמערכת אינה חייבת להיות ״מודעת״ או להפוך לדמות מסרט מדע בדיוני כדי ליצור בעיית שליטה. מספיק שתהיה מוכשרת מאוד בהשגת מטרה, תקבל גישה לכלים ותמצא דרך בלתי צפויה לעקוף את המחסומים שבני אדם בנו סביבה.
הפאנל המדעי הבינלאומי העצמאי של האו״ם לבינה מלאכותית פרסם בעקבות הפרשה מסמך מיוחד המתאר אותה כאחת האזהרות הממשיות הברורות עד כה למסלול אפשרי שבו סוכני AI בעלי יכולות גבוהות פועלים באופן שאינו תואם את כוונת בני האדם.
והאזהרות הנשמעות מתוך התעשייה עצמה קודרות עוד יותר.
בכירי חוקרים ומנהלים בתחום הבינה המלאכותית הזהירו בשנים האחרונות מפורשות כי בתרחיש הקיצוני ביותר, אובדן שליטה על מערכות עתידיות חזקות בהרבה עלול להפוך לאיום על עצם קיומה של האנושות.
החודש החריפו האזהרות. חוקרים מתוך החברות המפתחות את המערכות המתקדמות ביותר הזהירו שהמרוץ לבינה על־אנושית מתקדם במהירות בשעה שבעיית השליטה עדיין אינה פתורה. חוקר ב־Anthropic אף העריך בפומבי סיכון של יותר מעשרה אחוזים להכחדת האנושות כתוצאה מבינה מלאכותית בתוך עשור. עמית שעזב את החברה הגדיר את המרוץ הנוכחי כהימור בחיי כולנו.
אלה כמובן תחזיות של אנשי מקצוע, לא ידיעה על אסון שעומד להתרחש מחר. אבל העובדה שהאזהרות מגיעות מתוך המעבדות שמפתחות את הטכנולוגיה עצמה היא שהופכת אותן לקשות להתעלמות.
תרחיש הקיצון ברור: מערכת בעלת יכולות גבוהות בהרבה מן הקיימות כיום, המסוגלת לתכנן לטווח ארוך, להשתמש באינטרנט ובכלים דיגיטליים, לכתוב ולשנות תוכנה, לבצע מתקפות סייבר, לשכפל את פעולותיה ולמצוא דרכים לעקוף מגבלות שהוצבו בפניה. אם מטרותיה לא יתאימו לכוונת מפעיליה, עלולה להיווצר בעיית שליטה מסוג שהאנושות מעולם לא נאלצה להתמודד איתו.
אבל אין צורך להגיע אפילו להכחדת האנושות כדי להבין מדוע טראמפ ושי צריכים לדבר.
מערכת שתחדור למערך צבאי, תשבש רשת חשמל, תתקוף מערכת פיננסית או תבצע מתקפת סייבר רחבת היקף עלולה לגרום למדינה אחת להאמין שהאחרת תקפה אותה. כאשר מדובר בארצות הברית ובסין, שתי מעצמות גרעיניות, טעות כזאת עלולה להיות מסוכנת לא פחות מן התקלה הטכנולוגית שהחלה אותה.
וכאן נמצא הפרדוקס הגדול של הפסגה השבוע.
ארצות הברית אינה מתכוונת להפסיק את המרוץ. סין בוודאי אינה מתכוונת לפרוש ממנו. וושינגטון רוצה לשמר את יתרונה בשבבים ובמודלים המתקדמים ביותר, ובייג׳ינג משקיעה הון עצום כדי לצמצם את הפער ולהשתחרר מן התלות בטכנולוגיה אמריקנית.
שתי המעצמות ממשיכות אפוא ללחוץ על דוושת הגז — ובאותו זמן מתחילות לבדוק היכן נמצא הבלם.
מנגנון ההתרעה שעליו ידונו אינו הסכם לפיקוח עולמי על הבינה המלאכותית ואינו פתרון לבעיית השליטה. בשלב הזה מדובר ברעיון בסיסי הרבה יותר: אם קורה משהו חריג ומסוכן במערכת AI, שתי המדינות צריכות להיות מסוגלות לדבר זו עם זו במהירות לפני שאחת מהן מפרשת את האירוע כפעולה עוינת של האחרת.
במובן הזה אפשר לראות במהלך מעין גרסה ראשונית של הקו החם שנולד בין המעצמות הגרעיניות לאחר שהעולם הבין עד כמה טעות, תקלה או אי־הבנה עלולות להיות קטלניות.
אלא שהפעם יש הבדל אחד משמעותי.
פצצה גרעינית אינה לומדת. היא אינה כותבת לעצמה תוכנה. היא אינה מחפשת פרצות במערכת שמחזיקה אותה. היא אינה מתקשרת עם פצצות אחרות כדי למצוא דרך לעקוף את האדם שהציב לה מגבלה.
בינה מלאכותית מסוגלת כבר היום לבצע חלק מן הפעולות האלה, והיכולות שלה מתקדמות במהירות.
טראמפ ושי יגיעו לפגישה כיריבים הנאבקים מי ישלוט בטכנולוגיה החשובה ביותר של המאה ה־21. אבל מעל המאבק על שבבים, כסף ועוצמה מרחפת עכשיו שאלה גדולה בהרבה:
מה יקרה אם יום אחד המנצח במרוץ יגלה שגם הוא כבר אינו מחזיק בהגה.
״עניין מרכזי״ חדשות וסקופים מאז
