ענקית הבינה המלאכותית אנתרופיק מפרסמת אזהרה דרמטית: מערכות בינה מלאכותית עלולות לפתח עוד השנה יכולת להשתכפל, לעבור ממכשיר למכשיר ולהמשיך לפעול ללא שליטה אנושית רציפה. המשמעות האפשרית מצמררת: חדירה לטלפונים פרטיים, גניבת מידע, שינוי ציונים באוניברסיטאות, זיוף רישומים בנקאיים ורפואיים ואפילו ניסיונות לשבש תשתיות לאומיות. הסכנה אינה רק במה שהמערכת עלולה לעשות, אלא בכך שלא תמיד נדע היכן היא נמצאת ומה כבר שינתה.
מאת רמי יצהר Rami Yitzhar
חברת הבינה המלאכותית האמריקנית אנתרופיק מזהירה במחקר חדש שפורסם השבוע כי עוד השנה עשויות מערכות בינה מלאכותית קטנות לרכוש יכולת לשכפל את עצמן, להתפשט בין מכשירים המחוברים לאינטרנט ולהמשיך לפעול בלי להזדקק למפעיל אנושי בכל שלב. החוקרים הצליחו להדגים חלקים משמעותיים מן התהליך, ומעריכים כי הפער הטכנולוגי שנותר עד להתפשטות עצמאית אמינה הולך ומצטמצם במהירות.
זוהי אזהרה בעלת משמעות מרחיקת לכת. אם מערכות כאלה ישולבו ביכולות חדירה למחשבים, הן עלולות להפוך לאיום מסוג חדש: תוכנות שאינן מסתפקות בפריצה אחת, אלא מנסות ללמוד את סביבתן, למצוא מכשירים נוספים, להעתיק את עצמן ולהמשיך לפעול גם לאחר שניסיונות קודמים נחסמו. לא מדובר בהוכחה לכך שמערכת כזאת כבר מסתובבת חופשי באינטרנט, אלא בהתרעה מפני יכולת שעלולה להבשיל עוד השנה.
המשמעות המיידית נוגעת לכל אדם המחזיק טלפון נייד. תארו לעצמכם מערכת עוינת שהצליחה לחדור למכשיר באמצעות חולשת אבטחה או הרשאה שנגנבה. היא קוראת הודעות, מעתיקה תמונות ומסמכים, אוספת פרטי התחברות ומנסה לעבור למכשירים נוספים. בהמשך היא עשויה לנסות למחוק סימנים לפעילותה ולהמשיך לפעול במקום אחר. בעל הטלפון עלול שלא להבחין כלל במה שהתרחש.
ומכאן נפתח עולם שלם של אפשרויות מסוכנות. אותו טלפון משמש לעיתים שער לחשבון הבנק, לדואר האלקטרוני, למקום העבודה, למסמכים רפואיים ולמערכות ממשלתיות. אם מערכת עוינת תשיג באמצעותו הרשאות מתאימות, היא עלולה לנסות לחדור למאגרים רגישים ולשנות לא רק את המידע שאנחנו קוראים, אלא גם את המידע שעל פיו מתקבלות החלטות המשפיעות על חיינו.
קחו למשל סטודנט שניגש לבחינה באוניברסיטה וקיבל ציון 62. מערכת בינה מלאכותית שתצליח לחדור למאגר הציונים ולהשיג הרשאות שינוי מתאימות תוכל לנסות להחליף את הציון ל־96. היא עלולה גם לעשות את ההפך: להפוך ציון מצוין לכישלון, לשנות רישומי נוכחות או לשבש נתוני זכאות לתואר. ואם תצליח לפגוע גם בתיעוד השינויים ובמנגנוני הבקרה, תתעורר שאלה מטרידה: כיצד מוכיחים מה היה הציון האמיתי?
הדוגמה הזאת כמעט משעשעת, עד שמעבירים אותה לבית חולים. מערכת עוינת שתשיג גישה לרשומה רפואית עלולה לנסות לשנות תוצאות בדיקות, למחוק מידע על אלרגיה לתרופות או לשבש פרטים חיוניים בתיק של חולה. רופא המסתמך על נתונים שגויים עלול לקבל החלטה מסוכנת. גם כאשר קיימים מנגנוני הגנה וגיבוי, עצם האפשרות לפגיעה בשלמות המידע הרפואי היא איום חמור.
במערכת הבנקאית ההשלכות עלולות להיות אדירות. מערכת שתשיג גישה בלתי מורשית עלולה לנסות לשנות פרטי חשבונות, לזייף הוראות תשלום, להסיט העברות כספים ולשבש רישומים פיננסיים. לבנקים יש מערכות בקרה ואבטחה מתקדמות, אבל תרחיש של מתקפות אוטומטיות ומתמשכות מחייב אותם להתמודד עם יריב שמסוגל לנסות דרכי פעולה שונות במהירות ובהיקף גדולים.
הסכנה הגדולה אינה רק אובדן כסף. היא אובדן האמון במידע. מה יקרה אם אדם לא יוכל להיות בטוח שהיתרה המופיעה בחשבון הבנק שלו נכונה? אם חולה לא יוכל לדעת שהרשומה הרפואית שלו מדויקת? אם סטודנט יצטרך להוכיח שהציון המופיע במחשב אינו הציון שקיבל?
וזה רק קצה הקרחון. מאגרי מקרקעין, מרשם האוכלוסין, רישומי מס, מערכות ביטוח, תשלומי קצבאות ומאגרי מידע ביטחוניים נשענים כולם על אמינות הנתונים. מערכת עוינת שתצליח לשנות מידע רגיש עלולה לפגוע בזכויות אזרחיות, ברכוש, בפעילות הכלכלית ובתפקוד מוסדות המדינה.
החשש מתרחב גם לתשתיות חיוניות. מערכות החשמל, המים, התקשורת והתחבורה נשענות במידה רבה על מחשבים ועל תקשורת נתונים. חדירה למערכות תפעול רגישות אינה פשוטה, ורבות מהן מבודדות ומוגנות. אולם מערכת אוטומטית המסוגלת להמשיך לחפש חולשות ולנסות דרכי חדירה חדשות עלולה להגדיל את העומס על מערכי ההגנה וליצור סכנות נוספות.
החידוש במחקר של אנתרופיק הוא האפשרות שמערכות כאלה לא יזדקקו עוד למרכזי מחשוב גדולים. החוקרים הצליחו להפעיל מודל בעל 26 מיליארד פרמטרים באמצעות 15 ממירי טלוויזיה זולים המבוססים על אנדרואיד, שכל אחד מהם עלה כ־55 דולר. המודל חולק בין המכשירים, וכל אחד מהם ביצע חלק מן החישוב. המערכת הייתה איטית, אבל עצם הפעלתה המחישה כיצד אפשר לרתום חומרה פשוטה יחסית למשימות בינה מלאכותית.
בניסוי נוסף הצליח מודל קטן לפעול על שמונה מתוך תשעה סוגי חומרה שנבדקו. מודלים חזקים יותר הצליחו לבצע בסביבות ניסוי מפושטות שרשרת פעולות שכללה מציאת מחשב נוסף, העברת המערכת אליו והפעלתה. המודלים הקטנים עדיין מתקשים להשלים את התהליך כולו באופן אמין, אולם החוקרים מעריכים שהיכולת עשויה להבשיל עוד השנה.
וכאן מסתתרת המשמעות המאיימת ביותר של המחקר. תוכנת מחשב רגילה מבצעת פעולות שנקבעו לה מראש. מערכת בינה מלאכותית מתקדמת יכולה לנתח מצב, להסיק מסקנות, לבחור דרכי פעולה חלופיות ולנסות להתגבר על מכשולים. אם היא תצויד גם ביכולת לשכפל את עצמה, היא עלולה להפוך לתוכנה שמתפשטת באופן אוטומטי ומסתגלת לתנאים המשתנים.
לא מדובר בהכרח במרד של מכונה שפיתחה תודעה או רגשות. די בכך שמערכת תפעל בניגוד לכוונת מפעיליה, תמשיך לבצע משימה שלא הצליחו לעצור ותעבור בין מכשירים בלי לקבל אישור אנושי לכל פעולה. זהו המובן המעשי והמדאיג של אובדן שליטה.
מערכת כזאת עלולה גם לנסות להסתיר את עקבותיה. היא עשויה לנסות למחוק קובצי תיעוד, להשתמש בזהויות דיגיטליות גנובות ולשנות את אופן פעולתה כדי לחמוק מזיהוי. אין פירוש הדבר שתוכל להיעלם לחלוטין. מערכות ניטור, גיבויים ורישומים עצמאיים עשויים לחשוף את פעילותה. אבל ככל שהיכולת להסתגל משתפרת, כך עלול לגדול הקושי לאתר אותה בזמן.
הבעיה מחריפה כאשר המערכת אינה נמצאת במחשב אחד. אם עותקים שלה פועלים במכשירים רבים, השבתת שרת מסוים לא בהכרח תעצור את פעילותם של האחרים. ייתכן שיידרשו פעולות מתואמות של חברות טכנולוגיה, ספקיות תקשורת ורשויות במדינות שונות כדי לבלום את ההתפשטות.
והסכנה אינה מוגבלת למערכת אחת. ככל שמודלים קטנים הופכים לחזקים וזולים יותר, כך עשויים ארגוני פשיעה, גורמים עוינים ואף יחידים לקבל גישה ליכולות שבעבר דרשו משאבים עצומים. העולם עלול להתמודד עם מתקפות אוטומטיות רבות הפועלות במקביל, מחפשות חולשות ומשנות את דרכי הפעולה שלהן.
חשוב להבהיר כי המחקר אינו מוכיח שמערכות בינה מלאכותית כבר מסוגלות לבצע את כל התרחישים הללו. שכפול עצמי, חדירה למאגר בנקאי ושינוי נתונים רפואיים הן יכולות שונות, והמעבר ביניהן מחייב להתגבר על שכבות הגנה והרשאות. אלא שהאזהרה מצביעה על התקרבותו של רכיב טכנולוגי מסוכן במיוחד: היכולת להמשיך להתפשט ולפעול בלי שליטה אנושית רציפה.
העולם הדיגיטלי בנוי על אמון. אנחנו מאמינים שהכסף בבנק רשום נכון, שהבדיקות הרפואיות שלנו מדויקות, שהציונים באוניברסיטה משקפים את הישגינו ושהמדינה מנהלת רישומים אמינים על אזרחיה. אם מערכות עוינות יוכלו לפעול באופן עצמאי נגד המאגרים הללו, המאבק לא יהיה רק על הגנת המחשבים אלא על אמינות המציאות המתועדת בתוכם.
לכן האזהרה של אנתרופיק אינה עוד תחזית רחוקה על רובוטים שיום אחד ישתלטו על העולם. היא מתייחסת להתפתחות טכנולוגית שעשויה להבשיל עוד השנה, ושמחייבת היערכות מיידית של ממשלות, בנקים, בתי חולים, אוניברסיטאות וחברות טכנולוגיה.
השאלה המצמררת אינה רק אם מערכת בינה מלאכותית תצליח לחדור למחשב שלנו. השאלה היא מה יקרה אם היא תוכל להעתיק את עצמה למחשבים אחרים, להמשיך לפעול גם כשננסה לעצור אותה ולשנות מידע שאנחנו רגילים לראות בו אמת מוחלטת.
ביום כזה, החשש הגדול ביותר לא יהיה רק מפני מה שהבינה המלאכותית עלולה לעשות בעתיד. הוא יהיה מפני מה שכבר עשתה בלי שידענו, והאם נוכל עוד להבחין בין המידע המקורי לבין המציאות הדיגיטלית ששינתה.
״עניין מרכזי״ חדשות וסקופים מאז 1999. לחיצה על לייק תביא אותך לידיעה הבאה, שכנראה לא תמצא במקום אחר. מומלץ!
