המספרים שנחשפו בעולם הטניס מצמררים: מאות אלפי הודעות נאצה, איומים והשפלות נשלחו לספורטאים ברשתות החברתיות בתוך שנה אחת. מערכת בינה מלאכותית זיהתה כ־284 אלף תגובות פוגעניות וחסמה כ־234 אלף מהן. מאחורי הנתונים מסתתר סיפור גדול בהרבה מספורט: תעשייה עולמית של הנדסת תודעה, שבה הכעס, הקנאה והשנאה הפכו למוצרים רווחיים, והאלגוריתם למד כיצד לגרום לבני אדם לצרוך מהם עוד ועוד.
הנתונים שפורסמו במסגרת המאבק של ארגוני הטניס בהתעללות מקוונת חושפים עד כמה השתנתה המציאות של ספורטאי הצמרת. ניצחון כבר אינו מבטיח אהדה, והפסד עלול להפוך להזמנה למתקפת השפלות. חלק מהתוקפים הם מהמרים שהפסידו כסף על תוצאת המשחק ומחפשים אדם לפרוק עליו את זעמם. אחרים פשוט מצאו ברשת מקום שבו אפשר לפגוע באדם מפורסם בלי לעמוד מולו ובלי לשאת בתוצאות החברתיות המיידיות.
אבל הסיפור האמיתי אינו רק האנשים שכותבים את הודעות השנאה. הוא המערכת שמעניקה להן תפוצה, מעודדת עימותים ומתגמלת התנהגות קיצונית בתשומת לב.
פעם היה אדם מתרגז ממשחק כדורגל, מקלל את הטלוויזיה ונרגע. היום הוא פותח את הטלפון, מוצא אלפי אנשים שכועסים בדיוק כמוהו, נחשף לסרטונים שמעצימים את תחושת העוול, ומקבל בתוך שניות עוד ועוד סיבות להתרגז. הכעס הפרטי הופך לחוויה קבוצתית, והחוויה הקבוצתית עלולה להפוך לזהות.
האלגוריתם אינו חייב להורות לאיש לשנוא. די בכך שהוא מזהה אילו תכנים גורמים למשתמש לעצור, להגיב, לשתף ולחזור. כאשר זעם ועלבון מייצרים מעורבות גבוהה, מערכות המלצה המבוססות על מדדי מעורבות עלולות להעניק להם יתרון. כך נוצרת מערכת שבה הקיצוניות אינה בהכרח מטרה מוצהרת, אבל לעיתים היא תוצאה עסקית משתלמת.
וכאן טמון אחד הפרדוקסים הגדולים של העידן הדיגיטלי: האדם מאמין שהוא בוחר מה לראות, בעוד שמערכת חישובית לומדת בהדרגה מה מפעיל אותו רגשית, ומחליטה אילו תכנים יופיעו מול עיניו.
מהנדסת הרגשות
רשתות חברתיות אינן זקוקות לכך שכל משתמש יהיה מאושר. הן זקוקות לכך שיישאר.
הבדל קטן לכאורה, בעל משמעות עצומה.
סרטון מרגיע עשוי לזכות בצפייה קצרה. סרטון שמעורר כעס יכול לגרור ויכוח של עשרות תגובות, צפיות חוזרות, שיתופים ומאבקים בין מחנות. ככל שהעימות מתמשך, כך גדל פוטנציאל החשיפה לפרסומות ולתכנים נוספים.
המודל העסקי אינו זהה בכל הפלטפורמות, ולא כל אלגוריתם מקדם שנאה. אבל כאשר הצלחה נמדדת בעיקר בזמן שהייה ובמעורבות, נוצר תמריץ מבני להעדיף תוכן שמעורר תגובות חזקות.
הדבר אינו מוגבל לפוליטיקה. הוא מופיע בספורט, בתרבות, בוויכוחים על מגדר, ביחסים בין קבוצות חברתיות, בביקורות על סרטים ואפילו בדיונים על מוצרי צריכה. כל נושא יכול להפוך לזירת קרב אם מספיק אנשים מוכנים להתווכח עליו.
טיקטוק הפכה את מנגנון ההמלצות האישי לחלק מרכזי במיוחד מחוויית המשתמש. אין צורך לחפש נושא או לבחור מראש את מי לעקוב אחריו. רצף הסרטונים לומד מה מושך את תשומת הלב, ולעיתים גם מה מצליח לעורר התנגדות או סלידה. המשתמש יכול להישאר מול המסך גם כשהוא מתרגז ממה שהוא רואה.
המוח האנושי נכנס למלכודת
מאחורי ההתנהגות הזאת עומדים מנגנונים פסיכולוגיים וביולוגיים מוכרים.
הציפייה לתגמול בלתי צפוי — סרטון מפתיע, תגובה חדשה, הודעה או גילוי מסעיר — קשורה לפעילות מערכת הדופמין במוח. הדופמין אינו פשוט ״הורמון האושר״, כפי שנהוג לתארו, אלא מוליך עצבי המשתתף בין היתר בלמידה, במוטיבציה ובציפייה לתגמול.
לעומת זאת, תוכן מאיים או מקומם עשוי לעורר תגובת דחק, שבמסגרתה משתתפים גם אדרנלין וקורטיזול. אין פירוש הדבר שכל גלילה בטיקטוק מייצרת סערה הורמונלית, אבל רצף של גירויים רגשיים עשוי להגביר עוררות ולהקשות על ההתנתקות.
כך נוצרת לעיתים חוויה משונה: האדם כועס על הסרטון, נגעל מהתגובה, מתרגז מהוויכוח — ובכל זאת ממשיך לגלול.
המערכת אינה קוראת את מחשבותיו ואינה יודעת בהכרח מה הוא מרגיש. היא פשוט מודדת את התנהגותו, ובאמצעותה לומדת אילו גירויים מחזיקים אותו מול המסך.
הסכנה מתחילה כאשר ההתנהגות הזאת חוזרת על עצמה במשך חודשים ושנים. העולם שמוצג למשתמש עלול להיראות עוין, אלים ומקוטב הרבה יותר מהעולם שבו הוא חי בפועל.
הוא אינו נחשף בהכרח למדגם מייצג של המציאות, אלא למבחר תכנים שנקבע לפי מנגנון המלצות אישי. ככל שהמבחר מצטמצם, כך עלולה להתחזק התחושה שכולם חושבים כמוהו, או לחלופין שכולם נגדו.
זו אחת הדרכים שבהן הנדסת תודעה יכולה להתרחש גם בלי מתכנן יחיד שיושב בחדר ומחליט מה לחשוב: עיצוב שיטתי של סביבת המידע משנה בהדרגה את מה שנראה לאדם חשוב, שכיח ומאיים.
כשהשנאה נעשית נורמלית
הנזק החמור ביותר אינו בהכרח הודעת הנאצה הבודדת, אלא השינוי ההדרגתי בתפיסת המציאות.
כאשר אדם נחשף שוב ושוב לעלבונות, לאיומים ולביטויי בוז, הוא עלול להתחיל להאמין שכך מדברים כולם. מה שנחשב בעבר להתנהגות חריגה נעשה לכאורה מקובל. מי שמבקש לנהל דיון ענייני נדחק הצידה, ומי שצועק חזק יותר זוכה לתשומת הלב.
מחקר שפורסם השנה בכתב העת המדעי Nature, והתבסס על ניסוי בהשתתפות 2,000 משתמשים, הראה שאלגוריתמים המדרגים תכנים לפי מעורבות מגבירים חשיפה לתכנים רעילים ולזעם מוסרי, ואף עלולים לעוות את תפיסת המשתמשים לגבי מידת העוינות בחברה.
החוקרים גם מצאו דבר מעודד: שינוי שיטת הדירוג הפחית חשיפה לתכנים קיצוניים בלי לפגוע באופן משמעותי בחוויית השימוש. כלומר, השנאה אינה גזירת גורל טכנולוגית. היא מושפעת מהאופן שבו בוחרים לתכנן את המערכת.
ובכל זאת, יש להיזהר מהסבר פשטני שלפיו הרשתות יוצרות את כל השנאה. שנאה, קנאה ואלימות מילולית התקיימו הרבה לפני המצאת הטלפון החכם. החידוש הוא ביכולת להעצים אותן, להפיץ אותן למיליונים ולייצר מהן מחזור בלתי פוסק של תגובות.
מהטניס אל החברה כולה
כאן חוזרים לנתוני הטניס, שהציתו את הדיון.
מתוך יותר מ־3.7 מיליון תגובות שנבדקו במשך שנה, זוהו כ־284 אלף תגובות פוגעניות. יותר מ־162 אלף מהן הוגדרו חמורות במיוחד. המערכת הצליחה למנוע מכ־234 אלף תגובות להגיע לשחקנים ולאוהדים.
הנתון המטריד ביותר הוא שיותר מ־85% משחקני הטניס הגברים שנבדקו ושעוררו מעורבות ברשתות נחשפו להתעללות מקוונת. מדובר בתופעה רחבה, לא בקומץ מקרים חריגים.
הטניס מספק כאן מעבדה חברתית כמעט מושלמת. זהו ענף שבו שחקן יחיד עומד במרכז תשומת הלב, והתוצאה שלו יכולה לקבוע אם מהמר ירוויח או יפסיד. כשהכסף יורד לטמיון, חלק מהצופים מפנים את זעמם אל הספורטאי כאילו היה חייב להם ניצחון.
אותו מנגנון רגשי פועל גם מחוץ למגרש. פוליטיקאי הופך לאויב, זמרת למטרה להשפלה, עיתונאי לבוגד ואדם המחזיק בדעה אחרת למישהו שמותר לתקוף. ההבדל בין ביקורת לגיטימית לבין דה־הומניזציה הולך ומיטשטש.
המכונה שמגינה עלינו מפני המכונה
ויש בסיפור הזה אירוניה יוצאת דופן.
ארגוני הטניס נאלצו להפעיל בינה מלאכותית כדי להגן על ספורטאים מפני מבול השנאה ברשתות, שחלק ממנגנוני ההפצה שלהן מבוססים בעצמם על בינה מלאכותית.
טכנולוגיה אחת מזהה עלבונות ואיומים ומנסה לחסום אותם. טכנולוגיה אחרת עשויה להעניק לתכנים מקוממים תפוצה עצומה מפני שהם מעוררים תגובות.
אלא שחסימת הודעות פוגעניות היא רק טיפול בתוצאה. השאלה הגדולה היא כיצד משנים את מנגנון התמריצים שהפך עימות, השפלה וזעם לחלק כה בולט מחוויית הגלישה.
אפשר לתכנן אלגוריתמים שמעניקים משקל רב יותר לאמינות, לגיוון דעות ולרצונות המוצהרים של המשתמשים, ולא רק למספר התגובות שהם מייצרים. אפשר גם להעניק למשתמש שליטה רבה יותר במה שמופיע מול עיניו. המחקר מלמד שיש לכך היתכנות, אף שאין פתרון קסם אחד.
בסופו של דבר, הסכנה אינה שהבינה המלאכותית תלמד לשנוא. הסכנה היא שבני האדם יתרגלו לשנוא מפני שהשנאה נעשתה נגישה, מדבקת ולעיתים אפילו מתגמלת.
פעם אמרו לאדם שהוא מה שהוא אוכל. בעידן הרשתות החברתיות צריך להוסיף: האדם עלול להפוך גם למה שהאלגוריתם מאכיל אותו מדי יום.
״עניין מרכזי״ – חדשות וסקופים מאז 1999
