כמה זה מסוכן

בתוך שבעה חודשים ב־2023 פורסמו שלושה מסמכים שמסמנים את גבולות הוויכוח. במרץ פורסם מכתב פתוח שקרא ״להשהות מיד, למשך שישה חודשים לפחות, את אימונן של מערכות בינה מלאכותית חזקות יותר מהקיימות כיום״; הוא אסף למעלה משלושים אלף חותמים. בסוף מאי פורסמה הצהרה בת משפט אחד: ״הפחתת הסיכון להכחדה מבינה מלאכותית צריכה להיות בראש סדר העדיפויות העולמי, לצד סיכונים אחרים בקנה מידה חברתי כמו מגפות ומלחמה גרעינית״. על ההצהרה הזאת חתמו ג׳פרי הינטון ויושוע בנג׳ו, שניים משלושת חוקרי הלמידה העמוקה המוכרים ביותר — וגם המנכ״לים של שלוש החברות הגדולות שבונות את המערכות האלה. ובנובמבר חתמו עשרים ותשע מדינות, ובהן ישראל וסין, על הצהרה משותפת שקובעת ש״קיים פוטנציאל לנזק חמור ואף קטסטרופלי, מכוון או לא מכוון״.

מה ששני המחנות מסכימים עליו: יש נזקים מתועדים היום, ואיש אינו יודע בוודאות מה יקרה בעוד עשור. המחלוקת היא לאן מפנים תשומת לב ורגולציה, ובאיזו מידה דיבור על האחד גוזל מהאחר.

הצד שמצביע על הסיכון הקטסטרופלי אינו נשען על תחזית אלא על טיעון מבני. הטענה, שנוסחה ב־2008 ונוסחה שוב ב־2014, נקראת התכנסות אינסטרומנטלית: עבור כמעט כל מטרה סופית שמערכת עשויה לקדם, יש כמה יעדי ביניים שמועילים לה — לשמור על עצמה, לשמור על המטרה שלה מפני שינוי, להשתפר, להשיג משאבים, ולמנוע הפרעה. המסקנה היא שמערכת חזקה מספיק עלולה לפתח התנהגויות כאלה בלי שאיש תכנן אותן ובלי שום עוינות. התרגיל המחשבתי המוכר של מערכת שמצוינת בייצור אטבי נייר ומגייסת לשם כך את העולם נכתב ב־2003 והוא לא נועד להיות תחזית אלא הדגמה של הפער בין מטרה מוגדרת ובין מה שהיא גוררת. הניסוח המתון של העמדה הזאת, מ־2024: ״העמדה הרציונלית היחידה שמתיישבת עם כל הראיות היא ענווה ותכנון תוך אי־ודאות״, ולכן ״ראוי לשאוף לראיות חזקות מאוד לפני שמסיקים שאין ממה לדאוג״. שימו לב שזה טיעון מאי־ודאות ולא מביטחון.

הצד שמצביע על נזק מתועד עכשיו משיב ש״הסיכונים והנזקים מעולם לא היו קשורים לבינה מלאכותית חזקה מדי״, ומונה ארבעה תחומים: ריכוז כוח בידי מעטים, שכפול של יחסי דיכוי קיימים, הרעלת מערכת המידע הציבורית בתעמולה ובשקר, ופגיעה סביבתית. הטענה החדה יותר של הצד הזה היא על כלכלת תשומת הלב: דיון פרלמנטרי שמוקדש להכחדה עתידית הוא דיון שלא מוקדש לקצבאות שנשללו, למעצרים על סמך זיהוי שגוי ולתנאי העבודה של מי שמסמן נתונים. ויש בה גם עוקץ: מי שמזהיר בקול מפני הסכנה העתידית של המוצר שהוא מוכר, מציג אותו בכך כחזק מאוד.

ויש נקודה אחת שבה אפשר לצאת מהוויכוח ולמדוד. הנתיב הקטסטרופלי שמוזכר יותר מכולם הוא סיוע ביצירת נשק ביולוגי. בינואר 2024 פורסם מחקר של גוף מחקר אמריקאי שעשה בדיוק את המבחן: צוותים שתכננו תרחיש תקיפה ביולוגית, חלקם בעזרת מודלי שפה וחלקם בלעדיהם, וההערכה נעשתה בעיוורון. המסקנה: ״אין הבדל מובהק סטטיסטית בכדאיות התוכניות שנוצרו בסיוע מודלי השפה של הדור הנוכחי או בלעדיו״. זה מחקר אחד, על דור מסוים, ועל משימה אחת — והוא בדיוק סוג הראיה שצריכה להצטבר כדי שאפשר יהיה להתווכח על עובדות ולא על תחושות.

לשני המחנות יש גם תקדים היסטורי אהוב, ובמקרה זה אותו תקדים. בפברואר 1975 התכנסו כמאה וארבעים ביולוגים משפטנים ורופאים בכנס באסילומר שבקליפורניה, אחרי שהחוקרים עצמם קראו שנה קודם להפסקה זמנית של ניסויים בהנדסה גנטית. הכנס קבע עקרון אחד פשוט — שרמת ההכלה תתאים לרמת הסיכון המשוערת — וארבע רמות הכלה, ואסר סוגי ניסויים מסוימים. ההנחיות רוככו בהדרגה בשנים שאחר כך, והאסון שממנו חששו לא הגיע. המחנה האחד קורא את זה כהוכחה שרגולציה מוקדמת בידי החוקרים עצמם עובדת. המחנה השני קורא את זה כהוכחה שהחשש היה מוגזם מלכתחילה. אף אחד מהשניים לא יכול להוכיח את גרסתו, וזה בדיוק הקושי בכל דיון על סיכון שנמנע.