אחריות החלטות ומעקב

בין 1999 ל־2015 הועמדו לדין והורשעו בבריטניה כאלף מנהלי סניפי דואר, על סמך נתונים שהפיקה מערכת הנהלת חשבונות בשם הורייזן. הם שילמו מכיסם גירעונות שלא היו, נשלחו לכלא, ואיבדו את פרנסתם ואת שמם. ועדת חקירה ציבורית פרסמה את הכרך הראשון של הדוח שלה ביולי 2025: לפחות שלושה עשר אנשים שמו קץ לחייהם, ועוד חמישים ותשעה שקלו זאת. יושב ראש הוועדה כתב שהדואר המלכותי ״שימר את הבדיה שהנתונים שלו תמיד מדויקים״. ובאפריל 2021 ביטל בית המשפט לערעורים שלושים ותשע הרשעות מתוך ארבעים ושתיים שנדונו, במשפט אחד שהוא הלב של היחידה הזאת: הדואר ״ביקש למעשה להפוך את נטל ההוכחה: הוא התייחס למה שאינו אלא גירעון שהראתה מערכת חשבונאית בלתי אמינה, כאילו היה הפסד שאין עליו עוררין״.

שימו לב שאין כאן שום בינה מלאכותית. הורייזן הייתה תוכנה רגילה עם באגים. מה שהפך אותה לאסון הוא מוסד שהחליט שהפלט של המחשב הוא עובדה, והאדם שמולו הוא הצד שצריך להוכיח אחרת. זו התבנית, והיא לא השתנתה כשהטכנולוגיה השתנתה.

היא חזרה בהולנד בקנה מידה אחר. בדצמבר 2020 פרסמה ועדת חקירה פרלמנטרית דוח בשם ״אי־צדק חסר תקדים״ על גביית יתר של קצבאות טיפול בילדים. הקביעה: ״עקרונות יסוד של שלטון החוק הופרו״. שלושה דברים פעלו יחד — טיפול בבני אדם כקבוצה ולא כפרטים, כלל של ״הכול או כלום״ שלפיו כל טעות או אי־התאמה הובילה להשבת הקצבה של שנה שלמה, והחלת מושגי זדון ורשלנות חמורה על אנשים שלא הבינו טופס. בחוק לא הייתה פסקת מצוקה שמאפשרת התחשבות במקרה פרטי. מודל דירוג סיכונים היה אחד המרכיבים, ובתוכו שימש מדד ״אזרחות הולנדית״ באופן מפלה בין מרץ 2016 לאוקטובר 2018. הממשלה ההולנדית התפטרה ב־15 בינואר 2021, ורשות הגנת הפרטיות הטילה קנס של 2.75 מיליון יורו בדצמבר של אותה שנה. באוסטרליה פעלה תוכנית דומה לגביית חובות שהתבססה על מיצוע הכנסה שנתית לתקופות דו־שבועיות. ועדת חקירה מלכותית קבעה ביולי 2023 שהיא הייתה ״מנגנון גס ואכזרי, לא הוגן ולא חוקי, שגרם לאנשים רבים להרגיש כמו פושעים״, ושהשיטה עצמה נגדה את חוק הביטחון הסוציאלי.

וכעת שני הצדדים, שניהם רציניים.

הצד שטוען שהחלטה ממוכנת עדיפה אינו טוען שהמכונה ניטרלית. הוא טוען שקו ההשוואה גרוע. במטא־אנליזה משנת 2000 שכיסתה 136 מחקרים על ניבוי קליני מול ניבוי מכני, כשישים ושלושה מהם העדיפו בבירור את הניבוי המכני, כשישים וחמישה הראו שוויון, ורק שמונה העדיפו את שיקול הדעת האנושי. במחקר על מקלט מדיני בארצות הברית נמצא שבבית הדין במיאמי, מבקש מקלט קולומביאני עמד בפני סיכוי של חמישה אחוזים לזכות בפני שופט אחד ושמונים ושמונה אחוזים בפני שופט אחר באותו בניין, ושמחצית מהשופטים שם סטו ביותר מחמישים אחוז מהממוצע של בית הדין. ובמחקר על 758,027 החלטות שחרור בערבות בניו יורק נמצא שכלל ניבוי היה יכול להוריד פשיעה בעד 24.7 אחוזים בלי לכלוא יותר אנשים, או להוריד כליאה בעד 41.9 אחוזים בלי להעלות פשיעה — וכשמשווים בקצב פשיעה זהה, הכלל היה כולא כארבעים אחוז פחות מיעוטים מכפי שהשופטים כלאו בפועל. הטענה היא לא שהמכונה הוגנת, אלא שהיא לפחות עקבית ושאפשר לבדוק אותה. שיקול דעת של אדם אי אפשר לפתוח ולבדוק בכלל.

הצד שמצביע על פער האחריות מנסח את הבעיה כמבנית ולא טכנית, וזה נוסח כבר ב־1996 בארבעה חסמים שעומדים במבחן הזמן. הראשון, ״בעיית הידיים הרבות״: כשתקלה היא תוצר של עשרות אנשים לאורך שנים, מי שנמצא בקצה הסיבתי אינו מי שקיבל את ההחלטה, ולכן אין למי לפנות. השני, ההתייחסות לבאגים כאל גזירת טבע — ״תמיד יש עוד באג״ — שהופכת נזק לאסון טבע ולא לאחריות של מישהו. השלישי, האשמת המחשב: ברגע שנמצא הסבר אחד לטעות, תפקידם של בני האדם בשרשרת נאמד בחסר ולפעמים נעלם. והרביעי, בעלות בלי חבות. ההבחנה החשובה שם: חבות נמדדת ממצוקתו של הנפגע ואפשר לבטח אותה ולפזר אותה; אחריות נמדדת מיחסו של הפועל לתוצאה, ואי אפשר. ב־2008 נוסחה הגרסה המשפטית: ״קוד, ולא כללים, קובע את תוצאות ההכרעה. מתכנתים משנים בהכרח כללים קיימים כשהם מטמיעים אותם בקוד, בדרכים שהציבור, נבחרי הציבור ובתי המשפט אינם יכולים לבחון״. זה נכתב שש־עשרה שנה לפני שוועדות החקירה אישרו אותו.

המקרה שמפרק את הסיסמאות של שני הצדדים הוא אמסטרדם. העירייה בנתה מערכת לדירוג בקשות לקצבה שהתבססה על חמישה עשר מאפיינים, ובמכוון לא כללה מגדר, לאום וגיל. בבדיקת הטיה במאי 2022 התברר שהמודל מסמן בטעות בעלי אזרחות זרה כמעט פי שניים מאשר מערביים, ושהוא מסמן בטעות גברים בארבעה עשר אחוזים יותר. העירייה שקללה מחדש את נתוני האימון, והתייעצה עם מועצת נציגים של מקבלי הקצבה עצמם. אחרי התיקון, בבדיקות מעבדה, שיעורי הסימון השגוי השתוו. ואז יצא הפיילוט לאוויר באביב 2023, על כאלף ושש מאות בקשות, וההטיה התהפכה: עכשיו נגד אזרחים הולנדים ונגד נשים, ובנוסף הופיעה אפליה חדשה נגד מבקשים עם ילדים. והמערכת, שנבנתה כדי לסמן פחות אנשים מפקידים אנושיים, סימנה יותר. בנובמבר 2023 עצר אותה הממונה בעירייה. העלות: כחצי מיליון יורו. מי שאומר ״תנקו את הנתונים ותבדקו הטיה״ ומי שאומר ״אלגוריתמים תמיד מפלים נגד מיעוטים״ — שניהם נופלים על המקרה הזה.

ומה הדין אומר. ברגולציית הפרטיות האירופית יש סעיף שמעניק זכות שלא להיות נתון להחלטה המבוססת אך ורק על עיבוד אוטומטי שיש לה השפעה משפטית או דומה לה. הוא אינו אוסר החלטות אוטומטיות; הוא מתנה אותן. בדצמבר 2023 קבע בית הדין האירופי לצדק שגם חישוב ציון אשראי בידי לשכת אשראי הוא ״החלטה״ לעניין הזה, אם הגורם שמקבל אותו ״נשען עליו בחוזקה״ — כלומר האחריות אינה רק של הבנק שסירב, אלא גם של מי שחישב. ובפברואר 2025 נקבע שעל בעל השליטה להסביר ״את הנוהל ואת העקרונות שהופעלו בפועל״, ושטענת סוד מסחרי אינה חוסמת אוטומטית אלא מועברת להכרעת הרשות או בית המשפט. הניסוח המדויק של המצב הוא לא ״יש זכות להסבר״ ולא ״אין כלום״, אלא: לא את קוד המקור, אבל גם לא כלום.

לגבי חוק הבינה המלאכותית האירופי כדאי להיזהר, כי כאן הטעות הנפוצה ביותר. החוק נכנס לתוקף באוגוסט 2024, האיסורים וחובת האוריינות מיושמים מפברואר 2025, וגוף התקנות הכללי מאוגוסט 2026. אבל תיקון שנכנס לתוקף ביולי 2026 דחה את החובות על מערכות ״בסיכון גבוה״ — בדיוק אלה שיחולו על דירוג אשראי, על זכאות לקצבאות, על מיון מועמדים לעבודה ועל זיהוי ביומטרי בידי רשויות אכיפה — לדצמבר 2027 ולאוגוסט 2028. כלומר נכון לספטמבר 2026 הן אינן בתוקף. זה הפרט הכי מתיישן ביחידה והכי קל לטעות בו.

ובישראל אין מקבילה לזכות הזאת כלל. תיקון 13 לחוק הגנת הפרטיות נכנס לתוקף באוגוסט 2025, והוא עוסק בסמכויות אכיפה, בעיצומים כספיים ובממונה על הגנת הפרטיות — לא בהחלטות אוטומטיות. הנחיית הרשות להגנת הפרטיות בנושא בינה מלאכותית היא טיוטה. ובמעקב בשטח כדאי להפריד בין שני דברים שמתבלבלים כל הזמן: ״עין הנץ״ היא מערכת לקריאת לוחיות רישוי, לא זיהוי פנים, והיא פעלה כעשור בלי בסיס חוקי עד שהוסדרה בתיקון לפקודת המשטרה ב־2024; עתירה שלישית נגד אותו הסדר קיבלה צו על תנאי ביולי 2026 והיא תלויה ועומדת. הצעת חוק למצלמות ביומטריות לזיהוי פנים היא דבר נפרד, שאושר בוועדת שרים לחקיקה בספטמבר 2023 ולא אותר כחוק מחייב.

ולבסוף המעקב עצמו, בשני מספרים מתועדים. בסקר אמריקאי מיולי 2024 בקרב 1,273 עובדים, שישים ושמונה אחוזים דיווחו על צורה כלשהי של ניטור אלקטרוני, וכשליש דיווחו שמשימות או משמרות מוקצות להם אוטומטית. בקרב מי שדיווחו על ניטור תפוקה מתמיד, ארבעים ושישה אחוזים אמרו שהם עובדים מהר יותר ממה שבריא או בטוח, לעומת חמישה עשר אחוזים בקרב מי שאינם מנוטרים. ובמרחב הציבורי, משטרת לונדון פרסמה דוח שנתי על זיהוי פנים בזמן אמת: מאתיים ושבע פריסות, כשלושה מיליון ומאה אלף פנים שנסרקו, 2,077 התראות שמתוכן עשר שגויות, ו־962 מעצרים. את המספרים האלה מסרה המשטרה על עצמה. ובית המשפט לערעורים בבריטניה כבר קבע ב־2020 שפריסה של אותה טכנולוגיה בידי משטרה אחרת הייתה בלתי חוקית — לא מפני שהטכנולוגיה אסורה, אלא מפני שלא היו הנחיות ולא נבדקה הטיה.