הטיה

ב־2019 פורסם ב״סיינס״ ניתוח של אלגוריתם רפואי שהיה בשימוש על מיליוני מטופלים בארצות הברית. תפקידו היה לאתר חולים מורכבים שכדאי לצרף אותם לתוכנית טיפול מוגברת. בבדיקה התברר שבאותו ציון סיכון בדיוק, מטופלים שחורים היו חולים משמעותית יותר ממטופלים לבנים. כלומר כדי להיכנס לתוכנית, אדם שחור היה צריך להיות חולה יותר.

הסיבה מלמדת יותר מהממצא. באלגוריתם לא היה משתנה של גזע. לא הייתה כוונה. מה שהיה בו זה שהוא לא חזה מחלה אלא חזה הוצאה — כמה כסף צפוי להיות מושקע במטופל — מתוך הנחה סבירה לגמרי שמי שעולה יותר הוא מי שחולה יותר. אלא שבארצות הברית מוציאים פחות כסף על מטופלים שחורים באותה רמת חולי, בגלל גישה לשירותים ובגלל אי־אמון במערכת. וכך הפער הקיים במערכת הבריאות נכנס למודל דרך הדלת האחורית, במסווה של משתנה ניטרלי. החוקרים חישבו מה היה קורה אילו היו מתקנים: שיעור המטופלים השחורים בתוכנית היה עולה מ־17.7 אחוזים ל־46.5.

זה הדפוס. מודל מותאם לוקח את מה שיש בנתונים ומשכפל אותו, ולכן הטיה נכנסת בשלושה מקומות: במה שנמדד, במי שנמדד, ובמה שהוגדר כמטרה. דוגמה לסוג השני התפרסמה ב־2018: כלי לדירוג קורות חיים, שפיתוחו התחיל ב־2014 ונזנח ב־2017, אומן על עשר שנים של קורות חיים שהגיעו לחברה. מכיוון שרובם היו של גברים, הכלי למד להוריד ניקוד למסמכים שהכילו את המילה ״נשים״, למשל בשמות של עמותות או מכללות. ודוגמה לסוג הראשון היא מדידה שפורסמה באותה שנה על מערכות מסחריות לזיהוי מגדר מתוך תמונת פנים: שיעור השגיאה על נשים כהות עור הגיע ל־34.7 אחוזים, ועל גברים בהירי עור לא עלה על 0.8.

המדידה הרחבה והמוסמכת ביותר בתחום הזה פורסמה בדצמבר 2019 בידי מכון התקנים האמריקאי, שבדק 189 אלגוריתמים מ־99 מפתחים על יותר משמונה עשר מיליון תמונות של כשמונה וחצי מיליון אנשים. הממצא: שיעורי זיהוי שגוי של אדם אחד כאדם אחר היו גבוהים פי עשרה עד פי מאה עבור פנים אסיאתיות ואפרו־אמריקאיות לעומת פנים ״לבנות״. שני פרטים בתוך הדוח חשובים לא פחות. הראשון: אלגוריתמים שפותחו באסיה לא הראו פער דרמטי בין פנים אסיאתיות לפנים לבנות — כלומר מדובר בהרכב חומר האימון ולא בפנים. והשני: האלגוריתמים ההוגנים ביותר היו גם מהמדויקים ביותר, ולכן זו אינה בהכרח עסקה שבה מוותרים על דיוק כדי לקבל הוגנות.

המחיר בפועל מתועד. בינואר 2020 נעצר אדם בדטרויט על סמך התאמה של תוכנת זיהוי פנים והוחזק שלושים שעות; התביעה שהגיש הסתיימה ביוני 2024 בהסדר שקבע שהמשטרה לא תעצור על סמך התאמה כזאת ללא ראיה עצמאית נוספת. בפברואר 2023 נעצרה באותה עיר אישה בהיריון על סמך התאמה דומה והוחזקה אחת־עשרה שעות; התיק נסגר כעבור חודש מחוסר ראיות. עד סוף 2023 תועדו לפחות שישה מקרים כאלה בארצות הברית, וכולם של אנשים שחורים.

וכאן מגיע החלק שמשנה את כל הדיון. ב־2016 פרסם עיתון חקירות אמריקאי ניתוח של ציוני סיכון שניתנו ליותר משבעת אלפים עצורים במחוז אחד בפלורידה. הממצא: מבין מי שלא ביצעו עבירה נוספת, 44.9 אחוזים מהנאשמים השחורים סומנו כסיכון גבוה לעומת 23.5 אחוזים מהלבנים. ומבין מי שכן ביצעו, 28 אחוזים מהשחורים סומנו כסיכון נמוך לעומת 47.7 אחוזים מהלבנים. החברה שפיתחה את הכלי השיבה שהוא הוגן לפי המדד שלה: בכל ציון סיכון, אחוז דומה של נאשמים שחורים ולבנים אכן ביצעו עבירה נוספת. חוקרים אחרים הוסיפו חמש השגות מתודולוגיות על הניתוח העיתונאי.

ואז, בספטמבר של אותה שנה, הוכיחו שלושה חוקרים משפט. הם ניסחו שלושה תנאי הוגנות סבירים לכל הדעות והראו שמלבד מקרים מיוחדים מאוד, אין שיטה שיכולה לקיים את שלושתם בבת אחת. חוקרת נוספת הראתה את אותו דבר בניסוח ממוקד: כשהשכיחות הבסיסית של התופעה שונה בין הקבוצות, אי אפשר לקיים גם כיול שווה וגם שיעורי טעות שווים. כלומר שני הצדדים באותו ויכוח אמרו אמת. העיתון מדד שיעורי טעות והם היו שונים; החברה מדדה כיול והוא היה שווה; ומתמטית, בהינתן שיעורי מעצר שונים בין הקבוצות, אי אפשר היה אחרת.

זו הסיבה שהמשפט ״האלגוריתם גזעני״ הוא תיאור לא מדויק של מה שנמצא, ושגם ״האלגוריתם הוכח כהוגן״ הוא לא מדויק. מה שנמצא הוא שאין ״הוגן״ אחד. יש בחירה בין הגדרות, וכל בחירה כזאת היא החלטה ערכית שמישהו חייב לקבל במודע — ואם לא יקבל אותה במודע, היא תתקבל בכל מקרה, בדמות ברירת מחדל טכנית שאיש לא דן בה.