ביטחון יתר וניבוי

ב־1954 פרסם פול מיל ספר קטן ומטריד שבו השווה את שיפוטו של קלינאי מאומן לנוסחה סטטיסטית פשוטה. הנוסחה ניצחה. שלושים ושתיים שנה אחר כך כתב מיל את המשפט שמסכם את הקריירה שלו: ״אין מחלוקת במדעי החברה שבה גוף כה גדול של מחקרים מגוונים יוצא כה אחיד לאותו כיוון״. באותה נקודה היו כתשעים מחקרים, מניבוי תוצאות פוטבול ועד אבחון מחלות כבד, ובקושי חצי תריסר מהם תמכו ולו במעט בשיפוט הקליני.

ב־2000 נעשתה מטא־אנליזה של מאה שלושים ושישה מחקרים. הניקוד: בארבעים ושבעה אחוז מהמקרים הנוסחה עדיפה במידה ניכרת, בארבעים ושבעה אחוז השניים שקולים בערך, ובשישה אחוז — שמונה מחקרים — הקלינאי מנצח. בשבעה מתוך אותם שמונה, לקלינאי היה **יותר** מידע מאשר לנוסחה. היתרון הממוצע של הנוסחה קטן, כעשרה אחוזים, אבל הוא עקבי להחריד; והמקרה היחיד שבו השיפוט האנושי נחלש במיוחד הוא כשהוא מבוסס על ראיון אישי. מיל עצמו מנה את הסיבות שבגללן התחום מתעלם: בורות סטטיסטית, פחד מייתור מקצועי, איום על התפיסה העצמית, תחושה שהשיטה מנטרלת את האנושי — ופחד ממחשבים.

הצד השני של המטבע נבדק במחקר אורך של עשרים שנה. פיליפ טטלוק אסף 82,361 תחזיות מ־284 מומחים שהתפרנסו מפרשנות על מגמות פוליטיות וכלכליות. המומחים בקושי היכו משכילים לא מומחים, ואיש מהם לא היכה כללי חיזוי פשוטים; בשאלות עם שלוש אפשרויות הם לעיתים קרובות הצליחו פחות מאשר מי שהיה מניח שכל אפשרות שווה. מדד הכיול מטריד במיוחד: כשמומחים אמרו ״שמונים וחמישה אחוז״, הדבר קרה בכ־65 עד 70 אחוז מהמקרים. חמישה עשר אחוז ממה שהכריזו כבלתי אפשרי קרה; יותר מרבע ממה שהכריזו כוודאי לא קרה. וטטלוק גם הבחין בין ״קיפודים״, שמחזיקים ברעיון גדול אחד, ל״שועלים״, שמלקטים הרבה שיקולים קטנים ומשנים דעה — השועלים ניצחו.

וכאן חשוב לעצור, כי המשפט הפופולרי שנדבק לעבודה הזאת — שמומחים אינם טובים משימפנזה שזורק חצים — הוא עיוות, וטטלוק עצמו מכנה אותו שטות: ״מה שהמחקר שלי הראה הוא שהמומחה הממוצע הצליח מעט יותר מניחוש **בשאלות רבות** שהצבתי. רבות אינו כל״. ההמשך שלו מוכיח זאת. בתחרות חיזוי שערך ארגון מודיעין אמריקני בין 2011 ל־2015, עם כחמש מאות שאלות על ענייני עולם, גייס טטלוק יותר מעשרים אלף חובבים. הקבוצה שלו היכתה את קבוצת הביקורת בשישים אחוז בשנה הראשונה ובשבעים ושמונה בשנייה, וגברה על צוותי אוניברסיטאות מתחרים בשלושים עד שבעים אחוז — וגם על אנליסטים מקצועיים בעלי גישה לחומר מסווג. שלושה דברים ייצרו את זה: אימון קצר בהסתברות, עבודה בצוותים, וקידום שני האחוזים הטובים ביותר לקבוצות עילית. ומעל הכול — הם שמרו על הדיוק שנתיים ברציפות, בניגוד לציפייה שהכול יחזור לממוצע.

שתי הערות אחרונות, שתיהן חשובות. הראשונה: ״ביטחון יתר״ אינו דבר אחד. בעבודה מ־2008 הופרד המושג לשלושה — הערכת יתר של הביצוע שלך, הצבה עצמית מעל לממוצע, ודיוק יתר, כלומר רווחי ודאות צרים מדי. השניים הראשונים נעו בניסוי בכיוונים **הפוכים**, במתאם של מינוס 0.64: במשימות קלות אנשים מעריכים את עצמם בחסר אך מציבים את עצמם מעל האחרים, ובמשימות קשות ההפך. השנייה: הטיית בדיעבד, התחושה ש״ידעתי שזה יקרה״, נמדדה במטא־אנליזה של 122 מחקרים וגודלה קטן, 0.17 — והמחברים עצמם כתבו שהיא ״אולי אינה מדאיגה כפי שמקובל לחשוב״. גם כאן, המספר האמיתי צנוע יותר מהמוניטין.