משבר השחזור ומה הוא שינה

בשנת 2011 פרסם דריל בם, פסיכולוג ותיק ומכובד, מאמר בכתב העת המוביל בפסיכולוגיה חברתית. תשעה ניסויים, כאלף נבדקים, שמונה מתוך תשעה מובהקים סטטיסטית. הממצא: אנשים מגיבים לגירויים **לפני** שהוצגו להם. על־חושיות.

מה שהחריד את התחום לא היה הטענה אלא השיטות. הן היו רגילות לגמרי — בדיוק אותן שיטות שכולם השתמשו בהן שנים. ואם הצינור הזה מייצר הוכחה לניבוי העתיד, מה עוד הוא מייצר?

שלושה חוקרים ניסו לשחזר את אחד הניסויים בשלוש אוניברסיטאות, מאה וחמישים נבדקים. התוצאה: אפס מוחלט. את השחזור דחו שלושה כתבי עת מובילים, כולם בנימוק שזהו שחזור. באחד המקרים ההסתייגות הגיעה משופט שהתברר לימים כבם עצמו. המדיניות ההיא — ״איננו מפרסמים שחזורים״ — לא הייתה זדון; היא הייתה מקובלת. וזו נקודת התורפה המבנית. באותה שנה נסרקו 321,411 מאמרים בפסיכולוגיה מאז 1900, ונמצא ששחזורים הם 1.07 אחוז מהם — ומתוכם רק ארבעה עשר אחוז שחזורים ישירים. שחזור בידי אותם מחברים הצליח ב־91.7 אחוז מהמקרים; בידי מחברים אחרים — ב־64.6.

ובאותה שנה בדיוק פורסם המאמר שהסביר את המנגנון. סימונס, נלסון וסימונסון טבעו את המונח ״דרגות חופש של החוקר״: כל ההחלטות הלגיטימיות־לכאורה שחוקר מקבל בדרך — לאסוף עוד נבדקים? להוציא תצפיות חריגות? לפקח על משתנה? על איזה מדד לדווח? הם הראו בסימולציה שכל אחת לבדה מעלה את הסיכוי לתוצאה מובהקת־שגויה לשבעה עד שנים עשר אחוז, ושארבע מהן יחד מעלות אותו ל־60.7 אחוז — במקום החמישה שמובטחים. ואז הדגימו: עשרים סטודנטים הקשיבו לשיר של הביטלס או לשיר אחר, ולפי הדיווח, מי ששמע את הביטלס היה **צעיר בשנה וחצי**. הטריק היחיד היה לפקח על גיל אביו של הנבדק. בלעדיו אין שום אפקט. הם לא זייפו דבר.

ב־2015 הגיע המספר שכולם מצטטים. מאתיים ושבעים חוקרים שחזרו מאה מחקרים משלושה כתבי עת מובילים: 97 אחוז מהמקוריים היו מובהקים, ו־36 אחוז מהשחזורים. גדלי האפקט התכווצו לכמחצית. שווה לדייק גם כאן, כי גם הנתון הזה מצוטט לא נכון: 47 אחוז מגדלי האפקט המקוריים נפלו בתוך רווח הסמך של השחזור, ו־68 אחוז נשארו מובהקים כשמאחדים את הנתונים. כישלון שחזור אינו הפרכה; לרוב פירושו ״האפקט קטן בהרבה ממה שנטען, אם הוא קיים״. והפילוח מסביר את כל הפקולטה: בפסיכולוגיה קוגניטיבית שוחזרו חמישים אחוז, ובפסיכולוגיה חברתית עשרים וחמישה.

היו גם פרויקטים שבדקו אפקטים קלאסיים בעשרות מעבדות בבת אחת. בראשון שוחזרו עשרה מתוך שלושה עשר, כולל עיגון ומסגור, ושניים נפלו לגמרי — שניהם פריימינג חברתי. בשני שוחזרו חמישה עשר מתוך עשרים ושמונה, וחציון גודל האפקט ירד מ־0.60 ל־0.15. והמסקנה החשובה: גודל האפקט היה קשור בעיקר לאפקט שנבדק ולא למדגם או למקום — כלומר התירוץ ״זה לא עבד כי הנבדקים שלכם שונים״ ברובו לא החזיק.

וכאן אסור לעצור, כי החלק השני של הסיפור הוא שהתיקון עבד. נכנס לשימוש פורמט שבו כתב עת מאשר מחקר על בסיס השאלה והשיטה, לפני שיש תוצאות; מאתיים שבעים ושמונה כתבי עת אימצו אותו. וההשוואה מדברת בעד עצמה: בקרב מאמרים רגילים, 96 אחוז מדווחים על תוצאה חיובית; בקרב מאמרים שאושרו מראש, 44 אחוז. אותו דבר קרה ברפואה: בניסויים קליניים גדולים של מכון הלב האמריקני, לפני חובת הרישום המוקדם דיווחו 57 אחוז על תועלת מובהקת, ואחריה — שמונה אחוז.

ושתי אזהרות לסיום. אחת: זו אינה בעיה של פסיכולוגיה. חברת תרופות ניסתה לשחזר חמישים ושלושה מאמרי דגל בביולוגיה של הסרטן ואישרה שישה; בסקר של כתב עת מדעי על 1,576 חוקרים, מעל שבעים אחוז נכשלו בשחזור ניסוי של מישהו אחר ומעל חמישים אחוז נכשלו בשחזור של עצמם. פסיכולוגיה לא נכשלה יותר מאחרים — היא **מדדה** יותר מאחרים. ושתיים, לצד השני: ב־2023 פורסם מאמר שהראה שאפשר להגיע לשחזוריות גבוהה, וב־2024 הוא נמשך, בין השאר בגלל הצהרה שגויה על רישום מוקדם. גם זה, כשחושבים על זה, ראיה שהמנגנון עובד.