קשב והארכיטקטורה שהחליפה את כולן

עד אמצע העשור הקודם, רשת שקראה משפט קראה אותו כמו אדם שקורא בקול: מילה אחר מילה, ובכל צעד מחזיקה סיכום של מה שהיה עד כה. המבנה הזה נקרא רשת נשנית, ובגרסה המשוכללת שלו נוספו שלושה ״שערים״ שמחליטים מה לשכוח ומה לזכור. היו לו שתי בעיות. האחת, מה שקרה בתחילת פסקה ארוכה נשחק עד שהגיעו לסופה. והשנייה, שהתבררה כמכרעת: אי אפשר לקרוא את המילה החמישית לפני שסיימת את הרביעית, ולכן אי אפשר לפזר את העבודה על הרבה מעבדים במקביל.

הרעיון שפתר את הבעיה הראשונה הופיע ב־2014, ולא בהקשר של צ׳אט אלא של תרגום. החוקרים הצביעו על כך ש״השימוש בווקטור באורך קבוע הוא צוואר בקבוק״ — כלומר דחיסת משפט מקור שלם למספר קבוע של מספרים מאבדת מידע. ההצעה: במקום לדחוס, לתת למערכת לחפש בכל פעם מחדש אילו חלקים של משפט המקור רלוונטיים למילה שהיא מתרגמת כרגע. לזה קראו קשב.

מה שקרה ב־2017 היה הסרת כל השאר. מאמר בשם ״קשב זה כל מה שצריך״ הראה שאפשר לזרוק את הקריאה הסדרתית לגמרי ולבנות מערכת שכולה קשב, ושהיא מתרגמת טוב יותר ומתאמנת מהר יותר. המבנה נקרא טרנספורמר. התוצאה שדווחה: תרגום מאנגלית לצרפתית בציון גבוה מהקודמים אחרי שלושה ימים וחצי על שמונה כרטיסים גרפיים. המספר הזה הוא העיקר — לא האיכות אלא הזמן.

ומה קשב עושה בפועל, בלי נוסחאות. קחו משפט. לכל מילה בו, המערכת מחשבת עד כמה כל מילה אחרת במשפט רלוונטית לה, ומייצרת לה ייצוג חדש שהוא תערובת משוקללת של כל המילים לפי המשקלים האלה. במשפט ״הכלב שרדף אחרי החתול היה עייף״, כשמעבדים את ״היה״, המשקל על ״הכלב״ גבוה ועל ״החתול״ נמוך. אף אחד לא קבע את זה. המשקלים נלמדו. והנקודה הטכנית שהכריעה: כל המילים מקבלות את הטיפול הזה בו־זמנית, ולכן כל המשפט עובר במקביל. זה מה שאיפשר לאמן על כמויות שלא היו מעשיות קודם.

על המילה עצמה ראוי סייג, והוא מגיע ממי שעוסקת בשני התחומים. בסקירה מ־2020 השוותה חוקרת עצבים את השימוש בביטוי ״קשב״ בלמידת מכונה לקשב כפי שהוא נחקר בפסיכולוגיה ובמדעי המוח. המסקנה שלה: המנגנון שנעשה בו שימוש היום ״דומה פחות לקשב ביולוגי מאשר מנגנוני הקשב שהיו בשימוש בתרגום מכונה קודם לכן״, ולסיכום — ״ההבדלים באילוצים משמעם שגם התקדמויות גדולות בלמידת מכונה אינן יוצרות בהכרח מודלים דומים יותר למוח״. קשב כאן הוא שם של פעולת שקלול. לא מיקוד תודעה.

סייג שני נוגע לפיתוי שקשה לעמוד בפניו: להסתכל על המשקלים ולומר ״הנה, זה מה שהמודל הסתכל עליו״. ב־2019 פורסם מאמר שטען שאלה אינן הסבר, ובאותה שנה פורסמה תשובה בשם ״קשב הוא לא לא־הסבר״, שטענה שהמסקנה תלויה לגמרי בהגדרת ״הסבר״. הוויכוח לא הוכרע. מי שמציג מפת משקלי קשב כתשובה לשאלה ״למה המודל אמר את זה״ מציג דבר שלא הוסכם עליו.

הדבר האחרון שכדאי לקחת מהתקופה הזאת הוא שרשרת תיקונים שמראה איך נראה מדע שעובד. ב־2020 פורסמה עבודה שמצאה שביצועי מודל שפה משתפרים לפי חוקי חזקה חלקים מול גודל המודל, כמות הנתונים ועוצמת החישוב — על פני יותר משבעה סדרי גודל. המסקנה המעשית שלה הייתה להגדיל מודלים מאוד ולהאכיל אותם בכמות נתונים צנועה יחסית. ב־2022 פורסמה עבודה שבדקה את השאלה מחדש על יותר מארבע מאות מודלים והפכה את העצה: מודל וכמות טקסט צריכים לגדול באותו קצב. וב־2024 פורסם ניסיון שחזור של העבודה השנייה, שמצא שאחת משלוש שיטות האמידה שלה אינה עקבית עם השתיים האחרות, ושרווחי הסמך שדווחו ״צרים באופן בלתי סביר — רווחים כאלה היו דורשים למעלה משש מאות אלף ניסויים, בעוד שהם ככל הנראה הריצו פחות מחמש מאות״. השחזור תיקן, והתוצאה המתוקנת מסתדרת עם שאר הממצאים. אף אחת משלוש התחנות האלה אינה סופית, וכל אחת מהן עדיפה על הקודמת.