מה המערכת יודעת שהיא לא יודעת: דירוג אחרי הפסקה ארוכה
תלמידה חוזרת אחרי חודש וחצי. הדירוג שלה מדויק, אבל על אדם שכבר לא קיים בדיוק בצורה הזו. לא לאפס ולא להתעלם: על סטיית דירוג (Glickman), עקומת השכחה ומחסן הזיכרון הקבוע (Murre & Dros, Bahrick), למידה מחדש (Cepeda), ומדד אי-הוודאות שמתכווץ עם ראיות וגדל עם הזמן.
תלמידה חוזרת לאפליקציה אחרי חודש וחצי של מילואים. לפני ההפסקה היא הייתה ברמה טובה בחשיבה מילולית, והאפליקציה זוכרת את הדירוג שלה במדויק. השאלה היא אם הדירוג הזה עדיין נכון. אולי היא שכחה חצי מהמילים. אולי, להפך, משהו התיישב בראש ואפילו השתפר. הדירוג הישן הוא מספר מדויק על אדם שכבר לא קיים בדיוק בצורה הזו.
רוב המערכות מתמודדות עם זה בשתי דרכים גרועות: או שהן מתעלמות מהזמן וממשיכות מאותה נקודה, או שהן מאפסות ומתחילות מחדש. הדרך השלישית, שאנחנו משתמשים בה במנוע התרגול של קורס פסיכומטרי, היא לזכור את הדירוג אבל להפסיק להיות בטוחים בו. לכל ממד יכולת יש שני מספרים, לא אחד: איפה התלמיד עומד, וכמה אנחנו בטוחים בזה. השני הוא הגיבור של המאמר הזה.
מה קורה לדירוג באפליקציה אחרי הפסקה ארוכה מהלימודים?
הדירוג עצמו לא משתנה, אבל מדד אי-הוודאות שצמוד אליו גדל בהדרגה עם כל יום שלא תרגלתם. אי-ודאות גבוהה גורמת לשתי תוצאות: כל תשובה בשבוע הראשון אחרי החזרה מזיזה את הדירוג בצעדים גדולים יותר, כך שהמערכת מתכווננת מהר למצב הנוכחי, ומבחני הביניים ננעלים עד שהיא שוב בטוחה מספיק. ככל שעונים על יותר שאלות, אי-הוודאות מתכווצת בחזרה. המערכת לא מענישה על ההפסקה ולא מוחקת את ההיסטוריה. היא פשוט מודה שהיא כבר לא יודעת, ומתקנת את זה מהר.
מה המדע אומר: אומדן בלי רווח ביטחון הוא לא אומדן
דירוג Elo המקורי, שנבנה לשחמט, מחזיק מספר אחד לשחקן. הבעיה ידועה כבר עשרות שנים: שחקן שלא שיחק שנתיים חוזר עם אותו דירוג בדיוק, והמערכת מתייחסת אליו כאילו הדירוג הזה נמדד אתמול. גליקמן (Glickman, 1999) הציע את התיקון שהפך לתקן בעולם השחמט המקוון, מערכת Glicko: לצד הדירוג נשמרת סטיית דירוג (Rating Deviation), מדד לכמה הדירוג אמין. סטיית הדירוג קטנה עם כל משחק וגדלה עם כל תקופת חוסר פעילות. שחקן עם סטייה גדולה זז הרבה אחרי כל משחק, שחקן עם סטייה קטנה זז מעט. זו הפעלה ישירה של עיקרון בייסיאני: כשהאמונה הקודמת חלשה, ראיה חדשה שוקלת יותר.
אצל לומדים הבעיה חריפה יותר מאשר אצל שחקני שחמט, כי יכולת של לומד באמת משתנה בזמן ההפסקה, ובדרך כלל לרעה. עקומת השכחה שאבינגהאוס תיאר לפני יותר ממאה שנה שוחזרה לאחרונה בקפדנות (Murre & Dros, 2015): הידע דועך מהר בימים הראשונים אחרי הלמידה ולאט אחר כך. אבל בהריק (Bahrick, 1984), שעקב אחרי ידע בספרדית של מבוגרים עד חמישים שנה אחרי שלמדו אותה, מצא שחלק מהידע לא דועך בכלל: מה שנלמד היטב מגיע למצב שהוא כינה "מחסן קבוע", ונשאר שם עשרות שנים. שני הממצאים יחד אומרים שאחרי הפסקה אי אפשר לדעת מראש מה נשאר. חלק מהממדים ייפלו, חלק לא. צריך למדוד מחדש.
ומה עם הרעיון לאפס ולהתחיל מחדש? זה מבזבז ידע. ספדה ועמיתיו (Cepeda et al., 2006), במטא-אנליזה של מאות ניסויי חזרה מרווחת, הראו שלמידה מחדש אחרי הפסקה מהירה בהרבה מלמידה ראשונה, גם כשהמבחן המיידי נראה כאילו הכול נשכח. מי שחוזר אחרי חודש הוא לא מתחיל. הדירוג הישן שלו הוא נקודת פתיחה טובה בהרבה מהממוצע, גם אם היא כבר לא מדויקת.
בסקירה של טכניקות מידול לומדים, פלאנק (Pelánek, 2017) מציין שלרוב מערכות ה-Elo החינוכיות אין ייצוג מפורש של אי-ודאות, ושהן מפצות על זה בטריקים כמו צעד גדול בתחילת הדרך שקטן עם מספר התשובות. הטריק עובד למתחילים. הוא לא עובד למי שחוזר.
מה בנינו: אי-ודאות כמספר ראשון במעלה
לכל אחד מארבעה-עשר ממדי היכולת במנוע יש, לצד הדירוג, מדד אי-ודאות בין אפס לאחד. הוא מתחיל במקסימום כשהתלמיד עוד לא ענה על כלום בממד, ומתנהג לפי שלושה כללים:
| מה קרה | מה קורה לאי-הוודאות | למה |
|---|---|---|
| תשובה אמיתית (נכונה או שגויה) | מתכווצת בצעד קבוע, עד לרצפה שלעולם לא נוגעת באפס | ראיה מקטינה אי-ודאות; הרצפה משאירה מקום ללמידה שקורית גם אצל תלמיד "מוכר" |
| יום שעבר בלי תרגול בממד | גדלה בצעד קטן, ביחס למספר הימים, עד למקסימום | המדידה מתיישנת, גם אם התלמיד לא |
| ניחוש בזק (מהיר מכדי לקרוא) | הזמן שעבר נספר, אבל אין כיווץ | הניחוש הוא לא ראיה, ולכן לא מקטין אי-ודאות; אבל הימים שעברו עד אליו אמיתיים |
אי-הוודאות עושה שני דברים. הראשון הוא לקבוע את גודל הצעד של הדירוג: המקדם שמכפיל כל עדכון, מה שבספרות נקרא K, נגזר ישירות ממנה, גבוה כשהיא גבוהה ונמוך כשהיא נמוכה. תלמיד חדש זז הרבה בכל תשובה, כי המערכת עוד מחפשת אותו. תלמיד ותיק זז מעט, כי היא כבר מצאה. תלמיד ותיק שחזר מהפסקה נמצא באמצע: הדירוג שלו שווה, אבל הצעדים שוב גדולים, ואחרי כמה עשרות תשובות הוא חוזר להתנהג כוותיק.
הדבר השני הוא שער למבחני הביניים. הרמה הגבוהה ביותר בסולם השליטה, "נשלט", ניתנת רק על שאלות ממבחני עבר, במבחן ביניים שהמערכת מציעה כשהיא חושבת שהתלמיד מוכן (כתבנו על זה במאמר על תקציב שאלות-האמת). "מוכן" כולל תנאי על אי-הוודאות: המערכת לא תשלח תלמיד לשרוף שאלת אמת יקרה על סמך דירוג שהיא לא בטוחה בו. אחרי הפסקה ארוכה השער נסגר זמנית, לא כי הרמה ירדה, אלא כי המדידה התיישנה. כמה שאלות תרגול פותחות אותו מחדש.
מה החליף את מה: בגרסה הקודמת של מנוע הדירוג לא היה מדד אי-ודאות בכלל. גודל הצעד נקבע במדרגה אחת לפי מספר התשובות שהתלמיד ענה בממד: צעד גדול עד סף מסוים של תשובות, ואז צעד קטן, לתמיד. זה בדיוק הטריק שפלאנק מתאר, ויש לו חור ברור: הזמן לא קיים בו. תלמיד שענה על הרבה שאלות בפברואר ונעלם עד יוני חזר עם צעד קטן, והמערכת הייתה צריכה עשרות תשובות כדי לזוז ממקום שכבר לא תיאר אותו. במעבר לגרסה הנוכחית המדרגה הוחלפה במדד רציף שמתכווץ עם ראיות ומתרחב עם זמן. כדי לא לאפס תלמידים קיימים, כל ממד שקדם למדד קיבל אי-ודאות התחלתית שנגזרה ממספר התשובות הקודמות שלו: ותיקים נשארו ותיקים.
למה לא לאפס, ולמה לא להתעלם
איפוס נראה כן: "לא ראינו אותך חודש, נתחיל מחדש". אבל הוא זורק את מה שספדה ובהריק הראו: הידע לא נעלם, הוא נחלש בצורה לא אחידה, וחלקו לא נחלש בכלל. איפוס ישלח תלמידה ברמה גבוהה לשאלות קלות מדי לשבוע שלם, בניגוד לכלל ה-85%, ויגרום לה להרגיש שהאפליקציה לא זוכרת אותה. גם המסר עצמו גרוע: הוא אומר שההפסקה מחקה את העבודה, וזה בדיוק המסר שמונע מאנשים לחזור.
התעלמות היא הטעות ההפוכה: להמשיך לתת שאלות ברמה של יוני למי שעכשיו ברמה של מרץ, ולזוז ממנה בצעדים קטנים של תלמיד ותיק. התלמידה תיכשל שוב ושוב, הדירוג יירד לאט מדי, ובינתיים הביטחון שלה ייפגע ללא סיבה. הפתרון של גליקמן פותר את שני הדברים באותה תנועה: הדירוג נשאר, הביטחון בו לא.
טעויות נפוצות בטיפול בהפסקות
- מספר אחד לכל ממד. דירוג בלי מדד אמינות הוא ממוצע בלי רווח ביטחון. אי אפשר לדעת אם לסמוך עליו.
- לקבוע את גודל הצעד לפי מספר תשובות. זה הפתרון הנפוץ ביותר, וגם שלנו בעבר. הוא מתעלם מהזמן ומניח שראיה מלפני חצי שנה שווה לראיה מאתמול.
- לתת לניחושים להיספר כניסיון. ניחוש בזק לא מקטין אי-ודאות. תלמיד שלחץ מהר על עשרים שאלות לא נמדד, ואסור שהמערכת תתנהג כאילו כן.
- לאפס אחרי הפסקה. זורק ידע אמיתי, מוריד את רמת האתגר מתחת למה שמועיל, ומעביר מסר שההפסקה מחקה הכול.
- לתת לאי-הוודאות לרדת לאפס. אם המערכת בטוחה לחלוטין, היא מפסיקה ללמוד. תלמיד שמשתפר לא יצליח להזיז דירוג שננעל. הרצפה קיימת בדיוק בשביל זה.
- להפוך את השער למבחן ביניים לעונש. השער נסגר כי המדידה התיישנה, ונפתח אחרי תרגול קצר. אם הוא מנוסח כ"לא מוכן", התלמיד שומע "ירדת". הניסוח הנכון הוא "בוא נבדוק איפה אתה עומד".
מה זה אומר עליכם, התלמידים
- חזרתם אחרי הפסקה? השבוע הראשון הוא כיול. השאלות עלולות להרגיש קצת קלות או קצת קשות, והדירוג יזוז יותר מהרגיל. זה לא באג, זו המערכת שמחפשת אתכם מחדש. תנו לה כמה עשרות שאלות.
- אל תנחשו כדי "לחמם". ניחושי בזק לא מקטינים את אי-הוודאות, אז הם רק מאריכים את תקופת הכיול. ענו ברצינות על מעט שאלות במקום בחיפזון על הרבה.
- מבחן ביניים שנעלם אחרי הפסקה יחזור. הוא לא נעלם כי הרמה ירדה, אלא כי המערכת לא בטוחה מספיק כדי לשרוף עליכם שאלת אמת. תרגול רגיל פותח אותו מחדש.
- הפסקה לא מוחקת עבודה. ספדה ועמיתיו הראו שלמידה מחדש מהירה בהרבה מלמידה ראשונה. אם אתם חוזרים אחרי חודש ומרגישים שהכול נשכח, תבדקו את ההרגשה הזו אחרי שלושה ימי תרגול, לא אחרי שלוש שאלות.
- ללומד עצמאי: אחרי הפסקה, אל תמשיכו מהעמוד שבו עצרתם ואל תחזרו לעמוד הראשון. פתרו עשר שאלות מעורבות מכל הנושאים שלמדתם, ורק אז תחליטו לאן לחזור. זו גרסת העיפרון של מדד אי-ודאות.
אי-ודאות היא המספר השלישי שכל ממד מחזיק, לצד הדירוג והשטף. על השטף, ולמה תשובה נכונה ואיטית עוד לא נחשבת לשליטה, כתבנו במאמר על נכון אבל לאט. על שני התיקונים האחרים באותו עדכון דירוג, הסטת ניחוש וצעד א-סימטרי, במאמר על למה תשובה נכונה שווה יותר מטעות. ואיך המערכת מתמודדת עם תלמיד שאין לה עליו שום מידע, במאמר על למה אין מבחן רמה. לשאר המאמרים: המעבדה של זינוק.
שאלות ותשובות
מה קורה לדירוג שלי באפליקציה אחרי הפסקה ארוכה?
הדירוג לא משתנה ולא מתאפס. מה שגדל הוא מדד אי-הוודאות שצמוד אליו, בהדרגה, עם כל יום בלי תרגול בממד. התוצאה: בשבוע הראשון אחרי החזרה כל תשובה מזיזה את הדירוג בצעדים גדולים יותר, עד שהמערכת מתכווננת מחדש.
למה לא פשוט לאפס ולהתחיל מחדש?
כי הידע לא נעלם, הוא נחלש בצורה לא אחידה. מחקרי חזרה מרווחת (Cepeda 2006) מראים שלמידה מחדש מהירה בהרבה מלמידה ראשונה, ובהריק מצא שחלק מהידע נשאר עשרות שנים. איפוס ישלח תלמידה ברמה גבוהה לשאלות קלות מדי ויעביר מסר שההפסקה מחקה את העבודה.
למה מבחן הביניים נעלם אחרי שחזרתי?
כי "מוכן למבחן ביניים" כולל תנאי על אי-הוודאות: המערכת לא שורפת שאלת אמת יקרה על סמך דירוג שהיא לא בטוחה בו. השער נסגר כי המדידה התיישנה, לא כי הרמה ירדה, וכמה שאלות תרגול פותחות אותו מחדש.
האם ניחושים מהירים עוזרים "לחמם" את המערכת אחרי הפסקה?
לא. ניחוש בזק לא נחשב ראיה ולכן לא מקטין את אי-הוודאות, ורק מאריך את תקופת הכיול. עדיף לענות ברצינות על מעט שאלות מאשר בחיפזון על הרבה.
מה ההבדל בין הגישה הזו לבין Elo רגיל?
ב-Elo המקורי יש מספר אחד לשחקן, וגודל הצעד נקבע בדרך כלל לפי מספר משחקים. מערכת Glicko (Glickman 1999) הוסיפה סטיית דירוג שקטנה עם משחקים וגדלה עם חוסר פעילות. המנוע שלנו מיישם את אותו עיקרון על לומדים: אי-ודאות שמתכווצת עם תשובות אמיתיות ומתרחבת עם ימים בלי תרגול.
למה אי-הוודאות לא יורדת לאפס אצל תלמיד ותיק?
כי מערכת שבטוחה לחלוטין מפסיקה ללמוד. תלמיד שמשתפר לא יצליח להזיז דירוג שננעל. יש רצפה שמשאירה תמיד מקום לשינוי, כי למידה קורית גם אצל מי שהמערכת "מכירה".
מקורות
- Mark E. Glickman (1999). Parameter estimation in large dynamic paired comparison experiments. doi.org/10.1111/1467-9876.00159
- Murre & Dros (2015). Replication and analysis of Ebbinghaus' forgetting curve. doi.org/10.1371/journal.pone.0120644
- Harry P. Bahrick (1984). Semantic memory content in permastore: Fifty years of memory for Spanish learned in school. doi.org/10.1037/0096-3445.113.1.1
- Cepeda, Pashler, Vul, Wixted & Rohrer (2006). Distributed practice in verbal recall tasks: A review and quantitative synthesis. doi.org/10.1037/0033-2909.132.3.354
- Radek Pelánek (2017). Bayesian knowledge tracing, logistic models, and beyond: an overview of learner modeling techniques. doi.org/10.1007/s11257-017-9193-2
- Klinkenberg, Straatemeier & van der Maas (2011). Computer adaptive practice of Maths ability using a new item response model for on the fly ability and difficulty estimation. doi.org/10.1016/j.compedu.2011.02.003
