כלל ה-85%: למה האפליקציה שלנו רוצה שתטעו — אבל רק לפעמים
איך בוחרים את השאלה הבאה בתרגול אדפטיבי: שיטת-הדירוג של השחמט, 14 דירוגים נפרדים לכל תלמיד, ולמה אצלנו יורדים ברמה מהר ועולים לאט.
אם אתם עונים נכון על כל שאלה בתרגול, אתם לא מתאמנים. אתם מופיעים. ההופעה נעימה, הקהל (אתם) מוחא כפיים, והציון בבחינה האמיתית לא זז מילימטר.
בקצה השני יושב התלמיד שפתח "רמה קשה" ביום הראשון, חטף עשר טעויות רצופות, וסגר את האפליקציה. גם הוא לא למד כלום, חוץ מהמסקנה השגויה שהוא "לא בנוי לזה".
שני התלמידים האלה הם הסיבה שבאפליקציות של זינוק אין כפתור "קל / בינוני / קשה". הרמה נבחרת בשבילכם, שאלה אחרי שאלה, על-ידי מערכת שמנסה לפגוע בנקודה מדויקת אחת: הנקודה שבה אתם טועים מספיק כדי ללמוד, ולא מספיק כדי להישבר.
מהי הרמה הנכונה לתרגול?
הרמה שבה אתם מצליחים בערך 85% מהזמן. מחקר מ-2019 מצא שקצב-הלמידה המהיר ביותר מושג כשהלומד טועה בכ-15% מהניסיונות: קל מדי, ואין מה ללמוד; קשה מדי, ואין ממה ללמוד. כדי להחזיק אתכם שם בזמן-אמת, האפליקציה מדרגת גם אתכם וגם כל שאלה, בשיטת הדירוג של השחמט.
מה המדע אומר: הטעות היא חומר-הגלם
ב-2019 פרסמו וילסון, שנהב, סטרצ'יה וכהן ב-Nature Communications את "כלל ה-85%": במגוון רחב של משימות למידה, כולל רשתות נוירונים מלאכותיות וגם לומדים ביולוגיים, קצב-הלמידה מגיע לשיא כששיעור ההצלחה נע סביב 85%. האינטואיציה פשוטה: למידה ניזונה מהפער בין מה שציפיתם לבין מה שקרה. בהצלחה של 100% אין פער. בהצלחה של 50% (במשימה בינארית) יש רק רעש.
הרעיון עצמו ותיק יותר. ויגוצקי קרא לזה "אזור ההתפתחות הקרובה" (Zone of Proximal Development), המרחב שבין מה שהלומד עושה לבד לבין מה שהוא עדיין לא מסוגל לעשות כלל. המחקר של וילסון ועמיתיו נתן לאזור הזה מספר.
אבל איך מוצאים את הנקודה הזאת לכל תלמיד, בכל רגע? כאן נכנס רעיון שהגיע מעולם אחר לגמרי: שיטת הדירוג של ארפד אלו (Elo), שנבנתה לדרג שחמטאים. קלינקנברג ועמיתיו (2011) הראו במערכת ההולנדית Math Garden שאפשר להתייחס לכל מפגש תלמיד-שאלה כאל משחק שחמט: התלמיד "מנצח" אם ענה נכון, והדירוגים של שניהם מתעדכנים. הסקירה של פלאנק (2016) מיפתה את הגישה הזאת כסטנדרט מתהווה במערכות תרגול אדפטיביות: זולה חישובית, מתעדכנת בזמן-אמת, ולא דורשת כיול מוקדם של כל שאלה.
ויש בעיה אחת ייחודית לשאלות אמריקאיות שחייבים לתקן: עם ארבע תשובות, גם ניחוש עיוור מצליח ב-25%. מודלים פסיכומטריים (בסגנון IRT) מתקנים את רצפת-הניחוש הזאת, כי תשובה נכונה לשאלה קשה מוכיחה פחות ממה שנדמה: חלק מה"נכון" הוא מזל.
מה בנינו: שחמט נגד 14 יריבים
אין "רמה כללית", יש דירוג לכל תחום
ההחלטה הראשונה: לתלמיד אין אצלנו דירוג אחד. בפסיכומטרי, מי שחזק באנלוגיות ובינוני בגיאומטריה איננו "תלמיד טוב-מינוס". הוא חזק באנלוגיות ובינוני בגיאומטריה. המערכת מנהלת דירוג נפרד לכל אחד מ-14 ממדי-תוכן, וכל שאלה מכוילת מול הממד שלה. "רמה כללית" היא פיקציה סטטיסטית שמייצרת שאלות לא-נכונות לכולם: קלות מדי בתחום החזק, קשות מדי בחלש.
יורדים מהר, עולים לאט
העדכון אצלנו א-סימטרי בכוונה: אחרי רצף טעויות המערכת מקילה מהר, ואילו העלאת קושי קורית בהדרגה, פי כמה לאט יותר. הסיבה איננה סטטיסטית אלא פסיכולוגית: אצל תלמיד שנערך לבחינה שתקבע את עתידו, מחיר הייאוש גבוה בהרבה ממחיר השעמום. תלמיד משועמם נשאר עוד סשן; תלמיד מיואש סוגר את האפליקציה. את הכיוון הזה בחרנו במודע, וזה אחד ההבדלים בינינו לבין מימוש-ספרים של אלו.
ודאות שמתכווצת, ומזדקנת
על תלמיד חדש המערכת יודעת מעט, ולכן לומדת בצעדים גדולים: כל תשובה מזיזה את ההערכה הרבה. ככל שנצברות ראיות, הצעדים קטנים והדירוג מתייצב, וטעות אחת כבר לא מטלטלת אותו. ואחרי הפסקה ארוכה הוודאות "מתיישנת" בכוונה: מי שנעלם לחודש חוזר קצת אחר, והמערכת מרשה לעצמה שוב צעדים גדולים עד שתתעדכן. שחמטאים מכירים את הרעיון כמקדם-K דינמי; תלמידים מכירים אותו כתחושה שהאפליקציה "קולטת אותך מהר".
טעות מלמדת יותר מהצלחה
כשתלמיד חזק עונה נכון על שאלה בינונית, לא קרה כלום מבחינת מידע. זה מה שהיה צפוי. כשהוא טועה בה, קרה משהו מעניין. לכן תשובה שגויה מזיזה את ההערכה שלנו יותר מתשובה נכונה: הצלחה צפויה כמעט ולא מוסיפה ידע על התלמיד, וכישלון מפתיע מוסיף הרבה. זה גם מה שמאפשר למערכת לזהות מהר תלמיד שנתקע, בלי לחכות לעשרים שאלות.
ניחוש-בזק הוא לא ראיה
תשובה שמגיעה בשבריר-שנייה לא-אנושי, מהירות שבה אי-אפשר היה אפילו לקרוא את השאלה, לא נספרת כראיה. לא לטובה ולא לרעה. וייז וקונג (2005) קראו לזה מדידת "מאמץ זמן-תגובה": תשובה בלי מאמץ היא רעש, והכנסת רעש למודל מקלקלת את ההתאמה לכולם. תלמיד שמנסה "לרמות את האלגוריתם" בניחושים מהירים מגלה שהאלגוריתם פשוט מפסיק להקשיב.
השאלה הראשונה היא תמיד ניצחון
סשן נפתח בשאלה מהתחום החזק של התלמיד, מעט מתחת לדירוגו: כניסה חמה. זה לא פינוק. פתיחה בהצלחה מורידה את הדופק, מפעילה את דפוסי-העבודה הנכונים, ומייצרת את התנאים שבהם המוח מוכן לפגוש את השאלות הקשות באמת. את הקושי שומרים לאמצע, לא לשער הכניסה.
מה ראינו
הדבר שהכי הפתיע אותנו בטלמטריה הוא לא איפה תלמידים נכשלים, אלא כמה מהר מתייצב הדירוג. אחרי מספר לא גדול של תשובות בממד, השאלות "מתלבשות" על התלמיד: הוא מפסיק לדווח שהתרגול "קל מדי" או "בלתי אפשרי", ומתחיל לתאר אותו במילה שאנחנו הכי אוהבים לשמוע, "מאתגר". מאחורי המילה הזאת מסתתר בדיוק טווח ההצלחה שסביב 85%: מספיק הצלחות כדי להישאר, מספיק טעויות כדי להשתפר. 413 שאלות-האימון ו-216 שאלות ברמת-בחינה בבנק הפסיכומטרי שלנו עושות את אותה עבודה בכיוון ההפוך: כל תשובה של כל תלמיד מדייקת גם את הדירוג של השאלה עצמה.
מה זה אומר עליכם: שלושה כללים
- חפשו את נקודת ה"אחת-משש". אם אתם טועים בערך בשאלה אחת מכל שש, אתם במקום הנכון. אם עברתם עשרים שאלות בלי טעות, העלו רמה עכשיו: הזמן הזה נעים אבל לא שווה כלום.
- אל תתקעו ברמה הנוחה. הנטייה הטבעית היא לתרגל את מה שכבר הולך טוב. זו הופעה, לא אימון. את רוב הזמן צריך לבלות בתחום שמרגיש "כמעט": כמעט הצלחתי, כמעט הבנתי.
- טעות בתרגול היא מידע, לא כישלון. כל טעות בתרגול היא שאלה שכבר לא תפתיע אתכם בבחינה. תלמיד שסיים סשן בלי אף טעות לא היה מושלם. הוא היה במקום הלא-נכון.
המנוע האדפטיבי הזה הוא הלב של קורס פסיכומטרי של זינוק. אפשר לנסות אותו בעמודי התרגול החינמיים לפסיכומטרי, וגם בתרגול של קורס האמירנט, שם הוא בוחר את השאלה הבאה שלכם באנגלית באותה שיטה בדיוק.
מקורות
- Wilson, Shenhav, Straccia & Cohen (2019). The Eighty Five Percent Rule for optimal learning. doi.org/10.1038/s41467-019-12552-4
- Klinkenberg, Straatemeier & van der Maas (2011). Computer adaptive practice of Maths ability using a new item response model. doi.org/10.1016/j.compedu.2011.02.003
- Radek Pelánek (2016). Applications of the Elo rating system in adaptive educational systems. doi.org/10.1016/j.compedu.2016.03.017
- Wise & Kong (2005). Response time effort: A new measure of examinee motivation in computer-based tests. doi.org/10.1207/s15324818ame1802_2
- Lev Vygotsky (1978). Mind in Society: The Development of Higher Psychological Processes. hup.harvard.edu/books/9780674576292
