נכון אבל לאט: למה תשובה נכונה ואיטית עוד לא נחשבת לשליטה
רוב האפליקציות סופרות רק את הווי הירוק. אבל המבחן מודד גם כמה מהר הוא הגיע. על אוטומטיזציה (Anderson, Logan), שטף התנהגותי (Binder), ולמה איטיות היא בעיה בשאלה קלה ומעלה בשאלה קשה (Goldhammer). ואיך בנינו סולם שליטה שבו הזמן משפיע על התואר, אבל לעולם לא על הציון.
תלמיד פותר שאלת אחוזים. הוא מגיע לתשובה הנכונה, אבל זה לקח לו יותר מדקה וחצי, עם שלוש מחיקות בדרך. באפליקציה מופיע וי ירוק. במבחן האמיתי, עם עשרים שאלות בפרק ועשרים דקות, אותה תשובה נכונה הייתה עולה לו שתי שאלות אחרות שלא יספיק להגיע אליהן.
רוב אפליקציות הלימוד סופרות רק את הווי. נכון או לא נכון, וזהו. אבל כשבנינו את מנוע התרגול של קורס פסיכומטרי למדנו מהר שיש הבדל עצום בין תלמיד שיודע לפתור לבין תלמיד שפותר בשטף, ושהפער הזה הוא בדיוק מה שהמבחן מודד. לכן מנוע הלמידה שלנו מחזיק, לצד הדירוג, מדד נפרד שנקרא שטף (Fluency): איזה חלק מהתשובות הנכונות הגיע בזמן סביר לשאלה.
המאמר הזה מסביר למה תשובה נכונה ואיטית היא לא שליטה, מה המדע אומר על אוטומטיזציה, ואיך בנינו את סולם השליטה כך שהזמן משפיע על התואר שמקבל התלמיד, אבל לעולם לא על הציון.
האם תשובה נכונה אבל איטית נחשבת לשליטה בחומר?
לא, ולא רק אצלנו. תלמיד ששולט בחומר פותר גם נכון וגם מהר, כי הפתרון כבר לא דורש ממנו מאמץ מודע. באפליקציה של זינוק, זמן התגובה לא נכנס לדירוג היכולת ואין שעון שנועל שאלה. במקום זה, כל תשובה נכונה מסומנת גם כשוטפת או איטית ביחס לזמן האופייני לאותה שאלה, והמדד המצטבר הזה הוא אחד התנאים למעבר מרמת "מתרגל" לרמת "שולט". תשובה איטית לא מורידה נקודות. היא פשוט עוד לא מוכיחה שליטה.
מה המדע אומר: ידע הופך למיומנות כשהוא מפסיק לדרוש מחשבה
בפסיכולוגיה הקוגניטיבית יש שם למעבר הזה: אוטומטיזציה (Automatization). אנדרסון (Anderson, 1982) תיאר רכישת מיומנות קוגניטיבית כתהליך בשלושה שלבים: בהתחלה הלומד מחזיק את הכללים כידע מוצהר ומפעיל אותם צעד אחרי צעד, אחר כך הכללים מתגבשים לפרוצדורות, ובסוף הפרוצדורות מתחדדות עד שהן רצות בלי תשומת לב. הידע לא השתנה בין השלב הראשון לשלישי. מה שהשתנה הוא כמה הוא עולה.
לוגן (Logan, 1988) הציע הסבר מכני לירידה הזו: בכל פעם שפותרים בעיה, נשמר בזיכרון מופע של הפתרון. בפעמים הבאות מתחרים שני מסלולים, חישוב מחדש מול שליפת מופע קודם, ומי שמגיע ראשון מנצח. ככל שיש יותר מופעים, השליפה מנצחת יותר, וזמן התגובה מתקצר בעקומה חלקה וצפויה. המשמעות המעשית: מהירות היא לא כישרון נפרד מהידע, היא הסימן שהידע כבר נשמר בצורה שאפשר לשלוף.
בינדר (Binder, 1996) סיכם עשרות שנים של מחקר על שטף התנהגותי (Behavioral Fluency) וטען שדיוק לבדו הוא קריטריון חלש לשליטה: לומדים שהגיעו לדיוק גבוה בלי מהירות שוכחים מהר יותר, מתקשים לשמור על הביצוע כשמסיחים אותם, ולא מצליחים להעביר את המיומנות למשימות מורכבות. שטף, לפי בינדר, הוא דיוק ועוד מהירות, ורק השילוב מנבא שהמיומנות תחזיק מעמד.
ויש צד שני, שחשוב לא פחות. גולדהמר ועמיתיו (Goldhammer et al., 2014) ניתחו מבחני קריאה ופתרון בעיות של מבוגרים ומצאו שהקשר בין זמן לביצוע תלוי בסוג המשימה: במשימות פשוטות, מי שלוקח יותר זמן מצליח פחות (זה סימן לחוסר אוטומטיות), אבל במשימות מורכבות, זמן ארוך יותר קשור דווקא להצלחה גבוהה יותר. איטיות היא בעיה בשאלה שאמורה להיות קלה לכם, ומעלה בשאלה שדורשת מחשבה. לכן אי אפשר להגדיר "איטי" במספר אחד לכל השאלות.
למה לא מכניסים את הזמן לציון
יש מערכות שעושות את זה. ב"גן המתמטיקה" ההולנדי, קלינקנברג ועמיתיו (Klinkenberg, Straatemeier & van der Maas, 2011) בנו כלל ניקוד שמשלב נכונות וזמן: תשובה נכונה מהירה שווה יותר מנכונה איטית, ותשובה שגויה מהירה עולה יותר משגויה איטית. הכלל עובד יפה סטטיסטית, ויש לו יתרון אמיתי בדיוק המדידה.
סירבנו לו בכל זאת, מסיבה שכתבנו עליה באריכות במאמר על הטיימר שלא נועל: ברגע שהזמן נכנס לציון, השעון הופך לשופט, והתלמידים שהכי סובלים מחרדת בחינות מגיבים בדיוק הפוך ממה שרוצים. הם מתחילים לנחש מהר כדי "לחסוך", או קופאים. אצלנו הזמן משמש רק לשני דברים, ושניהם לא נוגעים לדירוג: הוא מסנן ניחושי בזק שלא נחשבים ראיה (כתבנו על זה בכלל ה-85%), והוא מסמן אם תשובה נכונה הייתה שוטפת.
ההבדל דק אבל מהותי. בשיטה של קלינקנברג, תשובה איטית מורידה את הדירוג. אצלנו היא מעלה אותו בדיוק כמו תשובה מהירה, ורק לא נספרת לטובת השטף. תלמיד שפותר נכון ולאט מתקדם בדירוג בקצב מלא. הוא פשוט עוד לא יכול לקבל את התואר "שולט", ואת זה אנחנו אומרים לו בפירוש.
מה בנינו: סולם שליטה עם ארבע מדרגות
לכל אחד מארבעה-עשר ממדי היכולת במנוע הפסיכומטרי יש שלושה מספרים שמתעדכנים אחרי כל תשובה: דירוג (איפה התלמיד עומד), אי-ודאות (כמה אנחנו בטוחים בדירוג) ושטף (איזה חלק מהתשובות הנכונות האחרונות הגיע בזמן סביר). מהשלושה נגזר תואר אחד שהתלמיד רואה:
| רמה | מה נדרש | מה זה אומר בפועל |
|---|---|---|
| מכיר | עוד לא נאספו מספיק תשובות בממד | המערכת עדיין לא יודעת. התואר לא אומר כלום על היכולת, רק על כמות הראיות. |
| מתרגל | יש מספיק תשובות, אבל הדירוג או השטף עדיין לא שם | רוב התלמידים נמצאים כאן רוב הזמן. זו הרמה שבה הלמידה קורית. |
| שולט | דירוג מעל סף גבוה וגם שטף מעל סף | פותר נכון ומהר את שאלות התרגול. שני התנאים חייבים להתקיים יחד. |
| נשלט | הוכחה במבחן ביניים על שאלות ממבחני עבר | ניתן רק על שאלות אמת, לא על תרגול. כתבנו על זה בתקציב שאלות-האמת. |
שימו לב למדרגה השלישית. תלמיד עם דירוג גבוה ושטף נמוך נשאר "מתרגל", גם אם הוא לא טועה כמעט אף פעם. זה נראה לא הוגן בהתחלה, ובמכוון: הסולם מתאר מוכנות למבחן, לא ידע. מי שיודע לפתור אבל לא מספיק מהר יגיע למבחן ולא יסיים את הפרק, וסולם שמסתיר את זה ממנו עושה לו שירות דוב.
"איטי" ביחס למה?
הלקח של גולדהמר הוא שאין סף זמן אחד. שאלת השלמת משפטים באנגלית ושאלת גאומטריה עם שלושה משולשים לא אמורות לקחת אותו זמן, וגם שתי שאלות גאומטריה יכולות להיות שונות מאוד. לכן הסף שלנו הוא יחסי: כל שאלה שנצברו עליה מספיק תשובות מקבלת זמן תגובה אופייני משלה, החציון של כל התלמידים שפתרו אותה. תשובה נכונה שלקחה הרבה יותר מהזמן האופייני לאותה שאלה מסומנת כאיטית. תשובה שלקחה הרבה יותר מהאופייני לשאלה אחרת לא אומרת כלום.
הזמן האופייני הזה מגיע מאותו כיול לילי שתיארנו במאמר על כיול קושי מתשובות התלמידים: אותו תהליך שמעריך כמה קשה שאלה מעריך גם כמה זמן היא לוקחת. שאלה חדשה שעוד לא צברה תשובות מקבלת תקרה כללית וקבועה, גסה בכוונה, שרק תופסת מקרים קיצוניים. ככל שהשאלה נפתרת יותר, הסף שלה מתחדד.
מה למדנו מכרטיסי אוצר המילים: אותו מסנן שמזהה ניחוש מהיר בשאלת חשיבה כמותית מבוסס על ההנחה שתשובה שמגיעה מהר מדי לא יכולה להיות תוצאה של קריאה ומחשבה. באוצר מילים ההנחה הזו פשוט לא נכונה: מי שיודע את המילה עונה מיד, וזה בדיוק מה שאנחנו רוצים לראות. תשובה מהירה על כרטיס זיכרון היא הראיה הכי חזקה לשליטה, לא ניחוש. לכן פריטי זיכרון וזיהוי עוברים במנוע עם דגל שמכבה את מסנן הניחושים, והמהירות שלהם נספרת לטובה. הלקח הכללי: "מהר מדי" תלוי במה השאלה דורשת מהמוח, ומסנן אחד לכל סוגי השאלות היה מעניש בדיוק את מי שכבר למד.
איך השטף מודד את עצמו
מדד השטף הוא ממוצע נע של התשובות הנכונות האחרונות: כל תשובה נכונה ושוטפת מושכת אותו למעלה, כל תשובה נכונה ואיטית מושכת אותו למטה, ותשובות ישנות מאבדות משקל בהדרגה. בחרנו ממוצע נע ולא ממוצע מצטבר כי שטף משתנה, לשני הכיוונים. תלמיד שהתחיל את הקורס איטי ולמד דרך קצרה לא צריך לגרור אחריו חודש של תשובות איטיות, ותלמיד שהיה שוטף ונעלם לחודשיים יאבד חלק מהשטף, וזה נכון שהמדד ישקף את זה.
תשובות שגויות לא נכנסות לחישוב בכלל. שטף הוא מדד על תשובות נכונות: השאלה היא לא "כמה מהר אתם עונים" אלא "כשאתם צודקים, האם זה בא בקלות". תשובה שגויה מהירה היא נושא למסנן הניחושים, ותשובה שגויה איטית היא נושא לדירוג. אף אחת מהן לא נוגעת לשטף.
טעויות נפוצות במדידת שטף
- להכניס את הזמן לציון. מדויק יותר סטטיסטית, מזיק יותר פסיכולוגית. הזמן צריך להשפיע על מה שהתלמיד רואה על עצמו, לא על מה שהוא מקבל על כל תשובה.
- סף זמן אחד לכל השאלות. "שאלה צריכה לקחת עד דקה" הוא משפט שנכון לחצי מהשאלות ושגוי לחצי השני. הסף חייב להיות יחסי לשאלה.
- לבלבל בין איטי לניחוש. אלה שני מסננים הפוכים: אחד תופס תשובות מהירות מדי (לא ראיה), השני תשובות איטיות מדי (ראיה, אבל לא לשליטה). מסנן אחד לא יכול לעשות את שניהם.
- למדוד שטף על שאלות שגויות. תלמיד שטועה מהר לא "שוטף בטעויות". השטף מוגדר רק על הצלחות.
- לתת "שולט" על דיוק בלבד. זה מה שרוב האפליקציות עושות, וזו הסיבה שתלמידים מגיעים למבחן עם מסך מלא בווי ירוק ולא מסיימים פרק.
מה זה אומר עליכם, התלמידים
- וי ירוק הוא חצי דרך. כשפתרתם נכון ולאט, אל תעברו הלאה. תשאלו את עצמכם איפה הלך הזמן: קריאה חוזרת של השאלה? חיפוש הנוסחה? חישוב ארוך שיש לו קיצור? הזמן הוא המקום שבו יש לכם הכי הרבה מה להרוויח.
- אל תזרזו את עצמכם באופן מלאכותי. השטף לא נבנה מלחץ, הוא נבנה מחזרות. לפי לוגן, כל פתרון שאתם עושים בזהירות היום הוא המופע שיישלף מהר בעוד שבועיים. פתרון חפוז ושגוי לא נשמר כמופע מועיל.
- איטיות בשאלה קשה זה בסדר. גולדהמר הראה שבמשימות מורכבות זמן נוסף קשור להצלחה. הסף שלנו יחסי בדיוק בגלל זה. השאלות שכדאי לדאוג בגללן הן הפשוטות שלוקחות לכם הרבה זמן.
- שולט הוא מצב, לא הישג. הממוצע הנע יורד אחרי הפסקה ארוכה. זה לא עונש, זו תזכורת ששטף צריך תחזוקה, וששבוע לפני המבחן כדאי לחזור גם לחומר ש"כבר יודעים".
- ללומד עצמאי: אפשר למדוד שטף עם שעון עצר וסימון פשוט. ליד כל שאלה שפתרתם נכון, סמנו אם היא הרגישה אוטומטית או שדרשה מאמץ. הנושאים עם הכי הרבה "נכון אבל במאמץ" הם התוכנית לשבוע הבא, יותר מהנושאים שבהם טעיתם.
שטף הוא הסיבה שסולם השליטה אצלנו לא מסתפק בדיוק, אבל הוא רק אחד משלושת המספרים שכל ממד מחזיק. על השני, אי-הוודאות, ולמה היא גדלה כשנעלמים לחודש, כתבנו במאמר על מה המערכת יודעת שהיא לא יודעת. ועל למה תשובה נכונה מזיזה את הדירוג יותר ממה שטעות מורידה, במאמר על הא-סימטריה של הלמידה תוך כדי מדידה. לשאר המאמרים: המעבדה של זינוק.
שאלות ותשובות
האם תשובה נכונה אבל איטית נחשבת לשליטה בחומר?
לא. שליטה היא דיוק ועוד מהירות: מי ששולט פותר נכון בלי מאמץ מודע. באפליקציה של זינוק תשובה נכונה ואיטית מעלה את הדירוג בדיוק כמו תשובה מהירה, אבל לא נספרת לטובת מדד השטף, ובלי שטף אי אפשר להגיע לרמת "שולט".
האם הזמן משפיע על הציון או על הדירוג באפליקציה?
לא. זמן התגובה לא נכנס לדירוג ואין שעון שנועל שאלה. הוא משמש רק לשני דברים: לסנן ניחושי בזק שלא נחשבים ראיה, ולסמן אם תשובה נכונה הייתה שוטפת. שני הדברים משפיעים על מה שהתלמיד רואה על עצמו, לא על מה שהוא מקבל.
מה נחשב "איטי"?
איטי ביחס לזמן האופייני של אותה שאלה, החציון של כל התלמידים שפתרו אותה, שמחושב באותו כיול לילי שמעריך את הקושי. אין סף אחד לכל השאלות: שאלת השלמת משפטים ושאלת גאומטריה לא אמורות לקחת אותו זמן.
מהן ארבע רמות סולם השליטה?
מכיר (עוד אין מספיק תשובות בממד), מתרגל (יש תשובות, אבל הדירוג או השטף עדיין לא בסף), שולט (דירוג גבוה וגם שטף גבוה, שני התנאים יחד), ונשלט (הוכחה במבחן ביניים על שאלות ממבחני עבר בלבד).
למה תשובה מהירה על כרטיס מילים לא נחשבת ניחוש?
כי מי שיודע מילה עונה מיד, וזו הראיה החזקה ביותר לשליטה. מסנן הניחושים מניח שתשובה מהירה מדי לא יכולה להיות תוצאה של קריאה ומחשבה, והנחה זו נכונה לשאלת חשיבה ולא לכרטיס זיכרון. לכן פריטי זיכרון עוברים במנוע עם המסנן כבוי.
האם השטף יכול לרדת?
כן. השטף הוא ממוצע נע של התשובות הנכונות האחרונות, ולכן הוא משקף את המצב הנוכחי לשני הכיוונים. אחרי הפסקה ארוכה הוא יורד, וזה נכון שהוא ירד: שטף דורש תחזוקה, ובשבועות שלפני המבחן כדאי לחזור גם לחומר ש"כבר יודעים".
מקורות
- John R. Anderson (1982). Acquisition of cognitive skill. doi.org/10.1037/0033-295X.89.4.369
- Gordon D. Logan (1988). Toward an instance theory of automatization. doi.org/10.1037/0033-295X.95.4.492
- Carl Binder (1996). Behavioral fluency: Evolution of a new paradigm. doi.org/10.1007/BF03393163
- Goldhammer, Naumann, Stelter, Tóth, Rölke & Klieme (2014). The time on task effect in reading and problem solving is moderated by task difficulty and skill: Insights from a computer-based large-scale assessment. doi.org/10.1037/a0034716
- Klinkenberg, Straatemeier & van der Maas (2011). Computer adaptive practice of Maths ability using a new item response model for on the fly ability and difficulty estimation. doi.org/10.1016/j.compedu.2011.02.003
- Wise & Kong (2005). Response time effort: A new measure of examinee motivation in computer-based tests. doi.org/10.1207/s15324818ame1802_2
