כמה שיעורי בית שווים? איך אפליקציית לימוד משקללת ראיות ממקורות שונים
כל תשובה, מכל אזור באפליקציה, מזינה מודל כישורים אחד לכל תחום פסיכומטרי, אבל לא באותו משקל. תרגול חכם במשקל מלא, שיעורי בית ומבחני נושא בכמחצית, כרטיסי שינון באפס. ומה שלימד אותנו הכי הרבה: התלמיד שענה על ארבע שאלות ומפת השליטה שלו הציגה ארבע-עשרה.
תלמיד פתר אתמול עשר שאלות אנלוגיות בשיעורי הבית, ענה נכון על שמונה. היום הוא פתר חמש שאלות אנלוגיות בתרגול החכם, ענה נכון על שתיים. מה המערכת צריכה לחשוב על רמת האנלוגיות שלו?
התשובה הפשוטה, "לספור הכול ביחד", היא תשובה לא נכונה. בשיעורי הבית היה לו רמז פתוח, הוא יכול היה לחזור לשיעור, ואולי אחיו הגדול ישב לידו. בתרגול החכם הוא היה לבד מול שעון. שתי הראיות אמיתיות, אבל הן לא שוות באיכותן. המאמר הזה עוסק בשאלה שנשמעת טכנית ומסתבר שהיא אחת הקשות בתכנון אפליקציית לימוד: כמה שווה כל תשובה, לפי המקום שממנו הגיעה.
איך אפליקציית לימוד משקללת ראיות ממקורות שונים לרמה אחת?
כל תשובה, מכל אזור באפליקציה, נכנסת למודל כישורים אחד לכל תחום (ממד) פסיכומטרי, אבל לא באותו משקל. תשובה בתרגול האדפטיבי נספרת במשקל מלא, כי היא ניתנה לבד ובזמן אמת. תשובה בשיעורי בית או במבחן נושא נספרת בכמחצית המשקל, כי יש בה "רעש" של רמזים ועזרה. כרטיסי שינון לא מזיזים את הדירוג בכלל, כי זיהוי עובדה משוננת אינו ראיה על פתרון בעיה. תשובה שגויה מכל מקור, בלי קשר למשקל, נכנסת לתור חזרה ותחזור כשאלה דומה בתרגול עתידי.
מה המדע אומר: הערכה היא טיעון, לא סכום
הרעיון שלא כל תשובה נכונה שווה את אותו הדבר הוא הבסיס לגישה שנקראת תכנון הערכה ממוקד ראיות (Evidence-Centered Design). מיסלבי, סטיינברג ואלמונד (Mislevy, Steinberg & Almond, 2003) ניסחו את זה כך: הערכה היא טיעון. יש טענה על מה התלמיד יודע, יש ראיות שנצפו, ויש חוליה מפורשת שמסבירה למה הראיה תומכת בטענה. לפי הגישה הזו, השאלה "כמה שווה תשובה נכונה בשיעורי בית" אינה שאלה של ספירה אלא של הסקה: באילו תנאים ניתנה התשובה, ומה בדיוק היא מוכיחה.
הענף היישומי של השאלה הזו נקרא מעקב ידע (Knowledge Tracing). קורבט ואנדרסון (Corbett & Anderson, 1994) בנו את המודל הקלאסי: לכל מיומנות יש הסתברות שהתלמיד כבר שולט בה, וכל תשובה מעדכנת את ההסתברות הזו. החידוש שלהם, שנשכח לעיתים, היה ההכרה שגם תלמיד ששולט במיומנות טועה לפעמים (Slip), וגם תלמיד שלא שולט בה מצליח לפעמים (Guess). כלומר, כבר במודל הראשון היה ברור שתשובה בודדת היא ראיה רועשת, ושהמודל חייב להתחשב בכמה רעש יש בה.
סקירה עדכנית של פלאנק (Pelánek, 2017) ממפה את כל משפחת מודלי הלומד, ממעקב ידע בייסיאני ועד מודלים לוגיסטיים ודירוגי אלו (Elo), ומגיעה למסקנה שמעניינת מהנדסים במיוחד: ההבדל בין המודלים חשוב פחות מאיכות הראיות שמזינים אליהם. מודל מתוחכם על ראיות מזוהמות מפסיד למודל פשוט על ראיות נקיות. באותה רוח, פלאנק (Pelánek, 2016) הראה שדירוג בסגנון אלו, שאנחנו משתמשים בו, מתנהג היטב במערכות לימוד בתנאי אחד: שההסתברות החזויה של הצלחה משקפת את תנאי המענה בפועל.
ומה מזהם את הראיות? שני מחקרים ממעבדת המערכות המנחות של קרנגי מלון ענו על זה בצורה מדויקת. אלוון וקדינגר (Aleven & Koedinger, 2000) מצאו שתלמידים משתמשים בעזרה בצורה שאינה מתואמת עם הצורך שלהם: מבקשים רמז כשלא צריך, ולא מבקשים כשצריך. תשובה נכונה אחרי רמז יכולה להיות למידה או העתקה של הרמז, ואי אפשר להבחין מבחוץ. בייקר, קורבט וקדינגר (Baker, Corbett & Koedinger, 2004) הלכו צעד הלאה ותיארו "משחק במערכת" (Gaming the System): לחיצה מהירה על רמזים עד שהתשובה נחשפת, או ניסוי תשובות עד שאחת נתפסת. הם הראו שההתנהגות הזו נפוצה, ושהיא מנבאת למידה נמוכה בדיוק אצל התלמידים שהמערכת "חשבה" שהם מתקדמים.
המסקנה של ארבעים שנות מחקר היא אחת: ראיה שהגיעה מסביבה שיש בה עזרה שווה פחות מראיה שהגיעה מסביבה שאין בה, ומודל שלא מבחין ביניהן יאמין לתלמיד יותר ממה שמותר לו.
מה בנינו: צינור אחד, משקל לפי מקור
באפליקציית הפסיכומטרי של זינוק יש כמה אזורי תרגול: שיעורי בית שצמודים לשיעורים, מבחני נושא, תרגול חכם (אדפטיבי), כרטיסי שליפה מהירה, ובהמשך הקורס גם בדיקות שיעור ומבחני ביניים. עד גרסה מוקדמת של המנוע, לכל אזור היה חשבון נפרד: התרגול החכם ידע רק מה שקרה בתרגול החכם. תלמיד שפתר שלושים שאלות ביחסים בשיעורי הבית הגיע לתרגול החכם כזר גמור.
המנוע הנוכחי עובד אחרת. כל שאלה שנענית, בכל אזור, עוברת דרך נקודת כניסה אחת. הנקודה הזו עושה שלושה דברים, בסדר הזה:
- מתעדת. התשובה מקבלת מזהה ייחודי ברגע הלחיצה, נכנסת לתור מקומי במכשיר, ונשלחת לשרת בצבירה. אם הרשת נופלת והשליחה חוזרת על עצמה, המזהה מונע ספירה כפולה. תלמיד ברכבת עם קליטה חלשה לא "מרוויח" עשר תשובות בגלל עשרה ניסיונות שליחה.
- זוקפת מאמץ. שכבת המשחק (נקודות, משימות יומיות) מקבלת את התשובה בלי לשאול אם היא נכונה. על זה כתבנו בנפרד, במאמר על גיימיפיקציה אתית לקטינים. הזמן שהתלמיד השקיע בשאלה נצבר למד הדקות של היום, אבל מוגבל בתקרה סבירה לשאלה, כדי שטלפון שנשאר פתוח על השולחן לא יירשם כשעת לימוד.
- מזינה את מודל הכישורים. וכאן המשקלים נכנסים לתמונה.
לכל תחום פסיכומטרי (אנלוגיות, הבנת הנקרא, יחסים, בעיות מילוליות, וכן הלאה, ארבעה-עשר ממדים בסך הכול) יש דירוג אחד ומדד אי-ודאות אחד. כשמגיעה תשובה, המנוע מחשב כמה הופתע: תשובה נכונה על שאלה קשה מזיזה את הדירוג יותר מתשובה נכונה על שאלה קלה. זה מנגנון האלו הרגיל, שתיארנו במאמר על כלל ה-85%. החידוש הוא מכפיל לפי מקור, שמצטרף לחישוב לפני שהדירוג זז:
- תרגול חכם: משקל מלא. התלמיד לבד, מול שעון, בלי רמז. זו הראיה הנקייה ביותר שיש לנו, והמנוע האדפטיבי עצמו הוא שמעדכן אותה, עם כל דקויות הניסיון החוזר.
- שיעורי בית ומבחני נושא: כמחצית המשקל. הרמזים פתוחים, השיעור נגיש, ולעיתים יש עזרה מבחוץ. הראיה אמיתית, ולכן היא נספרת. היא רועשת, ולכן היא נספרת פחות. תלמיד שפתר שלושים שאלות יחסים בשיעורי הבית מגיע לתרגול החכם עם דירוג שכבר זז, אבל המנוע עדיין "רוצה לראות בעצמו" לפני שהוא מאמין עד הסוף.
- כרטיסי שליפה מהירה: אפס משקל לדירוג. על זה מיד, כי זו הטעות שלימדה אותנו הכי הרבה.
ויש עוד ערוץ, שלא תלוי במשקל בכלל: תשובה שגויה מכל אזור נכנסת לתור חזרה בין-סשני. כמה ימים אחר כך, בתרגול חכם, תופיע שאלה דומה באותו ממד ובאותה רמת קושי. הטעות בשיעורי הבית לא מזיזה את הדירוג הרבה, אבל היא כן קובעת מה תפגשו בהמשך. זו ההבחנה שהכי חשובה לנו: משקל נמוך לצורך מדידה, משקל מלא לצורך למידה.
מה ראינו קודם: בגרסה הראשונה של הצינור המאוחד, כרטיסי השליפה המהירה (לוח הכפל, נוסחאות, מילות קישור) קיבלו משקל קטן אבל חיובי. ההיגיון נשמע סביר: תלמיד ששולף נוסחת שטח בשנייה כנראה יודע משהו על גאומטריה. בפועל, תלמיד פתר ארבע שאלות חשבון בתרגול החכם, ומפת השליטה שלו הציגה שהוא ענה על ארבע-עשרה. עשר מהן היו כרטיסי לוח כפל. הדירוג שלו בחשבון עלה על סמך זיהוי עובדות משוננות, לא על סמך פתרון בעיה אחת. זיהוי של עובדה אינו ראיה על יכולת לפתור, ואף מכפיל לא הופך אותו לכזו. הורדנו את הכרטיסים לאפס משקל בדירוג, והשארנו להם רק את הערוץ השני: טעות בכרטיס עדיין נכנסת לתור החזרה.
| מקור התשובה | תנאי המענה | משקל בדירוג הממד | נכנס לתור החזרה? | נזקף כמאמץ? |
|---|---|---|---|---|
| תרגול חכם (אדפטיבי) | לבד, מול שעון, בלי רמז | מלא | כן | כן |
| שיעורי בית | רמז פתוח, השיעור נגיש | כמחצית | כן | כן |
| מבחן נושא | בלי שעון, אפשר לחזור | כמחצית | כן | כן |
| כרטיסי שליפה מהירה | זיהוי עובדה, שניות בודדות | אפס | כן | כן |
למה לא לתת לתלמיד לבחור
שאלו אותנו למה לא לשאול את התלמיד "השתמשת ברמז?" ולשקלל לפי התשובה. משתי סיבות. הראשונה היא ממצאי אלוון וקדינגר: תלמידים לא מדווחים נאמנה על השימוש שלהם בעזרה, לא מתוך רמאות אלא כי הם באמת לא יודעים אם הרמז הוא שפתר את השאלה. השנייה היא עקרון של האפליקציה שלנו: אף רכיב לא מעניש. שאלה שמרמזת שהתשובה "שווה פחות" הופכת רמז לדבר שמתביישים בו, ותלמיד שמתבייש ברמז לא מבקש רמז כשהוא צריך. עדיף שהמשקל ייקבע לפי הסביבה, בשקט, ושהתלמיד ישתמש בכל עזרה שהוא רוצה.
טעויות נפוצות בשקלול ראיות
- לספור הכול במשקל שווה. זו ברירת המחדל של רוב האפליקציות, והיא מייצרת דירוג מנופח בדיוק אצל התלמידים שהכי הרבה משתמשים בעזרה. התוצאה: המנוע האדפטיבי מגיש להם שאלות קשות מדי, ואחוז ההצלחה שלהם צונח.
- לא לספור בכלל מקורות "מלוכלכים". הקצה השני. תלמיד שעבד שעה על שיעורי בית ומגיע לתרגול החכם כזר גמור מרגיש, בצדק, שהמערכת לא ראתה אותו. ראיה רועשת היא עדיין ראיה.
- לתת לכל ראיה לזוז אותו הדבר, בלי קשר לאי-הוודאות. בתחילת הקורס המנוע לא בטוח ואמור לזוז מהר. אחרי מאתיים תשובות באותו ממד, תשובה אחת בשיעורי בית לא אמורה לטלטל דבר. מכפיל המקור מוכפל במדד אי-הוודאות, לא מחליף אותו.
- לערבב מדידה ולמידה. "משקל נמוך" לצורך מדידה לא צריך להיות "התעלמות" לצורך למידה. הטעות בשיעורי הבית היא הראיה הכי מועילה לשאלה מה לתרגל מחר, גם אם היא ראיה חלשה לשאלה מה הרמה.
מה זה אומר עליכם, התלמידים
- תשתמשו ברמזים בשיעורי הבית. באמת. המערכת כבר לוקחת בחשבון שהם שם, ואתם לא "פוגעים בדירוג". רמז שמלמד שווה יותר מטעות שמנחשים דרכה.
- שיעורי הבית לא הולכים לאיבוד. כל שאלה שפתרתם שם מזיזה את הדירוג, גם אם פחות. כשתגיעו לתרגול החכם הוא כבר יידע בערך איפה אתם.
- הטעויות שלכם חוזרות בכוונה. אם טעיתם באנלוגיה בשיעורי הבית ובעוד כמה ימים הופיעה אנלוגיה דומה בתרגול החכם, זה לא מקרה. זה תור החזרה.
- כרטיסי השליפה הם לזריזות, לא לדירוג. הם חשובים (על זה כתבנו במאמר על תדירות החזרה על מילים), אבל הם לא "מעלים רמה". רק פתרון שאלות עושה את זה.
- התרגול החכם הוא המקום שבו המנוע מאמין לכם הכי הרבה. לכן שם כדאי לענות באמת: בלי לנחש מהר, בלי להעתיק מהמחברת. זו לא הוראה מוסרית, זו הדרך היחידה שהמנוע ילמד להגיש לכם את השאלה הנכונה.
העיקרון הזה, ראיה נספרת לפי איכותה ולא לפי כמותה, מלווה את כל קורס פסיכומטרי בזינוק: שיעורי הבית, מבחני הנושא והתרגול החכם מדברים עם מודל אחד, שיודע מאיפה כל תשובה הגיעה. איך אנחנו בודקים שהמודל הזה באמת מתכנס לפני שתלמיד אחד פוגש אותו? על זה במאמר על תלמידים סינתטיים. ולמה בכלל אין מבחן מיון ביום הראשון, אם המודל לומד מכל תשובה? במאמר על הוויתור על מבחן המיון. לשאר המאמרים: המעבדה של זינוק.
שאלות ותשובות
האם שיעורי הבית באפליקציה משפיעים על הרמה שלי בתרגול החכם?
כן, אבל בכמחצית המשקל של תשובה בתרגול החכם. בשיעורי הבית יש רמזים פתוחים וגישה לשיעור, ולכן התשובה היא ראיה אמיתית אך רועשת. היא מזיזה את הדירוג, והמנוע "רוצה לראות בעצמו" לפני שהוא מאמין עד הסוף.
למה כרטיסי השינון לא מעלים את הרמה?
כי זיהוי של עובדה משוננת (לוח כפל, נוסחה) אינו ראיה על יכולת לפתור בעיה. גרסה מוקדמת נתנה להם משקל קטן, ותלמיד שפתר ארבע שאלות הוצג כמי שענה על ארבע-עשרה. הורדנו אותם לאפס משקל בדירוג. טעות בכרטיס עדיין נכנסת לתור החזרה.
האם שימוש ברמז פוגע בדירוג שלי?
לא. המשקל נקבע לפי הסביבה (שיעורי בית מול תרגול חכם), לא לפי אם לחצתם על רמז. מחקרים מראים שתלמידים לא יודעים בעצמם אם הרמז פתר להם את השאלה, ושאלה כזו הייתה הופכת רמז לדבר שמתביישים בו.
מה קורה לטעות בשיעורי הבית?
היא מזיזה את הדירוג מעט, אבל נכנסת במשקל מלא לתור חזרה בין-סשני: כמה ימים אחר כך תופיע שאלה דומה, באותו תחום ובאותה רמת קושי, בתרגול החכם. משקל נמוך למדידה, משקל מלא ללמידה.
מה זה מעקב ידע (Knowledge Tracing)?
משפחת מודלים שמעריכים, מכל תשובה, את ההסתברות שהתלמיד שולט במיומנות. המודל הקלאסי של קורבט ואנדרסון (1994) כבר הכיר בכך שגם מי ששולט טועה לפעמים וגם מי שלא שולט מצליח לפעמים, ולכן כל תשובה היא ראיה רועשת שצריך לשקלל.
האם תשובות כפולות בגלל רשת חלשה נספרות פעמיים?
לא. כל תשובה מקבלת מזהה ייחודי ברגע הלחיצה, והשרת דוחה כפילויות. ניסיונות שליחה חוזרים לא מנפחים את הדירוג, את הנקודות או את מספר השאלות.
מקורות
- Mislevy, Steinberg & Almond (2003). On the structure of educational assessments. doi.org/10.1207/S15366359MEA0101_02
- Corbett & Anderson (1994). Knowledge tracing: Modeling the acquisition of procedural knowledge. doi.org/10.1007/BF01099821
- Radek Pelánek (2017). Bayesian knowledge tracing, logistic models, and beyond: an overview of learner modeling techniques. doi.org/10.1007/s11257-017-9193-2
- Radek Pelánek (2016). Applications of the Elo rating system in adaptive educational systems. doi.org/10.1016/j.compedu.2016.03.017
- Aleven & Koedinger (2000). Limitations of student control: Do students know when they need help?. doi.org/10.1007/3-540-45108-0_33
- Baker, Corbett & Koedinger (2004). Detecting student misuse of intelligent tutoring systems. doi.org/10.1007/978-3-540-30139-4_50
