תַקצִיר
מעקב עיניים הוא טכנולוגיה שיכולה לתעד תנועות עיניים של אנשים, ולספק למדענים מידע על אודות הדברים שעליהם אנשים מסתכלים – בין אם מדובר בעצמים על מסך, או על דברים בסביבה האמיתית. מדענים משתמשים במעקב אחר תנועות עיניים כדי להבין למה אנשים שמים לב או מה הם זוכרים; חוקרים מתחום השיווק שיוצרים פרסומות משתמשים במעקב עיניים כדי לבדוק אילו סוגים של פרסומות או מוצרים מושכים את תשומת ליבם של אנשים. מעצבים של משחקי וידאו משתמשים בטכנולוגיה זו כדי לזהות אילו חלקים במשחק מבלבלים את השחקנים, ולתקן את המשחק בהתאם. עם זאת, ציוד למעקב אחר תנועות עיניים יכול להיות יקר, והחוקרים משקיעים זמן רב בניתוח הנתונים. אבל האם קיימת דרך אחרת לתעד את תנועות העיניים מבלי לרכוש מערכת מעקב ייעודית? התשובה היא - כן! חוקרים מתחום מדעי המחשב יכולים להשתמש בשיטה מבוססת-מחשב, הנקראת "למידת מכונה", כדי להפוך כל מצלמת רשת פשוטה למערכת מעקב עיניים. ניתן לעשות זאת אפילו באמצעות טלפונים ניידים! במאמר זה תלמדו כיצד פועלות המערכות העוקבות אחרי תנועות העיניים, ומהם היתרונות והחסרונות של השימוש במצלמות רשת לצורך הזה.
העיניים הן החלון לנפש
האם קרה לכם שניהלתם שיחה עם חבר ושמתם לב שהעיניים שלו כבר לא מביטות בכם, אלא מביטות פתאום מאחוריכם? מה עשיתם כשזה קרה? סביר להניח שהסתובבתם כדי לראות על מה הוא מסתכל. דוגמה זו ממחישה שתנועות עיניים מלמדות אותנו לאן אנשים מפנים את תשומת הלב שלהם. מדענים בוחנים תנועות עיניים כדי להבין למה אנשים שמים לב, מה הם זוכרים, כיצד הם קוראים, ואפילו במטרה לאבחן מצבים או הפרעות מסוימות. מכשיר למעקב עיניים הוא מצלמה שמצלמת את עיניהם של אנשים [1]. מערכות מעקב עיניים מנתחות מידע מהתמונות הללו (כמו צורת האישונים) כדי לזהות בדיוק לאן אנשים מביטים. המצלמות הללו מצלמות מאות תמונות בשנייה, ואפילו אלפים! כמות תמונות העיניים הגדולה מאפשרת למערכות מעקב העיניים לקבוע בצורה מדויקת מאוד על מה אנשים מסתכלים – ובמשך כמה זמן.
אם מערכת למעקב עיניים הייתה מתעדת את תנועות העיניים שלכם בזמן צפייה בסרטון, המדענים היו יכול להשתמש במידע זה כדי להבין לאילו חלקים במסך הפניתם את תשומת הלב, ולמשך כמה זמן. לדוגמה, מערכת למעקב עיניים יכולה לזהות פִיקְסָצְיות (קיבועי מבט) – אלה הם רגעים שבהם העיניים נראות כאילו הפסיקו לנוע כדי להתבונן במשהו. פיקסציות ארוכות יותר (כמו בהייה) עשויות להעיד על ריכוז גבוה בדמות מסוימת בסרטון, בעוד שפיקסציות קצרות ותכופות עשויות להצביע על כך שדעתכם מוסחת בידי דמויות או עצמים אחרים, או על קושי להבין מה מתרחש על המסך. המערכת יכולה גם לזהות שהעיניים שלכם עוקבות אחר תנועת הדמויות, אפילו מבלי שתהיו מודעים לכך (איור 1). התנועה הגדולה והמהירה שהעיניים מבצעות בין הפיקסציות נקראת סָאקָאדַה (למידע נוסף על תנועות עיניים, ראו מאמר זה בפרונטירז – מדע לצעירים).
- איור 1 - טאבלט המציג סרטון שעליו מסומנים מסלולי סריקת עיניים.
- מסלול הסריקה מתייחס לנתיב שבו העיניים נעות כשאנשים מתבוננים במשהו. העיגולים הגדולים מייצגים פיקסציות (קיבועי מבט), שבהן העיניים נראות כאילו עצרו, והקווים מראים את הסאקאדות – תנועות העיניים שבוצעו בין הפיקסציות. אילו חלקים מהסרטון משכו את מבטו של המתבונן? מלל בתוך האיור: "Sunny side" פרק 1.
כך מלמדים מחשבים לחזות לאן אנשים יביטו
מדענים במעבדה משתמשים בציוד מיוחד למעקב עיניים, שעוזר לקבוע בצורה מדויקת מאוד מה במסך מושך את המיקוד של עיני האדם הנבדק. פעולה זו נקראת מיקום המבט (gaze location) (איור 2). אף על פי שמערכות למעקב עיניים הן כלים מצוינים, השימוש בהן גם כרוך בכמה אתגרים. ראשית, זה עשוי להיות יקר מאוד, ולא כל המדענים המעוניינים לחקור תנועות עיניים יכולים לרכוש ציוד כזה למעבדה שלהם. נוסף על כך, מערכות למעקב עיניים יכולות למדוד תנועות עיניים רק בנוכחות פיזית – בדרך כלל, רק של נבדק אחד בכל פעם – ולכן מחקרים רבי-משתתפים עשויים להימשך זמן רב. כמו כן, לעיתים קשה לגייס משתתפים למחקר כשהשתתפותם כרוכה בהגעה למעבדה.
- איור 2 - שימוש במערכת למעקב עיניים לעומת שימוש במצלמת רשת למעקב עיניים.
- (A) משתתפת עובדת מול מחשב עם מערכת מעקב עיניים. מערכת המעקב כוללת ציוד טכני רב, והשימוש בה דורש מהמשתתפת לשמור על יציבות הראש באמצעות תומך סנטר. הציוד הזה מאפשר למערכת לזהות בדיוק רב על מה במסך המחשב מביטה המשתתפת. (B) אישה עובדת על מחשב נייד עם מצלמת רשת מובנית. מצלמת הרשת אינה דורשת ציוד רב, והמשתתפת יכולה לשבת בנוחות ולהניע את ראשה בחופשיות.
נכון שלא קל להתמודד עם האתגרים הכרוכים בשימוש בציוד ייעודי למעקב עיניים, אך ניתן להתגבר עליהם, אם מחליפים את הציוד הזה במצלמות רשת. מצלמות הרשת קיימות ברוב המכשירים האישיים הנפוצים (כמו טלפונים חכמים ומחשבים ניידים), ולכן הן מאפשרות לחוקרים להגיע בקלות לאוכלוסייה מגוונת, בלי שהמשתתפים יצטרכו להגיע למעבדה. כמו כן, מצלמות הרשת זולות בהרבה מציוד מקצועי למעקב עיניים. החוקרים יכולים להשתמש במצלמות הרשת כדי לאסוף את נתוני תנועות העיניים מרחוק, וכך לחסוך זמן וכסף [2]. עם זאת, מצלמות רשת הרי לא תוכננו במקור למעקב עיניים – אז איך המדענים מפיקים מהן נתונים על תנועות עיניים? יש כמה דרכים להשתמש במצלמות רשת כשמכשירים למעקב עיניים, אך אחת הדרכים הנפוצות ביותר היא באמצעות למידת מכונה [3].
למידת מכונה היא שיטה שבה מחשבים משתמשים בנתונים (כמו תמונות ומספרים) ובמערך של חישובים מתמטיים, כדי ללמוד מניסיון וכדי לזהות דפוסים בסביבה. בעזרת עֶקרון למידת המכונה, המחשבים יכולים ללמוד באמצעות שימוש בתמונות רבות של פנים אנושיים. כשאתם משחקים עם חברים – האם אתם שמים לב לפעמים לאן הם מביטים? האם מבטם נודד לעבר צעצוע מגניב, או לעבר חטיף טעים? כדי להבין לאן חבריכם מביטים, אתם עשויים להיעזר ברמזים למיניהם, כמו תנועות העיניים, כיוון הראש או המרחק מהעצם. מחשבים יכולים לעשות דבר דומה; הם בוחנים אלפי תמונות של פנים אנושיים ומזהים בהן דפוסים, בדומה לאופן שבו המוח שלנו מזהה דפוסים בהתנהגות של אחרים. על סמך הדפוסים הללו, המחשב יכול לנבא לאן אנשים עשויים להביט כשהם רואים תמונה של פנים, למשל. כדי לשפר את דיוק התחזיות של למידת המכונה, החוקרים שילבו מידע נוסף, כמו נקודות ציון של העיניים ושל הפנים (שמגדירות גבולות חשובים בפנים) (איור 3), מידע על עומק (מרחק האנשים ממצלמת הרשת, למשל) ואפילו מידע מתוך המתרחש על המסך [4].
- איור 3 - תמונות ממצלמת רשת עם נקודות ציון המוצגות על הפנים.
- הנקודות (נקודות הציון) על פניה של אישה זו ממוקמות בגבולות ובפינות החשובות של הפנים, כמו הלסת, הפה, הגבות ובעיקר העיניים. בלמידת מכונה ניתן להשתמש בנקודות הציון הללו כדי לבצע תחזיות מדויקות יותר לגבי מיקום המבט מתוך תמונות שכאלו, שמקורן במצלמת רשת.
אתגרים במעקב עיניים באמצעות מצלמות רשת
אף על פי שמעקב עיניים באמצעות מצלמת רשת יכול לסייע למדענים להבין לאן אנשים מביטים, בעלות נמוכה יחסית, השיטה עוד רחוקה מלהיות מושלמת. למעקב העיניים במצלמות רשת אין יכולת לדייק מאוד או לקבוע באמינות מלאה את המקום המדויק שאליו העיניים מביטות. בהשוואה למעקב עיניים במעבדה, מצלמות הרשת לא מצליחות להבדיל היטב בין שלל הסוגים של תנועות העיניים – זאת משום שהאיכות של התמונות ממצלמת הרשת נמוכה מזו של תמונות המתקבלות ממערכות מעקב מקצועיות במעבדה. כמו כן, יש הבדל ניכר בקצב הצילום (Frame rate – המהירות שבה המצלמה מצלמת תמונות): מצלמת הרשת מצלמת כ־30 תמונות בשנייה. זה אומנם נשמע הרבה, אך מערכות מעקב עיניים במעבדה יכולות לצלם מאות תמונות בשנייה, ואף אלפים! קצב צילום נמוך יותר פירושו שמצלמת הרשת אינה מסוגלת "לתפוס" סוגים מסוימים של תנועות עיניים, המתרחשים במהירות גבוהה.
החוקרים יכולים להשתמש במצלמות רשת כדי לעקוב אחר דפוסים כלליים של תנועות עיניים, אך קשה למדוד באמצעותן תנועות עיניים קטנות או מהירות יותר במדויק. אם המטרה היא לעקוב אחרי מבט על דמויות גדולות או סצנות בסרטון או בפרסומת, לעיתים קרובות אין צורך בדיוק מרבי. לעומת זאת, בניסויים מדעיים נדרשת רמת דיוק גבוהה יותר למעקב אחר תנועות עיניים קטנות ומהירות, כמו תנועות עיניים בזמן קריאה, או בזמן חיפוש עצמים קטנים בתמונה. לדוגמה, אם אתם מתמקדים באדם המדבר בסרטון, לאחר מכן מזיזים את המבט כדי לראות חיה שנעה ברקע מאחוריו, ואז מביטים שוב באדם המדבר – ייתכן שלא ניתן יהיה להבחין בשינויים הקטנים הללו במיקום המבט כשמבצעים מעקב באמצעות מצלמת רשת. כמו כן, חשבו על התנאים שבהם אתם בדרך כלל צופים בסרטונים, גולשים באינטרנט או משתמשים במצלמה: האם החדר שבו אתם נמצאים חשוך? אולי אתם זזים ממקום למקום? מאחר שאיכות התמונה במצלמות הרשת נמוכה יותר בהשוואה למערכות המעקב במעבדה, עדיף שבזמן המעקב המשתתפים ישבו מול המצלמה בלי לזוז יותר מדי, ובחדר מואר היטב. מצד שני, כשהחוקרים אוספים תמונות ממצלמות רשת מרחוק, אין להם אפשרות לוודא תמיד שהמשתתפים עומדים בתנאים הללו.
מביטים קדימה
מעקב אחר תנועות העיניים באמצעות מצלמות רשת יכול להיות שיטה זולה ויעילה עבור אלו המעוניינים לחקור תנועות עיניים. עם זאת, לשימוש במצלמות רשת לצורך מעקב עיניים יש מגבלות, משום שאינן יכולות לחזות את מיקום המבט בדיוק המשתווה לזה של מערכות המעקב הקיימות במעבדה. המדענים פועלים כדי לשפר שיטות למעקב עיניים באמצעות מצלמות רשת, באמצעות שימוש בלמידת מכונה, למשל, כדי לחזות בצורה מדויקת יותר את תנועות העיניים על סמך תמונות ממצלמות רשת. זוהי עבודה חשובה, משום שהיא מסייעת להפוך את טכנולוגיית מעקב העיניים לנגישה וקלה לשימוש עבור כולם, ומאפשרת לחוקרים ללמוד יותר על האופן שבו אנחנו רואים את העולם שסביבנו ומתקשרים איתו – אפילו אם איננו יוצאים מהבית.
מילון מונחים
מערכת למעקב עיניים (Eye Tracker): ↑ טכנולוגיה שבעזרתה ניתן לתעד את תנועות העיניים של אנשים, כך שהמדענים יודעים על מה המשתתפים מסתכלים ולמשך כמה זמן.
פִיקְסָצְיָה (קיבוע מבט) (Fixation): ↑ משך הזמן שבין תנועות עיניים גדולות, שבו העיניים נראות כאילו עצרו כדי להתבונן במשהו.
סָאקָאדַה (Saccade): ↑ תנועת עיניים מהירה וגדולה שהעיניים מבצעות בין פיקסציות (קיבועי מבט).
למידת מכונה (Machine Learning): ↑ שיטה לניתוח נתונים המאפשרת למחשבים ללמוד מניסיון.
נקודות ציון (Landmarks): ↑ סימנים המסייעים למחשב להבין היכן נמצאים גבולותיהם של חלקים חשובים בפנים בתמונה, כמו זוויות העיניים או הסנטר.
דיוּק (Precision): ↑ המידה שבה מערכת המעקב מצליחה לזהות את הכיוון שאליו אנשים מביטים.
הצהרת ניגוד אינטרסים
המחברים מצהירים כל המחקר נערך בהעדר כי קשר מסחרי או פיננסי שיכול להתפרש כניגוד אינטרסים פוטנציאלי.
תודות
לצורך פרסום התמונות והנתונים המזהים הכלולים במאמר זה התקבלה הסכמה מדעת בכתב.
הצהרת כלי בינה מלאכותית
טקסט חלופי הנלווה לאיורים במאמר זה נוצר על ידי פרונטירז בסיוע כלי בינה מלאכותית, ונעשו מאמצים על מנת להבטיח את דיוקו, כולל בדיקה על ידי כותבי המאמר כאשר הדבר התאפשר. אם ברצונכם לדווח על בעיה, אנו צרו איתנו קשר.
מקורות
[1] ↑ Robbins, A., and Hout, M. C. 2015. Look into my eyes. Sci. Am. Mind 26:54–61. doi: 10.1038/scientificamericanmind0115-54
[2] ↑ Papoutsaki, A., Laskey, J., and Huang, J. 2017. “Searchgazer: Webcam eye tracking for remote studies of web search”, in Proceedings of the 2017 Conference on Conference Human Information Interaction and Retrieval (New York, NY: ACM), 17–26.
[3] ↑ Valliappan, N., Dai, N., Steinberg, E., He, J., Rogers, K., Ramachandran, V., et al. 2020. Accelerating eye movement research via accurate and affordable smartphone eye tracking. Nat. Commun. 11:4553. doi: 10.1038/s41467-020-18360-5
[4] ↑ Park, S., Aksan, E., Zhang, X., and Hilliges, O. 2020. “Towards end-to-end video-based eye-tracking”, in Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XII 16 (Berlin: Springer International Publishing), 747–63.