האם תנועות הפנים של דוברים יכולות לסייע לנו לשמוע?

האם אי פעם תהיתם מדוע לעיתים קרובות אנשים מסתכלים על פניהם של אנשים שהם מקשיבים להם? ההתנהגות הזו מרגישה טבעית ואוטומטית, ובתרבויות רבות מנומס ליצור קשר עין במהלך שיחה. אך דיבור, כמו צלילים אחרים, מורכב מגלי קול, אשר רק האוזניים יכולות לקלוט. אם כן, מה העיניים עושות בזמן שאנו מקשיבים? מתברר שהבנת דיבור מערבת הן את העיניים הן את האוזניים, במיוחד כאשר תנאי ההקשבה אינם אידיאליים, כמו כאשר מושמעת מוזיקה חזקה ברקע. בתנאי הקשבה בלתי מיטביים, המאזין עשוי לבחוֹר להסתכל מקרוב יותר על פניו של הדובר ועל פיו, במטרה להבין טוב יותר מה נאמר.

מחקר קודם על האופן שבו האוזניים והעיניים פועלות יחד כדי לסייע לנו להבין דיבור התמקד בעיקר בהבנתם של אנשים צלילי דיבור פשוטים, כמו למשל ''בָּה'' או ''גָּה''. רכיבי הצליל הקצרים האלה של מילים, ידועים בתור פוֹנֶמוֹת. כאשר פונמות משולבות, הן יכולות ליצור את כל המילים שביכולתנו לשמוע. מדוע חוקרים במחקרים קודמים השתמשו בצלילים פשוטים שכאלה? סיבה אחת היא שלפונמות אין משמעות, ולכן המאזינים אינם יכולים לבצע ניחוש מושכל ביחס לְמָה ששמעו באמצעות שימוש במידע אחר שדֻּבַּר נוסף על הצלילים, אלא במקום זאת הם חייבים להקשיב בדיוק רב לפונמות. בחינת פונמות, אחת בכל פעם, היא גישה ישירה, אך כשאנו מנהלים שיחות בחיי היומיום שלנו, איננו קולטים פונמות בודדות, אלא מילים מלאות ומורכבות ומשפטים שלמים. מסיבה זו, הקבוצה שלנו ערכה מחקר [1] שבו ביקשנו מאנשים לנסות להבין את המשפט שהדוֹבר אמר במגוון תנאי האזנה. התבוננות בהבעות פניו של אדם יכולה כמובן לספק לנו מידע לגבי הָרְגָשׁוֹת שהדובר עשוי לחוות, אך האם תנועות הפנים מסייעות לנו גם לשמוע טוב יותר מה הוא אומר? השאלה שהצבנו הייתה פשוטה: מדוע אנשים עשויים להסתכל על פניהם של דוברים שהם מקשיבים להם במהלך הבנת דיבור?

לאן מסתכלות העיניים?

במטרה להבין כיצד ומדוע אנשים משתמשים בעיניים במהלך הקשבה, היינו זקוקים לדרך לְנַטֵּר תנועות עיניים. כדי לעקוב אחרי תנועות עיניים, מדענים משתמשים בטכנולוגיית מעקב עיניים (eye trackers). סוג הטכנולוגיה למעקב אחר תנועות עיניים שהשתמשנו בו במחקרנו היה מצלמה שיכולה לדעת לאן הנסיין מסתכל (איור 1), זאת על ידי איתור מרכז האישון–החלק המרכזי השחור בעין–ובאמצעות שימוש בחיישן במטרה לעקוב אחר האופן שבו האור מוחזר מהעיניים. אור זה מיוצר על ידי מקור אור נייח ליד מצלמת המעקב אחר תנועות עיניים. מידע על החזרת האור משמש להבנת האופן שבו העין מסתובבת, ומכך לחישוב המקום שאליו הנסיין מתבונן על המסך.

המצלמה למעקב אחר תנועות עיניים אוספת סוגי מידע שונים. סוג אחד של התנהגות עיניים נקרא פִיקְסַצְיָה (קִבָּעוֹן)–מצב שבו אנשים שומרים את מבטם ממוקד במיקום אחד לפרק זמן קצר. לדוגמה, אתם עשויים להיות מקובעים על עדשות המצלמה כשמצלמים אתכם. סוג אחר של התנהגות עיניים נקרא סָקָאדָה–תנועה מהירה (של שתי העיניים באותו הכיוון) למיקום חדש, כמו במצב שבו אתם מזיזים את עיניכם במהירות מעדשת המצלמה כדי להסתכל על משהו אחר. סקאדות הן מהירות מאוד–אחת התנועות המהירות ביותר שבני אדם מבצעים! כשאנו מזיזים את עינינו בחיי היומיום, אנו משתמשים בשילוב של פיקסציות ושל סקאדות. מצלמה למעקב אחר תנועות עיניים יכולה לזהות תנועות עיניים ולסווגן כפיקסציות או כסקאדות. זוהי יכולת חשובה של המכשיר המאפשרת לחוקרים להבין טוב יותר מה עינינו עושות כשאנו מבצעים מטלות.

כיצד חקרנו את תפקיד העיניים בהבנת דיבור?

במטרה להבין את תפקיד העיניים בהקשבה, תכננו מחקר שבו משתתפים השלימו מטלה פשוטה: הם הקשיבו לקטעי שֵׁמַע של אנשים שמדברים, או צפו בסרטונים קצרים, ואז דיווחו על מה ששמעו על ידי השלמת משפטים עם מילים חסרות (איור 2). השתמשנו במצלמה למעקב אחר תנועות עיניים כדי לרשום את המקום שאליו אנשים הסתכלו בזמן שהקשיבו. עבור מחצית המשתתפים, גם דימינו לקוּת שמיעה על ידי הַשְׁמָעַת צליל סטטי חזק כשביצעו את שתי המטלות. זה גרם למצב להיראות כאילו למחצית המשתתפים שלנו הייתה דרגה מסוימת של אובדן שמיעה, אף על פי שבפועל לא הייתה להם כזו. עבור שתי קבוצות המשתתפים, הושמעו רמות שונות של רעש רקע במהלך כל חזרה על המטלה. קטעי הווידיאו התחילו כקטעים שֶׁקַּל לשמוע, כאשר הדיבור היה חזק הרבה יותר מרעש הרקע. השמיעה נעשתה קשה יותר ויותר עם הזמן, ורעש הרקע של כל סרטון שישי היה חזק באותה המידה כמו הדיבור! אז התהליך הֵחֵל מחדש והמשיך לסֶט נוסף של שישה סרטונים.

ניתוח תוצאות מחקרנו

במטלת הַשֵּׁמַע בלבד, שבה לא הוצגו קטעי וידיאו–למשתתפים בתנאי השמיעה הרגיל היה קל יותר לזהות את מה שנאמר ביחס למשתתפים במצב שדימה לקות שמיעה. הדבר הגיוני, מאחר שאנשים עם לקויות שמיעה לעיתים קרובות מתקשים יותר להבין דיבור. אולם, ממצא זה רק יידע אותנו לגבי מידת היכולת של אנשים להבין דיבור כאשר פני הדובר אינן נראות. מה היה טיב הביצועים של שתי הקבוצות האלה כשהמשתתפים יכלו גם לראות את פניו של הדובר?

כאשר התבונַנּו בתוצאות הניסויים שבהם המשתתפים צפו בסרטים של הדובר בזמן שהקשיבו לו, ושילבנו את התוצאות האלה עם ניסויי הַשֵּׁמַע בלבד, מצאנו משהו מעניין (איור 3). גילינו כי משתתפים עם שמיעה תקינה הבינו את מה שנאמר באותה רמת דיוק, בין אם ראו את תנועות הפנים של הדובר בין אם לאו. במילים אחרות, ביצועיהם במטלה בתנאי השמע והווידיאו היו זהים. אך כאשר בָּחַנּוּ את תוצאות הקבוצה שבה דימינו לקות שמיעה, הופיע ממצא מעניין– בזמן שקבוצה זו יכלה לראות את פני הדובר, ביצועי המשתתפים במבחן הדיוק היו טובים הרבה יותר!

גילינו גם כמה דברים מעניינים שמשתתפים עשו עם עיניהם בזמן הצפייה בסרטונים. מצאנו כי משתתפים בתנאי שמדמה לקות שמיעה ביצעו פחות פיקסציות בסך הכול, כלומר הם מיקדו את עיניהם בפחות מיקומים על המסך ביחס למשתתפי הקבוצה עם השמיעה התקינה. מצאנו גם שכאשר רעש הרקע נעשה חזק יותר, הפיקסציות של משתתפים התארכו. כלומר, כאשר משתתפים בתנאי שמדמה לקות שמיעה התקבעו על משהו, הם עשו זאת במשך זמן ארוך יותר מאשר הקבוצה עם השמיעה התקינה. ממצא זה מציע שבתנאי הקשבה קשים יותר, כמו למשל כאשר השמיעה לקויה, או כשיש רעש רקע רב, אנשים נוטים להתקבע במשך זמן ארוך יותר על אזורים בַּפָּנִים שאחראים על הפקת דיבור. המשמעות היא שבתנאים שבהם ההאזנה קשה, אנו יכולים להשתמש ברמזים מפניהם של הדוברים כדי להבין דיבור טוב יותר. ככל הנראה גם אתם עושים זאת! לדוגמה, במסיבה רועשת, אתם עשויים למצוא את עצמכם מתבוננים בפיו של חבר או חברה מקרוב יותר כדי לוודא שאתם מבינים מה שהם אומרים.

המשמעות של תוצאות מחקרנו

הניסוי שלנו הציע כי משתתפים שדימינו אצלם לקות שמיעה יכלו להשתמש במידע חזותי כשהמידע השמיעתי היה קשה יותר להבנה. ממצא זה מדגיש עד כמה התנהגות תפיסת הדיבור שלנו יכולה להיות גמישה, וכיצד אנו יכולים להסתגל להבנת דיבור באמצעות עינינו, שמסייעות לנו להבין דיבור. דַּמְיְנוּ אנשים שאתם מכירים שיש להם קשיי שמיעה, כמו למשל הסבים והסבתות שלכם. האם אי פעם הבחנתם בכך שהם נוטים להסתכל על פניכם לעיתים קרובות יותר כשאתם מדברים, ביחס לאנשים ללא לקות שמיעה? זו עשויה להיות הסיבה! הסבים והסבתות שלכם ככל הנראה משתמשים בראייה כדי להבין אתכם טוב יותר.

אם כן, בואו ניקח צעד אחורה אל שאלת המחקר שהצבנו, ונשאל: ''מדוע אנשים מסתכלים על פניו של דובר שהם מקשיבים לו?'' במקרה של רעש רקע, נדמה שאנשים עשויים להסתכל על פניו של הדובר מאחר שישנם רמזים מהפנים שמספקים מידע לגבי מה אומר אותו אדם. המחקר שלנו מראה כי עינינו יכולות לסייע לנו להבין את מה שנאמר, במיוחד כשקשה לנו להבין מה שנאמר בהתבסס על צלילים בלבד. יתרה מזו, אנשים יכולים להסתגל באופן מרשים להבנת דיבור באמצעות שימוש בעיניהם כדי לצפות בתנועות פנים. מתברר שהעיניים שלנו יכולות להיות מעורבות גם בתפיסת דיבור, ושעינינו ואוזנינו יכולות לפעול יחד במטלה הזו–אפילו כשאיננו מבחינים בכך! ממצאים אלה לא רק מסייעים לנו להבין טוב יותר את התהליכים הבסיסיים של תפיסת דיבור, אלא עשויים גם לסייע לחוקרים לתכנן טוב יותר טכנולוגיות שתומכות בלקויות שמיעה.

מילון מונחים

פונמות (Phonemes): ↑ היחידות הקטנות ביותר האפשריות של צליל בשפה מדוברת. כאשר פונמות משולבות, הן מרכיבות את כל המילים האפשריות בשפה נתונה.

טכנולוגיית מעקב עיניים (Eye-Tracker): ↑ מכשיר ממוחשב שקובע לאן אדם מסתכל. מכשירים מסוג זה לרוב מכילים מצלמה ומקור אור המשמש לאיתור האופן שבו עיני הצופה מסתובבות.

פיקסציה (Fixation): ↑ פרק זמן שבמהלכו העיניים דוממות כמעט לגמרי. פיקסציות הן די קצרות, ולרוב נמשכות רק שבריר שנייה.

סקאדה (Saccade): ↑ תנועה מהירה מאוד של שתי העיניים שמתרחשת בין פיקסציות, אשר מאפשרת לעיניים ''לקפוץ'' (להסתובב) מהר כדי להכניס חלק חדש מהעולם למיקוד.

הצהרת ניגוד אינטרסים

המחברים מצהירים כי המחקר נערך בהעדר כל קשר מסחרי או פיננסי שיכול להתפרש כניגוד אינטרסים פוטנציאלי.