Frontiers for Young Minds

Frontiers for Young Minds
תפריט
רעיון מרכזי מדעי המוח ופסיכולוגיה פורסם: 31 במאי, 2018

לראות עם האוזניים – מסע מופלא בין החושים

תַקצִיר

במשך עשרות שנים האמינו שהמוח מאורגן בצורה של ”אזורי חִישָׁה“; כלומר, שיש ”אזור ראייתי“, ”אזור שמיעתי“ וכן הלאה, ושהאזור הראייתי יכול לעבֵּד רק מידע ראייתי. האמינו גם שאם לאנשים לא התאפשר לראות בשנים הראשונות של חייהם (כמו, למשל, בעקבות מחלה נדירה שגרמה להם להיוולד עיוורים), ”האזור הראייתי“ יאבד את יכולתו לעבד מידע ראייתי.אנו נתאר בקצרה כמה מחקרים אשר קוראים תִּגָּר ובוחנים מחדש את התיאוריה הזו. באמצעות שימוש בשיטה מיוחדת שנקראת ”הַתְמָרָה חוּשית“, חוקרים הצליחו להוכיח שאנשים עיוורים יכולים ”לראות“ בעזרת צלילים. לשם כך החוקרים השתמשו בסורק מוח והראו שאותם אזורים במוח, שקודם לכן האמינו שאיבדו את יכולתם לעבד מידע ראייתי, לוקחים חלק מרכזי ביכולת ”לראות בעזרת קוֹל“ ולזהות עצמים, פרצופים, אותיות ועוד [1].

האזינו לפודקאסט על המאמר

התמרה חושית היא השימוש בחוש אחד (למשל, חוש השמיעה או חוש המישוש) כדי להעביר מידע שבדרך כלל מועבר על-ידי חוש אחר (למשל, חוש הראייה). לדוגמה תמונה, אשר בדרך כלל אנו משתמשים בראייה כדי לראותהּ, יכולה ”להיראות“ בעזרת שימוש בצלילים. העין המוזיקלית (EyeMusic) היא אחת הדוגמאות של מכשירים להתמרה חושית [2]. היא לוקחת תמונה (למשל תמונה מתוך חשבון האינסטגרם שלך) ומתרגמת אותה לצלילים. פיקסל שמופיע בעוצמה נמוכה בתמונה מושמע על-ידי תו מוזיקלי חלש. פיקסל חזק מיוצג על-ידי תו מוזיקלי חזק. כל צבע מנוגן על-ידי כלי נגינה אחר. נכון להיום, מיוצגים סך הכול שישה צבעים: לבן (מקהלה), כחול (חצוצרה), אדום (Rapman’s reed – סוג של סינתיסייזר), ירוק (אורגן), צהוב (מיתרים) ושחור (מיוצג על-ידי שקט). ה”תמונה” המוזיקלית הזו מושמעת עמודה אחרי עמודה, משמאל לימין. כך שעצם שנמצא בצד שמאל של התמונה יישמע לפני עצם שנמצא מימין. הרזולוציה (יכולת ההפרדה) יכולה להיקבע להיות 24×40 פיקסלים או 30×50 פיקסלים (ראו איור 1).

איור 1 - רזולוציית העין המוזיקלית.
  • איור 1 - רזולוציית העין המוזיקלית.
  • משמאל אפשר לראות תמונה של חתול, שלקוּחה מהאינסטגרם. באמצע מוצגת אותה התמונה, עם רזולוציה של 30×50 פיסקלים (הרזולוציה הגבוהה ביותר שאפשרית כיום ב”עין המוזיקלית”, ומימין מוצגת אותה התמונה עם רזולוציה של 24×40 פיסקלים (הרזולוציה הנמוכה שמשתמשים בה במחקרים).

חשוב לציין שאם תזינו תמונה של החתול שלכם לתוך העין המוזיקלית, המכשיר לא יפיק את המילה ”חתול“, או צליל או גרגור; אלא יפיק אוסף של צלילים, שמהם המשתמש יכול להסיק שהתמונה הזו היא של חתול.

קבוצת החוקרים שלנו במעבדה של פרופ’ אמיר עמדי באוניברסיטה העברית השתמשה במכשיר הזה ככלי ללימוד של תפקודים מוחיים [3]. במחקר מגניב אחד השתמשנו במכשיר דומה לעין המוזיקלית, ואנשים שהוגדרו כעיוורים מבחינה חוקית הצליחו ”לראות“ מספיק טוב עם המכשיר, כך שהם חצו את סף העיוורון. במילים אחרות, אם באופן היפותטי הם היו משתמשים במכשיר בזמן שהם נבחנים במבדק שקובע אם הם עיוורים מבחינה חוקית, הם לא היו נחשבים לעיוורים.

לאחר ביצוע תוכנית הכשרה משתמשי המכשיר מסוגלים לזהות עצמים, הבעות פנים ולקרוא מילים (כדי לראות הדגמה, הסתכלו בזה).

הקבוצה שלנו משתמשת גם במכשיר דימוּת תהודה מגנטית תפקודי (fMRI). עם מכשיר הדימות הזה אנו יכולים לצלם את מה שקורה בתוך המוח בזמן שנבדקי המחקר עושים דברים מסוימים. אזורים שונים במוח פעילים כשאנחנו רואים פנים, או קוראים מילה, והתמונות ממכשיר הדימות שסורק את המוח יכולות להראות אלה אזורים פעילים בזמן שהתמונה נלקחת.

באחד המחקרים, משתמשי מכשיר העין המוזיקלית ”ראו“ תמונות תוך שימוש בצלילים, ואז אמרו לחוקרים אם הם חשבו שהם רואים פנים, איבר בגוף, אות, מרקם, בית או פריט יומיומי. בעודם עושים זאת, המוח שלהם נסרק בעזרת מכשיר הדימות. התוצאות היו מדהימות: אצל אנשים עיוורים, המוח ה”ראייתי“ הופעל על-ידי הצלילים. במילים אחרות, האזור ה”ראייתי“ לא היה ”ראייתי“ בלבד! יתרה מזו, תבנית הפעילוּת המוחית באזור ה”ראייתי“ הזה הייתה דומה מאוד לזו שנצפתה במוחות של אנשים בעלי ראייה תקינה. לדוגמה, ישנו אזור קטן במוח שאחראי על זיהוי מילים. עד לא מזמן חשבו שרק אותיות חזותיות הפעילו אותו. כאשר נבדקים עיוורים קראו מילים עם מכשיר ההתמרה החושית, האזור הזה היה פעיל גם אצלם. למעשה, הוא היה פעיל אפילו אצל עיוורים מלידה אשר לא ראו אף פעם מילה כתובה [4].

במחקר אחר, נבדקים שראייתם תקינה הזיזו את ידיהם לעבר מטרות שהוצגו על מסך המחשב, או שהושמעו על-ידי העין המוזיקלית. התברר שבשני המקרים התנועות היו מדויקות מאוד, ובממוצע התנועות שלהם סטו בטווח של פחות מ-0.5 ס”מ. זאת לאחר הכשרה מעטה מאוד (כ-25 דקות בלבד של התנסוּת עם מכשיר העין המוזיקלית). אנו צופים שעם הכשרה נוספת, העיוורים יוכלו להגיע לתוצאות טובות עוד יותר. משתמש אחד ותיק של העין המוזיקלית, שהוא עיוור בעצמו, היה מסוגל לאתֵּר תפוח אדום בתוך ערימה של תפוחים ירוקים, ולמשוך אותו החוצה בתנועה חלקה ומדויקת (ראו המחשה באיור 2).

איור 2 - המחשה של העין המוזיקלית, מכשיר התמרה חושית
  • איור 2 - המחשה של העין המוזיקלית, מכשיר התמרה חושית
  • המשתמש מרכיב את המשקפיים עם המצלמה שמחוברת אליהם ושומע, באמצעות אוזניות הנצמדות לעצם שמעל לאוזן, את התמונות שהמצלמה תופסת. משמאל למעלה: תקריב של המשקפיים שעליהם מורכבות המצלמה והאוזניות.

לסיכום, התמרה חושית מספקת לחוקרים כלי מועיל ללימוד של המוח, ובד בבד מהווה שיטה מבטיחה לעזור לאנשים עיוורים לקלוט את הסביבה שלהם ולתקשר איתה.

הצהרת ניגוד אינטרסים

המחברים מצהירים כי המחקר נערך בהעדר כל קשר מסחרי או פיננסי שיכול להתפרש כניגוד אינטרסים פוטנציאלי.


מקורות

[1] Levy-Tzedek, S., Novick, I., Arbel, R., Abboud, S., Maidenbaum, S., Vaadia, E., et al. 2012. Cross-sensory transfer of sensory-motor information: visuomotor learning affects performance on an audiomotor task, using sensory-substitution. Sci. Rep. 2:949. doi:10.1038/srep00949

[2] Levy-Tzedek, S., Hanassy, S., Abboud, S., Maidenbaum, S., and Amedi, A. 2012. Fast, accurate reaching movements with a visual-to-auditory sensory-substitution ‘device’. Restor. Neurol. Neurosci. 30:313–23. doi:10.3233/RNN-2012-110219

[3] Striem-Amit, E., Guendelman, M., and Amedi, A. 2012. ‘Visual’ acuity of the congenitally blind using visual-to-auditory sensory substitution. PLoS ONE 7:e33136. doi:10.1371/journal.pone.0033136

[4] Reich, L., Szwed, M., Cohen, L., and Amedi, A. 2011. A ventral visual stream reading center independent of visual experience. Curr. Biol. 21:363–8. doi:10.1016/j.cub.2011.01.040