האם אפליקציית תרגום שפת הסימנים תהיה אי פעם למציאות?

פרסומת

תאר לעצמך עולם בו המחסומים בין חרשים ושמיעה נעלמים. עולם בו שיחות זורמות בשטף בין אלה ששומעים צליל, ובין אלה שלא. האם יכול העולם ההוא להתממש בעתיד הקרוב?

עוד ביוני, קבוצת סטודנטים לשיווק מבית הספר לתקשורת של ברגה פיתחה סרטון קונספט למוצר בדיוני בשם Google Gesture. המוצר כלל רצועת שורש כף יד לבישה ואפליקציה ניידת שהשתמשה באלקטרומוגרפיה בכדי לקרוא את תנועות השרירים של אדם חירש העושה שפת סימנים. לאחר מכן המערכת העבירה את האותות האלה לאפליקציה, שתרגמה את האותות הללו לקול דיגיטלי ותדבר בשם האדם.

הצפייה בסרטון השיווק המזויף הייתה די מרגשת. כל כך מרגש, למעשה, שאתרי טק גדולים כמו Mashable, Slashgear ואחרים הכריזו במקור על המוצר כאמיתי, ואז אחר כך נאלצו לספר את הטענה ולהתנצל על טעותם. זו הייתה שגיאה משונה, בהתחשב בזה שבאמת הוא מוצר של גוגל בשם Google Gesture Search [לא ארוך יותר זמין], המאפשר לך לצייר מחוות למסך הנייד שלך לחיפוש אנשי קשר, סימניות ועוד.

בלי קשר, הקונספט של תלמידי ברגה הציג רעיון מדהים, שהוביל לשאלה - האם ניתן יהיה ליצור אפליקציה כזו לממשי?

האם תרגום שפת הסימנים אפשרי?

ניתוק הרעיון השיווקי ברמה הטכנית מגלה כי הטכנולוגיה המשתמשת באלקטרומיאוגרפיה (EMG) כדי "לחוש" את שפת הסימנים אינה ממש כל כך מושגת כלל. כבר בשנת 2009,

חוקרים מאוניברסיטת וושינגטון הצליחו להשתמש בחיישני EMG מרובים כדי לפענח תנועות שרירים ולהמיר אותם למחוות ידיים וידיים בפועל.

החוקרים בנו למעשה "ספריית זיהוי מחוות" מלאה, המזהה אילו אותות שרירים מייצגים איזו תנועה. המחקר מוכיח כי טכנולוגיה מסוג זה זמינה ומוכנה ליישום בסוג היישום שתלמידי ברגה חזו.

אז האם מישהו באמת הצליח לעשות זאת? אם לא, מדוע אף אחד לא עושה זאת ומספק לחירשים וליקויי שמיעה את היכולת לתקשר עם מישהו בעולם באמצעות שפת הסימנים?

עתיד טכנולוגיית התרגום בזמן אמת

האמת היא שמישהו עובד למעשה על טכנולוגיית תרגום שכזו בזמן אמת של סימנים.

יש חברה בשם SpeechTrans [URL שבור הוסר], שדחפה את גבולותיה של טכנולוגיות תרגום תשכח מגוגל תרגם: 3 דרכים לקבלת תרגום מדויק ומהירבין אם אתה מתכנן להגיש מועמדות למשרה או דירה בחו"ל, או שאתה מעוניין לתרגם את דף האינטרנט שלך, אתה צריך להתמודד עם הדברים אפילו בשפה זרה. קרא עוד בשנים האחרונות. SpeechTrans עובד עם שותפים טכנולוגיים כדי לייצר כמה משירותי התרגום המדהימים ביותר בזמן אמת הקיימים כיום. מדובר בשירותים המתורגמים צ'אט טקסט לצ'אט טקסט, קול לטקסט ואפילו תרגום שפה קולית לקולית בזמן אמת באמצעות אפליקציות טלפון נייד ושולחן עבודה.

כדי לחקור האם טכנולוגיה בשפת הסימנים עשויה להפוך למציאות בעתיד הקרוב, MakeUseOf התיישב עם מנכ"ל SpeechTrans, ג'ון פריי ועם המשנה למנכ"ל יאן אוירבך כדי לדון חדש ופורץ דרך זה. טכנולוגיית תרגום הבנת כל שפה באמצעות חמשת אתרי התרגום לשפות אלההטכנולוגיה הפכה את העולם למקום קטן יותר. אנשים מכל חלק של כוכב לכת זה משתמשים ברבים מאותם הכלים, מבקרים בכמה מאותם אתרים ומתערבבים בחדרי צ'אט שונים ברשת. ה... קרא עוד וכמה רחוק לעתיד זה יכול להיות.

פיתוח אפליקציה לתרגום לשפת הסימנים

MUO: האם ניתן לבצע את סוג שפת הסימנים לתרגום הדיבור שתלמידי ברגה הציגו בסרטון הרעיון הזה של Google Gesture?

ג'ון: הייתי אומר שהטכנולוגיה זמינה לפיתוח זה. אנו עובדים כרגע עם מיקרוסופט ואינטל בבחינת כמה מהטכנולוגיות עמן הם יוצאים, מבחינת חומרה ותוכנה. אנו רואים את היכולת להשתמש בטכנולוגיה זו כדי לזהות שפת סימנים ואז להמיר אותה לפלט דיבור ושמע.

MUO: אתה עובד באופן פעיל על פיתוח טכנולוגיה זו ברגע זה?

יאן: אז, היה לקוח שמשתמש בתוכנה שלנו, וחשב שזה יהיה נפלא אם נוכל לשנות אותה כך שאנשים לקויי שמיעה יוכלו להשתמש בה כדי לבצע שיחות טלפון מהאפליקציה שלנו, כדי לתקשר ללא צורך בשפת הסימנים כשהם באופן אישי, או ללא צורך בשירות מסוג TTY לטלפון שיחות. פיתחנו מוצר זה, ובמימון של מיקרוסופט ואינטל, השקנו את SpeechTrans עבור לקויי שמיעה ב- Windows 8.1, המסיר את הצורך בשפת הסימנים.

MUO: כיצד פועלת האפליקציה "באופן אישי"?

יאן: יש מצב האזנה, ויש מצב קלט. לכן, כשמישהו מדבר אליך, אתה מציב מצב האזנה והוא מקליד טקסט על המסך כל מה שהוא אומר. ואז, כשאתה מגיב בחזרה, אתה מקליד את זה ואז הוא מדבר בקול רם את מה שאתה מקליד. עם הטלפון אתה פשוט מחייג למספר הטלפון של כל אחד, וכשהוא עונה לטלפון זה הופך להיות כמו הודעה מיידית. לא משנה מה הם מדברים, אתה מקבל כ- IM. ואז כל מה שאתה מקליד נאמר בקול רם דרך הטלפון. זה השלב הראשון.

תרגום עתיד קרוב לעתיד

MUO: אילו טכנולוגיות אנשים יכולים לצפות לראות בעתיד הקרוב? מה השלב הבא?

ג'ון: אנו רואים - למי שיש לו רק את היכולת להשתמש בשפת הסימנים - להיות מסוגל לעשות זאת מול מכשיר כמו טלפון, מחשב או מחשב נייד. לאינטל יש מערכת מצלמות חדשה, ומיקרוסופט מצליחה לעשות זאת גם עם ה- Kinect, וזה עושה זיהוי מחוות.

MUO: איך זה יותר טוב מתפיסת להקת הזרוע שהגישו תלמידי ברג?

יאן: בעיקרון שלנו הולך לעבוד בצורה שאינה מחייבת אותך לשים משהו על היד שלך. זה יזהה 64 נקודות בידך. אנו משתמשים בגירסת הבטא של מצלמת RealSense של אינטל. כך שלא רק נוכל לזהות את כל שפת הסימנים ואת מספר הניבים השונים של שפת הסימנים, אלא נעשה זאת גם להיות מסוגלים לזהות רגשות, הבעות פנים ודקויות קטנות אחרות ואז להמיר את זה למילים מדוברות נו.

זה לא ידרוש ממך ללבוש כפפות או משהו כזה. אנו מתמקדים בשוק זה במיוחד מכיוון שאנחנו פשוט רוצים לעזור לאנשים באופן כללי. אנחנו לא רוצים לעזור רק לאנשים שרוצים לדבר בשפות רבות ושונות, אלא גם רוצים לעזור לאנשים שאינם יכולים לדבר בשפה כלשהי. הטכנולוגיה קיימת, ואין סיבה שאיכות חייהם צריכה להיות שונה משלנו.

ג'ון: זה מושג בר ביצוע. זה רק קלט ופלט שונה. כמה מהשיחות שניהלנו עם מיקרוסופט על כמה מהטכנולוגיות העתידיות נמצא היכן מישהו יכול ממש להשתיל מיקרו-שבב בצווארם ​​וזה קורא ישירות את גלי המוח שלהם דפוסים. אז אם אתה עוזר לאנשים שאינם יכולים לתקשר, אנו למעשה רואים משהו כזה כפריסה שלב שלוש.

בשנה שעברה הייתה קבוצה של סטודנטים שיצאה עם אב טיפוס עובד של כפפה המחוברת למחשב. המחוות שביצעת עם הכפפה יוכרו ואז יומרו לשפת הסימנים. אז יש להם כבר את היכולת עם הטכנולוגיה הנוכחית.

החזון שלנו הוא שאנחנו לא באמת רוצים ליצור אביזרים כמו רצועות הזרוע שעליכם לשים. זה אמור להיות פשוט וזורם חופשי עבורם [אנשים שעושים שפת סימנים] לעשות זאת מול מצלמת הווידיאו שלהם. 90% ממה שאנשים אומרים בתקשורת הוא למעשה בשפת הגוף שלהם. ביכולתנו לגשת לזיהוי פנים, מחוות ורגשות, נוכל להשתמש בנתונים האלה גם כ ובכן לוודא שהתרגום ומה שהם מנסים להעביר בא לידי ביטוי בזכות טופס.

MUO: האם אינטל נמצאת בטווח החמש שנים של טכנולוגיית זיהוי שפת סימנים זו?

ג'וןאינטל בהחלט יש הרבה משאבים זמינים. הטכנולוגיה שלהם והתוכנה שלהם מגיעה בקצב בו אנו יכולים לגרום לזה לקרות די מהר.

MUO: האם יש לך מסגרת זמן לה אתה מקווה להוציא את הטכנולוגיה הזו לשוק?

ג'ון: לשפת הסימנים, זה בערך 12 עד 18 חודשים.

MUO: האם למישהו אחר שם יש משהו אחר לתרגום לשפת הסימנים?

ג'ון: ראיתי סרטון יוטיוב של יבמ עושה אב-טיפוס שבו מישהו עשה שפת סימנים, אבל זה היה הוכחה למושג והיו לו רק שלוש או ארבע מילים שהוא זיהה. יש לנו למעלה מחמש מאות אלף מילים שאנחנו מתכננים לפרוס אותה, אז זה הולך לקחת את זה לרמה אחרת לגמרי.

סיכום

אמנם החזון שהתלמידים בברגה חלמו עלול לא להפוך לאפליקציית התרגום של שפת הסימנים של העתיד, אך זה לא אומר שמושג כזה לא יקרה. מה שהעבודה שנעשתה ב- SpeechTran, אינטל ומיקרוסופט מוכיחה היא שתרגום שפת הסימנים כמעט בטוח להפוך לטכנולוגיה אמיתית תוך שנים ספורות. סביר להניח שזה לא יהיה כרוך בלהקות זרועות מסורבלות, אלא במקום זאת מצלמת וידאו מיוחדת ואפליקציה לנייד.

באמצעות קסם המחווה והכרת הפנים, אפליקציית תרגום שפת הסימנים הזו לעתיד מבטיחה לחולל מהפכה בתקשורת בין אישית עבור מאות אלפי לקוי שמיעה 5 המשאבים הטובים ביותר עבור משתמשי Mac ו- Apple עם מוגבלויות קרא עוד או אנשים כבדי שמיעה בכל רחבי העולם.