גוגל הופכת את קוד ה- Speech Codec הנמוך של לירה לקצב

גוגל פרסמה ב- GitHub את קוד המקור בטא של Lyra audio codec שלה, מה שהופך את עיבוד השמע באיכות נמוכה בקצב נמוך להפליא לכל המפתחים. ה- codec שימושי ביותר במצבים משובצים ורוחבי פס שמצריכים לשמור כמה שיותר נתונים.

ליירה: כמעט שום דבר מעולם לא נשמע כל כך טוב

קוד האודיו עובד על פי העיקרון של מתן הדיבור הנשמע הכי טבעי עם קצב הנתונים הנמוך ביותר האפשרי. היא מצליחה ליצור רמות שכפול אודיו כמעט מפחידות עם קצב סיביות נמוך עד 3 kbps. גוגל משתמשת בדחיסת ליירה בזמן אמת כבר באפליקציית Duo שלה, אם כי לא יאשימו אותך בכך שאפילו לא הבנת הבדל מאודיו ברוחב הפס הרגיל.

כדי להדגים עד כמה לירה טובה יותר מקודקים אחרים, גוגל מספקת דוגמאות באמצעות פוסט בבלוג המשווה את רכיבי Codec לדחיסה המונעת על ידי Machine Learning לחלופות אחרות של 3 ו -6 Kbps.

זה הבדל בין לילה ליום, ולתת למפתחים את הכלים הללו ברחבי העולם יהיה מניע משמעותי בשיפור איכות התקשורת במקום בו רוחב הפס הוא מועט. זה גם מניע מצוין למפתחים המעוניינים ליצור אפליקציות חדשות בשווקים מתפתחים, דבר שגוגל בטח תסקר בשנה זו כנס מקוון / פלט וירטואלי של Google.

קוד המקור לביתא תוכנן כרגע עם התקני זרוע של 64 סיביות, אם כי הדוגמאות יפעלו גם במערכות לינוקס של 64 סיביות. קוד המקור מסופק מתועד במלואו, אם כי הוא נמצא בגרסת בטא, ודף GitHub מספק הוראות התקנה וכיצד לבנות את ליירה על לינוקס ליעדי 64 סיביות.

כדי לקבל את קוד המקור של ביתא של Lyra, עבור אל דף ליירה גיטהוב.

איך ליירה עובדת?

בעוד שהתהליך בפועל משתמשת בליירה הוא שילוב מורכב להפליא של מודלים ללימוד מכונה שעברו הכשרה אלפי שעות של נתוני דיבור ואופטימיזציות של טכנולוגיית ה- codec האודיו הקיימת, התיאוריה היא די פָּשׁוּט.

כל 40ms, התכונות נלקחות מהדיבור ודחוסות עד 3kbps. תכונות אלה מייצגות נקודות אנרגיית דיבור בספקטרום התדרים הקרוב ביותר לתגובת דיבור שמיעה אנושית - הדברים שאנחנו צריכים להכיר ולהבין כשמישהו מדבר.

החלק המרכזי במה שמייחד את ליירה הוא האופן בו היא משתמשת במידע זה:

עם זאת קודקים פרמטריים מסורתיים, אשר פשוט מחלצים מפרמטרים קריטיים לדיבור שיכולים להיות אז משמש כדי ליצור מחדש את האות בקצה המקבל, להשיג קצב סיביות נמוך, אך לעיתים קרובות נשמע רובוטי ולא טבעי. חסרונות אלה הובילו לפיתוח דור חדש של דגמים קולניים באיכות גבוהה שיש להם חוללה מהפכה בתחום בכך שהצליחה לא רק להבדיל בין אותות, אלא גם ליצור חדש לחלוטין יחידות.

לאחר השידור, ליירה בונה מחדש את צורת הגל על ​​ידי מילוי מה שחסר באמצעות תהליך זה, בעוד שאיכשהו אינה מורכבת יותר מדי חישובית.

מצד אחד, זה פלא טכנולוגי שירוץ כמעט בכל מקום. מצד שני, אני עדיין לא משוכנע ב 100% שזה לא כישוף.

10 תכונות של Google Duo שאתה באמת אמור להשתמש בהן

Google Duo היא אחת האפליקציות הטובות ביותר לשיחות וידאו שיש שם. יש לו הרבה תכונות, והנה אלה שאנחנו חושבים שאתה באמת צריך להשתמש בהם.

קרא הבא

על הסופר