מהי Deepfake Music? ואיך זה נוצר?

במשך זמן רב, מוזיקה הצליחה להתחמק מעולם הזיופים העמוקים כי זה היה פשוט מסובך מדי לסנתז קול של מישהו. כל זה השתנה עם ההתקדמות בטכנולוגיית AI. זה הביא לשיבוטי קול של אמנים מפורסמים שניתן להשתמש בהם להפקת רצועות ווקאליות חדשות.

מכיוון שכלי AI הופכים נגישים יותר לאנשים ממוצעים, מוזיקה עמוקה מזויפת היא בעיה הולכת וגוברת. הנה מה זה ואיך זה נוצר.

האבולוציה של Deepfake Music

כשאתה שומע את האמן האהוב עליך שר בספוטיפיי או ביוטיוב, אתה בקושי חושב שזה יכול להיות מזויף, אבל התקדמות בינה מלאכותית הפכה את זה למציאות. לצד תמונות וסרטונים מזויפים, קיימת גם מוזיקה עמוקה מזויפת.

כלי בינה מלאכותית יכולים לשחזר נאמנה את קול השירה של אדם על ידי אימון מודל AI על דגימות אודיו של קולו. נוצר על ידי מעריצי האמן, או חובבי טכנולוגיית AI, יותר אנשים מנסים ליצור דופלגנרים ווקאליים.

אנשים ניסו לסנתז את הקול באמצעות מחשב כבר שנים, עד לשנת 1961 כאשר ה-IBM 7094 היה המחשב הראשון ששר. אתה יכול לשמוע את קול ממוחשב שר דייזי בל בקליפ ביוטיוב ולנסות לדמיין כמה הרגע הזה היה מדהים.

הרצה קדימה למאה ה-21 וטכנולוגיית AI שיפרה את איכות הקול המסונתז ואפשרו לנו לעשות דברים שרובנו מעולם לא חשבנו אפשריים עד עכשיו, כמו שיבוט קולות של אנשים.

פשוט תסתכל על הקליפ הזה של רוברטו ניקסון הופך את קולו לאמן והראפר קניה ווסט. הצפייה בסרטון מרגישה מוזרה, זה באמת נשמע בדיוק כמו קניה, אבל זה גם לא נוח לצפייה. בלי יותר מדי מחשבה על האופן שבו האמן עלול לחשוב או להרגיש, וללא רשות, זה יכול להיראות כמנכס את קולו של מישהו.

בניגוד לעיבוד המחשב של דייזי בל, שיבוט קולי בינה מלאכותית מסוגל לשחזר את הדמיון המדויק של קולו של מישהו, הכולל את כל ההבדלים העדינים בגוון שעוזרים לנו לזהות את הקול הייחודי של מישהו פּרוֹפִיל. עם זאת, ללא רישיון, ונעשה ללא רשות, למוזיקה עמוקה יש כמה בעיות רציניות, אליהן נגיע בהמשך.

איך נוצרים שירי Deepfake

נעשה שימוש בשיטות שונות ליצירת שירים מזויפים עמוקים אך רבים מהם משתמשים בטכנולוגיית AI. פרויקטים בקוד פתוח כמו פרויקט SoftVC VITS Singing Voice Conversion ב-GitHub, למשל, פיתחו מודל AI שעושה את מה שהוא אומר בשמו: ממיר דגימת אודיו לקול שירה.

המודל הזה לוקח קובץ שמע קיים של מישהו שר וממיר אותו לקול של מישהו אחר. דברים כמו המילים והמקצב של הקול המקורי נשמרים, אבל הטון, הגוון והאיכויות הקוליות האישיות מומרות לקול שצוין במערך האימון.

זכור שחלקים אחרים של השיר עדיין עשויים להיות מופקים באופן ידני, כמו יצירת ביטים ומנגינות באותו סגנון וז'אנר כמו האמן המקורי.

כדי ליצור זיוף עמוק של קולו של קניה ווסט, היה צורך להזין מערך נתונים של צד שלישי למודל SoftVC VITS, שיכלול דוגמאות של הקול האמיתי של קניה. הקובץ המכיל את מערך הנתונים הוסר מאז על ידי המחבר, וזה לא מפתיע בהתחשב בטריטוריה המשפטית העכורה שעלולה להגיע עם מערכי נתונים לא מורשים.

למרות שזה לא הפך לאפליקציה מסחרית, אתה יכול למצוא גרסה של דגם SoftVC VITS ב-Google Collab שזה יותר ידידותי למשתמש.

עד להצבת הגבולות האתיים והחוקיים, יתכן שאפליקציות שיבוט קולי קלות יותר יפעלו קופץ - לא שונה מדי מאפליקציית Drayk.it שהפכה תיאור טקסט לשירים בסגנון של האמן דרייק. מאוחר יותר הוא נסגר.

כמה כלים אחרים המשמשים ליצירת מוזיקה עמוקה מזויפת כוללים דגמי שפה גדולים כמו ChatGPT, שניתן להשתמש בו לכתיבת מילים בסגנון של אמן מפורסם; ו Jukebox של OpenAI ו MusicLM של גוגל, שהם דגמי AI גנרטיביים שיכולים ליצור מוזיקה בצורת אודיו גולמית לחלוטין מאפס.

אתה יכול לשמוע את ההבדל?

רצועה שנוצרה על ידי משתמש אנונימי בשם Ghostwriter הפכה לוויראלית ב-TikTok באפריל 2023, לא מעט משום שהיא כללה מילים ששרו האמנים דרייק ו-The Weeknd. כמובן, אלה לא היו הקולות האמיתיים של האמנים, אלא אלה מזויפים.

לו השירה לא הייתה עותק כל כך טוב של המקור, אולי זה לא היה להיט. עם קצת חפירה, אתה יכול לגלות די מהר אם זה הדבר האמיתי או לא, אבל רק באמצעות האוזניים שלך, אתה יכול רק לנחש אם זה אותנטי.

אם אתה רוצה לזהות תמונה שנוצרת בינה מלאכותית יש לפחות כמה סטיות חזותיות שאתה יכול לחפש. באשר לאודיו, סימנים כמו אודיו בנאמנות נמוכה או תקלות ברצועה אינם אומרים הרבה מכיוון שאלו בחירות יצירתיות המשמשות בהפקה מוזיקלית כל הזמן.

מה שעוד יותר מעניין הוא שאנשים רבים באמת אוהבים את השיר, גם לאחר שגילו שזה לא הקולות האמיתיים של דרייק או The Weeknd. מעריצים ציינו שלא הכל נוצר פשוט עם AI, וכי מיומנות ועבודה אמיתית הושקעו בכתיבת המילים, הלחנת המקצבים וחיבור כל העניין.

הרצועה הגיעה ל-Spotify וליוטיוב לפני שהוסר בימים שלאחר מכן, אבל לא לפני שהמעריצים הורידו את השיר כ-mp3. אתה עדיין יכול למצוא עותקים של השיר באינטרנט אם אתה מחפש "Heart On My Sleeve, Drake ft. סוף השבוע".

בקרוב, איתור ההבדל בין שיבוטים ווקאליים שנוצרו בינה מלאכותית לבין הקול האנושי האמיתי יהפוך כמעט לבלתי אפשרי. עם זאת בחשבון, אנשים שואלים אם זה מלכתחילה שימוש טוב בטכנולוגיית AI, או אפילו שימוש חוקי בה.

בעיות עם Deepfake Music

מצד אחד, אנשים נהנים להאזין למאש-אפ ממעריצים של האמנים האהובים עליהם, ומכבדים את היצירתיות שמשתתפת בהפיכתו למציאות. אבל היכולת לקבל שיבוטים קוליים מלכתחילה מסתמכת על מערכי נתונים שעשויים להיות מאושרים או לא.

ללא רשות, דגימות של קולו של אדם נאספות לתוך מערך נתונים המשמש לאחר מכן לאימון מודל המרת קול בינה מלאכותית. זה דומה לבעיה איתה מתמודדת אמנים שרוצים להסיר את התמונות שלהם ממערכי נתונים להדרכה המשמשים לאימון מחוללי תמונות בינה מלאכותית כמו Dall-E או Midjourney.

גם חוק זכויות היוצרים לא מוכן להתמודד עם מוזיקה עמוקה מזויפת. בשנת 2020, האמן ג'יי זי נכשל בניסיון לאלץ את יוטיוב להוריד אודיו שנוצר בבינה מלאכותית שלו כשהוא מקשקש שורות מהשיח "להיות או לא להיות" של וויליאם שייקספיר.

כששיר Deepfake מועלה לספוטיפיי או ליוטיוב, יש גם השאלה מי מרוויח כסף. האם אתה צריך להרוויח כסף על שיר שמעתיק כמעט בדיוק את הקול של מישהו אחר?

הולי הרנדון היא אמנית אחת שניסתה ליצור מערכת שאנשים יפצו אותה בתמורה לשימוש במודל הקול שלה כדי ליצור עבודה מקורית. בעוד לאמנים אחרים כמו ניק קייב יש התבטאה נגד AI, כותב:

שירים נוצרים מתוך סבל, כלומר הם מבוססים על המאבק האנושי המורכב והפנימי של הבריאה, ובכן, עד כמה שאני יודע, אלגוריתמים לא מרגישים.

לִפְעָמִים, טקסט שנוצר בינה מלאכותית יכול להיות חסר יצירתיות בסך הכל, אבל הם עדיין מפורסמים באינטרנט. בינה מלאכותית עלולה לגרום להרבה מוזיקה גרועה שהושקעה בה מעט מאוד מאמץ.

מציאת איזון בין מוזיקה ובינה מלאכותית

מוזיקת ​​Deepfake נוצרת באמצעות כלי בינה מלאכותית ומודלים של בינה מלאכותית שהוכשרו על מערכי נתונים לא מורשים. חלק מהדגמים הם בקוד פתוח ונגישים באופן חופשי, בעוד ניסיונות אחרים נעשו לארוז אותם באפליקציה ידידותית למשתמש.

ככל שיותר אנשים שמים את ידם על דגמי או אפליקציות מוזיקה עמוקות מזויפות, כדאי לחשוב על ההשפעה על האמן. קבלת הסכמה לאימון מערכי נתונים ותגמול לאמן הם רק חלק מהבעיות המתרחשות בטכנולוגיית מוזיקה בינה מלאכותית.