מהי לימוד העברת בינה מלאכותית וכיצד זה עובד?

אם אתה מעוניין לאמן מודל AI משלך לעיבוד שפה טבעית (NLP) או ראייה ממוחשבת, עליך להכיר את לימוד העברה וכיצד להשתמש במודלים מאומנים מראש.

ללא למידה העברה, אימון מודל יעיל ואמין יהיה לעתים קרובות מאמץ חוסך משאבים, הדורש הרבה כסף, זמן ומומחיות, כאשר מפתח ChatGPT OpenAI מוערך שהשקיע מיליונים באימון GPT-3, GPT-3.5 ו GPT-4. עם הכוח של למידת העברה, אתה יכול לאמן מודל משלך חזק כמו מודל ה-GPT האחרון עם משאבים מועטים תוך תקופה קצרה.

מהי למידה של העברת בינה מלאכותית?

למידת העברה היא הרעיון של נטילת מודל שהוכשר מראש כמו BERT או אחד מה דגמי GPT שונים ולהכשיר אותו על מערך נתונים מותאם אישית לעבוד על משימות שלא בהכרח הוכשר להתמודד איתו.

לדוגמה, אתה יכול לקחת מודל מאומן מראש לסיווג מיני חתולים שונים ולאלף אותו לסיווג כלבים. באמצעות לימוד העברה, אימון מודל סיווג הכלבים שלך צריך לקחת פחות זמן ומשאבים באופן משמעותי כדי להפוך לאמין כמו המודל המקורי לסיווג החתול.

זה עובד מכיוון שחתולים וכלבים חולקים תכונות רבות שהמודל המאומן מראש כבר יכול לזהות. מכיוון שהמודל של סיווג החתולים יכול לזהות את התכונות השונות של חתול, כגון בעל ארבע רגליים, מעילי פרווה ובולטות חוטם, המודל לסיווג הכלבים יכול לדלג על כל האימונים כדי לזהות את התכונות הללו ולרשת אותן מהמקור דֶגֶם. לאחר שירשת את כל הרשתות העצביות הללו, אתה מנתק את השכבות האחרונות של המודל המאומן המשמש לזיהוי התכונות הספציפיות יותר של חתול ולהחליף אותן במערך נתונים ספציפי לכלבים.

באילו מודלים של בינה מלאכותית אתה יכול להשתמש ללימוד העברה?

כדי להשתמש בלימוד העברה, תזדקק למודל מאומן מראש. מודל מאומן מראש ידוע בדרך כלל כמודל בינה מלאכותית שאומן במטרה להשיג ידע כללי בנושא או רעיון מסוים. סוגים אלה של מודלים שהוכשרו מראש נוצרו בכוונה כדי שאנשים יוכלו לכוונן וליצור דגמים ספציפיים יותר ליישום. כמה מהדגמים הפופולריים ביותר שהוכשרו מראש הם עבור NLP, כמו BERT ו- GPT, וראייה ממוחשבת, כגון VGG19 ו-Inceptionv3.

למרות שהם פופולריים, המודלים הללו הניתנים להתאמה קלה הם לא היחידים שבהם אתה יכול להשתמש ללימוד העברה. אתה יכול גם להשתמש במודלים שהוכשרו למשימות ספציפיות יותר מאשר זיהוי אובייקטים או שפה כלליים. כל עוד המודל פיתח רשתות עצביות הרלוונטיות למודל שאתה מנסה לאמן, אתה יכול להשתמש כמעט בכל מודל ללמידה בהעברה.

אתה יכול לקבל דגמים מוכשרים זמינים לציבור ממקומות כמו TensorFlow Hub, Hugging Face ושוק המודלים של OpenAI.

היתרונות של שימוש בלימוד העברת בינה מלאכותית

למידת העברה מספקת מספר יתרונות על פני אימון מודל AI מאפס.

• זמן אימון מופחת: כאשר מאמנים מודל מאפס, חלק גדול מתהליך ההכשרה מושקע בידע בסיסי כללי. באמצעות למידת העברה, המודל שלך יורש אוטומטית את כל הידע הבסיסי הזה, ובכך מקצר משמעותית את זמן ההדרכה.
• פחות דרישת משאבים: מכיוון שכל הידע הבסיסי כבר קיים, כל מה שאתה צריך לעשות הוא להמשיך ולהכשיר את המודל לפרטי היישום שלך. לעתים קרובות זה דורש רק מערך נתונים קטן יחסית שניתן לעבד עם פחות כוח מחשוב.
• ביצועים משופרים: אלא אם כן אתה מוציא מיליוני דולרים על בניית המודל שלך מאפס, אתה לא יכול לצפות לדגם טוב או אמין כמו מודל שפה גדול (LLM) מחברת טכנולוגיה ענקית. על ידי שימוש בלימוד העברה, אתה יכול למנף את היכולות החזקות של ה-LLM המאומנים מראש, כגון GPT, כדי לשפר את ביצועי המודל שלך.

אימון מודל AI מאפס אפשרי, אבל אתה צריך משאבים גדולים יותר כדי לעשות זאת.

איך עובדת למידת העברה?

במהות, ישנם שלושה שלבים בכל הנוגע ללמידה בהעברה.

• בחירת דגם מיומן מראש: מודל מאומן מראש עובר הכשרה ראשונית באמצעות מערך נתונים גדול ממשימת מקור, כגון ImageNet, או אוסף גדול של טקסט. שלב ההכשרה הראשוני הזה מאפשר למודל לרכוש ידע על תכונות כלליות ודפוסים שנמצאים במערך הנתונים. כמות הזמן והמשאבים שתחסוך מלמידת העברה תהיה תלויה בדמיון בין המודל שהוכשר מראש למודל שאתה מנסה לבנות.
• חילוץ תכונה: לאחר שנבחר דגם מאומן מראש לכוונון עדין, השכבות הראשוניות של הדגם המאומן מראש (הקרוב ביותר לקלט) מוקפאות; המשמעות היא שהמשקל שלהם נשמר קבוע במהלך כוונון עדין. הקפאת שכבות אלו שומרת על הידע הכללי שנלמד במהלך שלב ההדרכה ומונעת מהן להיות מושפעות מאוד ממערך הנתונים הספציפי למשימות של מודל היעד. עבור דגמים שעברו הכשרה מלאה עבור יישומים ספציפיים, השכבות האחרונות של הדגמים מוסרות או נלמדות כדי שמודל היעד יוכשר ביישומים ספציפיים אחרים.
• כוונון עדין: לאחר שהמודל שהוכשר מראש הוקפא והסרת השכבות העליונות, מערך נתונים חדש מוזן לאלגוריתם הלמידה, אשר משמש לאחר מכן לאימון המודל החדש ואת הספציפיות של היישום שלו.

יש בזה יותר משלושת השלבים, אבל המתווה הזה מפרט בערך איך עובד תהליך הלמידה של העברת הבינה המלאכותית, עם קצת כוונון.

מגבלות ללמידה של העברת בינה מלאכותית

למרות שלמידת העברה היא מושג בעל ערך בהכשרת מודלים אפקטיביים ואמינים, ישנן לא מעט מגבלות שעליכם לדעת כאשר משתמשים בלמידת העברה להכשרת מודל.

• אי התאמה של משימה: כאשר בוחרים מודל בסיס ללמידה בהעברה, הוא צריך להיות רלוונטי ככל האפשר לבעיות שהמודל החדש יפתור. שימוש במודל שמסווג חתולים ליצירת מודל לסיווג כלבים צפוי להניב תוצאות טובות יותר מאשר שימוש במודל של סיווג מכוניות ליצירת מודל לצמחים. ככל שמודל הבסיס רלוונטי יותר למודל שאתה מנסה לבנות, כך תחסוך יותר זמן ומשאבים לאורך תהליך הלמידה של ההעברה.
• הטיית מערך נתונים: למרות שמודלים שהוכשרו מראש מאומנים לרוב במערך נתונים גדולים, עדיין קיימת אפשרות שהם פיתחו הטיה מסוימת במהלך האימון שלהם. שימוש במודל הבסיס המוטה מאוד יגרום למודל לרשת את ההטיות שלו, ובכך להפחית את הדיוק והאמינות של המודל שלך. למרבה הצער, קשה לאתר את מקורן של הטיות אלו בשל אופי הקופסה השחורה של למידה עמוקה.
• התאמת יתר: אחד היתרונות העיקריים של למידת העברה הוא שאתה יכול להשתמש במערך נתונים קטן יחסית כדי להכשיר מודל נוסף. עם זאת, אימון המודל על מערך נתונים קטן מדי עלול לגרום להתאמת יתר, מה שמפחית משמעותית את מהימנות המודל כאשר הוא מסופק עם נתונים חדשים.

אז בעוד שלמידת העברה היא טכניקת לימוד שימושית בינה מלאכותית, קיימות מגבלות, וזה לא כדור כסף.

האם כדאי להשתמש ב-Transfer Learning?

מאז הזמינות של מודלים שהוכשרו מראש, למידת העברה שימשה תמיד לייצור מודלים מיוחדים יותר. אין באמת סיבה לא להשתמש בלימוד העברה אם כבר יש מודל מאומן מראש הרלוונטי לבעיות שהמודל שלך יפתור.

למרות שניתן לאמן מודל למידת מכונה פשוט מאפס, לעשות זאת על מודל למידה עמוקה ידרוש הרבה נתונים, זמן ומיומנות, שלא יהיו הגיוניים אם אתה יכול ליישם מחדש מודל קיים דומה לזה שאתה מתכנן לעשות רכבת. לכן, אם אתה רוצה להשקיע פחות זמן וכסף בהכשרת מודל, נסה לאמן את המודל שלך באמצעות למידה בהעברה.