קוראים כמוך עוזרים לתמוך ב-MUO. כאשר אתה מבצע רכישה באמצעות קישורים באתר שלנו, אנו עשויים להרוויח עמלת שותף. קרא עוד.

ChatGPT הוא צ'אטבוט הבינה המלאכותית המשנה את המשחק של OpenAI שגורם לאינטרנט להדהים. כנגד כל המגמות הטכנולוגיות המבוססות, לא לקח הרבה זמן עד ש-ChatGPT מצא את דרכו כמעט לכל תחום בחיינו הדיגיטליים.

מעט מאוד חידושים טכנולוגיים זכו לעניין רב כמו ש-ChatGPT השיגה בזמן כה קצר. נראה שלעולם לא נגמרו הטריקים המגניבים - כל יום אנו לומדים על דברים חדשים ומלהיבים שלא ידענו שהוא יכול לעשות.

אבל איך ChatGPT מסוגל לעשות את הדברים שהוא יכול לעשות? איך ChatGPT עובד?

כיצד נבנה ChatGPT?

כדי להבין איך ChatGPT עובד, כדאי להסתכל על מקורותיו ועל המוח שמאחורי צ'טבוט הבינה המלאכותית החדיש.

ראשית, עד כמה ש-ChatGPT נראה קסום, הוא נבנה על ידי הגאונות של בני האדם, בדיוק כמו כל טכנולוגיית תוכנה שווה בחוץ. OpenAI יצרה את ChatGPT, חברת המחקר והפיתוח המהפכנית של בינה מלאכותית מאחורי כלי בינה מלאכותית חזקים אחרים כמו DALL-E, InstructGPT ו- Codex. כבר ענינו בעבר כמה שאלות שאולי יש לך לגבי ChatGPT, אז תסתכל.

בעוד ש-ChatGPT הפך ויראלי לקראת סוף 2022, רוב הטכנולוגיה הבסיסית שמניעה את ChatGPT קיימת כבר הרבה יותר זמן, אם כי עם הרבה פחות פרסום. דגם ChatGPT בנוי על גבי GPT-3 (או, ליתר דיוק, GPT-3.5). GPT מייצג "Generative Pre-trained Transformer 3".

instagram viewer

GPT-3 הוא האיטרציה השלישית של קו ה-GPT של דגמי AI וקדמו לו GPT-2 ו-GPT. איטרציות מוקדמות יותר של דגמי ה-GPT שימושיות באותה מידה, אבל ה-GPT-3 והאיטרציה המכווננת עדינה של GPT-3.5 הם הרבה יותר חזקים. רוב מה ש-ChatGPT יכול לעשות נובע מטכנולוגיית ה-GPT-3 הבסיסית.

מה זה GPT?

אז קבענו ש-ChatGPT בנוי על הדור השלישי של מודל ה-GPT. אבל מה זה GPT בכלל?

נתחיל בפריקת ראשי התיבות בצורה קלה לעיכול ולא טכנית.

  • ה-"Generative" ב-GPT מייצג את יכולתו ליצור טקסט בשפה אנושית טבעית.
  • ה"אימון מראש" מייצג את העובדה שהמודל כבר הוכשר על מערך נתונים סופי כלשהו. בערך כמו שהיית קורא ספר או אולי כמה ספרים לפני שתתבקש לענות על שאלות לגביו.
  • ה"רובאי" מייצג את ארכיטקטורת למידת המכונה הבסיסית שמניעה את GPT.

כעת, אם מרכיבים הכל ביחד, Generative Pre-trained Transformer (GPT) הוא מודל שפה שהיה מאומן באמצעות נתונים מהאינטרנט במטרה ליצור טקסט בשפה אנושית כאשר מוצג עם א מיידי. אז, אמרנו שוב ושוב ש-GPT הוכשר, אבל איך הוא הוכשר?

כיצד הוכשר ChatGPT?

ChatGPT עצמו לא היה מאומן מהיסוד. במקום זאת, זוהי גרסה מעודנת של GPT-3.5, שהיא עצמה גרסה מעודנת של GPT-3. דגם ה-GPT-3 הוכשר עם כמות עצומה של נתונים שנאספו מהאינטרנט. תחשוב על ויקיפדיה, טוויטר ו-Reddit - הם הוזנו נתונים וטקסט אנושי שנגרד מכל פינות האינטרנט.

אם אתה תוהה איך עובד אימון GPT, GPT-3 הוכשר באמצעות שילוב של למידה מפוקחת ולמידת חיזוק באמצעות משוב אנושי (RLHF). למידה מפוקחת היא השלב שבו המודל מאומן על מערך נתונים גדול של טקסט שנלקח מהאינטרנט. שלב למידת החיזוק הוא המקום בו הוא מאומן לייצר תגובות טובות יותר שמתאימות למה שבני אדם יקבלו כדמוי אנושי ונכון כאחד.

הדרכה עם למידה מפוקחת

כדי להבין טוב יותר כיצד למידה בפיקוח וחיזוק חל על ChatGPT, דמיינו תרחיש שבו תלמיד מלמד לכתוב חיבור על ידי מורה. למידה מפוקחת תהיה המקבילה לכך שהמורה נותן לתלמיד מאות חיבורים לקריאה. המטרה כאן היא שהתלמיד ילמד כיצד יש לכתוב חיבור על ידי התרגלות לטון, לאוצר המילים ולמבנה של מאות חיבורים.

עם זאת, יהיו טובים ורעים בין מאות החיבורים הללו. מכיוון שהתלמיד הוכשר על עותקים טובים ורעים כאחד, לפעמים, התלמיד עשוי לכתוב חיבור גרוע מכיוון שהתלמיד גם ניזון מחיבורים גרועים בשלב מסוים. פירוש הדבר שכאשר יתבקש לכתוב חיבור, התלמיד עשוי לכתוב עותק שאינו מקובל או טוב מספיק עבור המורה. כאן נכנסת לתמונה למידת החיזוק.

אימון עם למידת חיזוק

ברגע שהמורה יקבע שהתלמיד מבין את הכללים הכלליים של כתיבת חיבורים על ידי קריאת מאות חיבורים, המורה היה נותן לתלמיד שיעורי בית לכתיבת חיבור תכופים. לאחר מכן, המורה יספק משוב על החיבור בכתיבת שיעורי הבית, ויגיד לתלמידים מה הם עשו טוב ומה הם יכולים לשפר. התלמיד משתמש במשוב כדי להנחות את כתיבת החיבורים הבאים, ועוזר לתלמיד להשתפר עם הזמן.

זה דומה לשלב למידת החיזוק של אימון מודל ה-GPT. לאחר שהוזנה בכמות עצומה של טקסט שנגרד מהאינטרנט, הדוגמנית יכולה לענות על שאלות. עם זאת, הדיוק שלו לא יהיה מספיק טוב. מאמנים אנושיים שואלים את הדגם שאלה ומספקים משוב על איזו תשובה מתאימה יותר לכל שאלה.

המודל משתמש במשוב כדי לשפר את יכולתו לענות על שאלות בצורה מדויקת יותר ודומה יותר לאופן שבו אדם היה מגיב. כך ChatGPT יכול לייצר תגובות שנשמעות אנושיות שהן קוהרנטיות, מרתקות ובדרך כלל מדויקות.

כיצד ChatGPT מסוגל לענות על שאלות?

אז אתה מבקר באתר ChatGPT ונכנס. אתה מבקש מ-ChatGPT: "כתוב שיר ראפ בסגנון סנופ דוג". הוא מגיב במילים לשיר ראפ שנראה דומה להפליא למה שסנופ דוג היה כותב. איך זה אפשרי?

ובכן, ה"קסם" שמאחורי ChatGPT קשור בצורה מסודרת לאימון שלו.

לאחר שתכסה כל סנטימטר של ספר הלימוד שלך ב-Physics 101, יש סיכוי טוב שתוכל לענות על כל שאלה מתוכו שתזרק אליך. למה? כי קראת את זה, ולמדת את זה. זה אותו דבר עם ChatGPT - זה לומד. וכפי שהציוויליזציה האנושית הראתה, עם מספיק הכשרה, פתרון כמעט כל בעיה אפשרי.

למרות שאתה כנראה יכול לנהל מאות ספרים במהלך חייך, ChatGPT או GPT כבר צרכו נתח עצום מהאינטרנט. זה שפע עצום של מידע. שם, איפשהו, יש כנראה מילים לשירים הרבים של סנופ דוג. אז, כמובן, ChatGPT חייב לצרוך אותו (זכור, זה מאומן מראש) וזיהה דפוסים במילים של סנופ דוג. לאחר מכן הוא ישתמש ב"ידע" של הדפוס הזה כדי "לחזות" מילים לשיר הדומה למה שסנופ דוג יכתוב.

הדגש כאן הוא על "לחזות". ChatGPT לא עונה על שאלות כמו שאנחנו עושים כמו בני אדם. לדוגמה, כאשר מתמודדים עם שאלה כמו, "מהי בירת פורטוגל?" אתה יכול להגיד ליסבון ולומר את זה בתור "עובדה". עם זאת, ChatGPT לא עונה על שאלות בוודאות של 100%. במקום זאת, היא מנסה לחזות את התשובה הנכונה בהתחשב בנתונים שהיא צרכה במערך ההדרכה שלה.

הגישה של ChatGPT למענה על שאלות

כדי להבין טוב יותר את הרעיון של חיזוי תגובות, דמיינו את ChatGPT כבלש שמוטל עליו לפתור רצח. בפני הבלש מוצגות ראיות, אבל הם לא יודעים מי ביצע את הרצח ואיך זה קרה. עם זאת, עם מספיק ראיות, הבלש יכול "לחזות" בדיוק רב מי אחראי לרצח וכיצד בוצע הפשע.

לאחר צריכת נתונים מהאינטרנט, ChatGPT משליך את הנתונים המקוריים ומאחסן חיבורים עצביים או דפוסים שהוא למד מהנתונים. הקשרים או הדפוסים הללו הם כמו ראיות ש-ChatGPT מנתח כאשר הוא מנסה להגיב לכל הנחיה.

אז, בתיאוריה, ChatGPT הוא כמו בלש טוב מאוד. זה לא יודע בוודאות מה צריכות להיות העובדות של תשובה, אבל הוא מנסה, עם מרשים דיוק, כדי לחזות רצף הגיוני של טקסט בשפה אנושית שיענה בצורה המתאימה ביותר על שְׁאֵלָה. כך אתה מקבל תשובות לשאלות שלך.

וזו גם הסיבה שחלק מהתשובות האלה נראות מאוד משכנעות אבל שגויות מאוד.

ChatGPT: עונה כמו אדם, חושב כמו מכונה

הפרטים הטכניים הבסיסיים של ChatGPT הם מורכבים. עם זאת, מנקודת מבט בסיסית, הוא פועל על ידי למידה ושחזור של מה שלמד כאשר הוא מתבקש, בדיוק כמו שאנו עושים כבני אדם.

ככל ש-ChatGPT מתפתח באמצעות מחקר, האופן שבו זה עובד עשוי להשתנות. עם זאת, עקרונות העבודה הבסיסיים שלו יישארו זהים לזמן מה, לפחות עד שתגיע טכנולוגיה חדשה ומפריעה.