בעוד ש-OpenAI מובילה את הדרך לפיתוח AI גנרטיבי, רבים האשימו את גוגל בפיגור. עם זאת, כדי שלא להתחמק, גוגל השיקה מודל שפה גדול חדש, PaLM 2, בכנס Google I/O ב-2023.
ה-LLM החדש של גוגל, שעומד לבוא בארבעה גדלים שונים עבור מגוון יישומים, כנראה כבר מפעיל מספר שירותי גוגל, עם הרבה יותר.
מה זה PaLM 2?
ב-Google I/O 2023, שנערך ב-10 במאי, חשף מנכ"ל גוגל, סונדה פיצ'אי, את כלי המשחק האחרון של גוגל: PALM 2.
קיצור של Pathways Language Model 2, LLM המשודרג של גוגל הוא האיטרציה השנייה של PaLM, כאשר הגרסה הראשונה תושק באפריל 2022. לא זוכר את PALM? ובכן, בזמנו, זה היה חדשות גדול וזכה להמון עניין בזכות היכולת שלו לשוחח קצת, לספר בדיחות בסיסיות וכו'. מהר קדימה שישה חודשים, ו ה-GPT-3.5 של OpenAI העיף הכל מהמים, כולל PaLM.
מאז, OpenAI השיקה את GPT-4, שדרוג מאסיבי ב-GPT-3.5. עם זאת, בעוד הדגם החדש יותר משולב בכלים רבים, ובעיקר ב-Bing AI Chat של מיקרוסופט, גוגל שואפת למטרה ב-OpenAI ו-GPT-4 עם PaLM 2, ויקווה שה-LLM המשודרג שלה יוכל לסגור את מה שנראה כפער משמעותי - ההשקה של Google Bard לא הייתה שואגת הַצלָחָה.
פיצ'אי הכריז ש-PaLM 2 יגיע בארבעה גדלים שונים של דגמים: שממית, אוטר, ביזון וחד קרן.
Gecko הוא כל כך קל שהוא יכול לעבוד על מכשירים ניידים והוא מהיר מספיק עבור יישומים אינטראקטיביים נהדרים במכשיר, אפילו במצב לא מקוון. צדדיות זו פירושה שניתן לכוונן את PaLM 2 כדי לתמוך במחלקות שלמות של מוצרים בדרכים נוספות, כדי לעזור ליותר אנשים.
כאשר Gecko מסוגלת לעבד בסביבות 20 אסימונים בשנייה - אסימונים הם הערכים המוקצים למילים אמיתיות לשימוש על ידי מודלים של בינה מלאכותית - נראה שזה יהיה מחליף משחק עבור כלי בינה מלאכותית הניתנים לפריסה ניידת.
נתוני אימון של PaLM 2
גוגל לא בדיוק הגיעה עם נתוני ההדרכה של PaLM 2, מובן בהתחשב בכך שהם בדיוק שוחררו. אבל של גוגל דוח PaLM 2 [PDF] אכן אמר שהיא רוצה של-PaLM 2 תהיה הבנה מעמיקה יותר של מתמטיקה, לוגיקה ומדעים, ושחלק גדול מקורפוס ההדרכה שלה התמקד בנושאים אלה.
ובכל זאת, ראוי לציין ש-PaLM לא היה רפוי. מתי גוגל חשפה PaLM, היא אישרה שהיא הוכשרה על 540 מיליארד פרמטרים, שבאותה עת היה נתון אדיר.
לכאורה, ה-GPT-4 של OpenAI משתמש במעל טריליון פרמטרים, עם ספקולציות מסוימות שמעמידות את הנתון הזה על 1.7 טריליון. זה הימור בטוח שכפי שגוגל רוצה ש-PaLM 2 יתחרה ישירות עם ה-LLMs של OpenAI, הוא יציג, לכל הפחות, נתון דומה, אם לא יותר.
דחיפה משמעותית נוספת ל-PaLM 2 היא נתוני אימון השפה שלו. גוגל הכשירה את PaLM 2 בלמעלה מ-100 שפות כדי להעניק לו הבנה עמוקה וקונטקסטואלית יותר ולהגדיל את יכולות התרגום שלה.
אבל זה לא רק שפות מדוברות. קישור לדרישה של גוגל ל-PaLM 2 כדי לספק חשיבה מדעית ומתמטית טובה יותר, ה-LLM הוכשר גם ביותר מ-20 שפות תכנות, מה שהופך אותו לנכס פנומנלי עבור מתכנתים.
PaLM 2 כבר מפעיל את שירותי Google - אך עדיין דורש כוונון עדין
לא יעבור זמן רב עד שנוכל לשים את ידינו על PaLM 2 ולראות מה הוא יכול לעשות. עם קצת מזל, ההשקה של כל אפליקציות ושירותי PaLM 2 תהיה טובה יותר מבארד.
אבל אולי (טכנית!) השתמשת כבר ב-PaLM 2. גוגל אישרה ש-PaLM 2 כבר נפרס ונמצא בשימוש ב-25 מהמוצרים שלה, כולל Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets ועוד.
אבל הדו"ח של PaLM 2 גם מגלה שיש עדיין עבודה לעשות, במיוחד לקראת תגובות רעילות במגוון שפות.
לדוגמה, כאשר מקבלים הנחיות רעילות ספציפיות, PaLM 2 מייצר תגובות רעילות ביותר מ-30 אחוז מהמקרים. יתר על כן, בשפות ספציפיות - אנגלית, גרמנית ופורטוגזית - PaLM 2 סיפק תגובות רעילות יותר יותר מ-17 אחוז מהמקרים, כאשר הנחיות כוללות זהויות גזעיות ודתות דוחפות את הנתון הזה גבוה יותר.
לא משנה כמה חוקרים מנסים לנקות נתוני אימון LLM, זה בלתי נמנע שחלקם יחמוקו. השלב הבא הוא להמשיך לאמן את PaLM 2 כדי להפחית את התגובות הרעילות הללו.
זו תקופת פריחה עבור מודלים לשוניים גדולים
OpenAI לא הייתה הראשונה שהשיקה מודל שפה גדול, אבל דגמי ה-GPT-3, GPT-3.5 ו-GPT-4 שלה ללא ספק הדליקו את נייר המגע הכחול על בינה מלאכותית.
ל-PaLM 2 של גוגל יש כמה בעיות לתקן, אבל העובדה שהוא כבר נמצא בשימוש במספר שירותי גוגל מראה על האמון שיש לחברה ב-LLM האחרון שלה.
