זה חדש יותר אבל איטי יותר. מה נותן?
עם הגרסה החדשה ביותר של ChatGPT, GPT-4, שפורסמה במרץ 2023, רבים תוהים כעת מדוע היא כל כך איטית בהשוואה לקודמו, GPT-3.5. אז מה הסיבה העיקרית כאן?
רק למה ChatGPT-4 כל כך איטי, והאם אתה צריך להיצמד ל-GPT-3.5 במקום זאת?
מה זה ChatGPT-4?
ChatGPT-4 הוא הדגם החדש ביותר של הצ'אטבוט של OpenAI, המכונה בדרך כלל ChatGPT. ChatGPT מופעל על ידי בינה מלאכותית, מה שמאפשר לו לענות על השאלות וההנחיות שלך הרבה יותר טוב מאשר צ'אטבוטים קודמים. ChatGPT משתמש במודל שפה גדול המופעל על ידי GPT (Generative Pre-trained Transformer) כדי לספק מידע ותוכן למשתמשים תוך יכולת לשוחח.
ל-ChatGPT מגוון רחב של יכולות, מה שהופך אותו לשימושי עבור מיליונים. לדוגמה, ChatGPT יכול לכתוב סיפורים, לנסח בדיחות, לתרגם טקסט, לחנך משתמשים ועוד. בעוד ש-ChatGPT יכול לשמש גם לפעולות לא חוקיות יותר, כגון יצירת תוכנות זדוניות, הרבגוניות שלו מהפכנית במקצת.
דגם ה-GPT-4 של ChatGPT שוחרר ב-14 במרץ 2023. גרסה זו של ChatGPT נועדה להבין טוב יותר שפה רגשית באמצעות טקסט תוך הבנה טובה יותר של דיאלקטים בשפות שונות ועיבוד תמונה. GPT-4 יכול גם לנהל שיחות ארוכות יותר ולהגיב ביעילות להנחיות ארוכות יותר של משתמשים.
בנוסף, הפרמטרים של GPT-4 עולים במידה רבה על אלה של GPT-3.5. הפרמטרים של ChatGPT קובעים כיצד ה-AI מעבד ומגיב למידע. בקיצור, פרמטרים קובעים את המיומנות שיש לצ'אטבוט ליצור אינטראקציה עם משתמשים. בעוד ל-GPT-3.5 יש 175 מיליארד פרמטרים, ל-GPT-4 יש 100 טריליון עד 170 טריליון מדהימים (שמועות - OpenAI לא אישרה את הנתון הזה).
זה היה ה-GPT-3.5 של OpenAI ששימש להפעלת ChatGPT, שהוא כעת צ'טבוט הבינה המלאכותית הפופולרי ביותר בעולם. אז, GPT-3.5 הטביע חותם שאין להכחישו בתחום הבינה המלאכותית. אבל דברים תמיד מתקדמים בתעשיית הטכנולוגיה, אז זה לא מפתיע של-GPT-3.5 יש כעת יורש ב-GPT-4.
עם זאת, GPT-4 אינו מושלם בשום פנים ואופן. למעשה, זמני התגובה הארוכים של GPT-4 מעוררים סערה רבה. אז בואו נבדוק את הנושא הזה ומדוע זה עלול לקרות.
ChatGPT-4 איטי
רבים שמו לב עם שחרורו של GPT-4 שהצ'אטבוט החדש של OpenAI היה איטי להפליא. זה הותיר עשרות משתמשים מתוסכלים, שכן GPT-4 נועד להיות עלייה מ-GPT-3.5, לא אחורה. כתוצאה מכך, משתמשי GPT-4 פנו לפלטפורמות מקוונות, כמו Reddit ומועצת הקהילה של OpenAI, כדי לדון בנושא.
עַל פורום הקהילה של OpenAI, מספר משתמשים התייצבו עם תסכולי השהיית GPT-4 שלהם. משתמש אחד הצהיר ש-GPT-4 היה "איטי במיוחד" בצד שלהם ושגם בקשות קטנות שנשלחו לצ'אטבוט גרמו לעיכובים ארוכים במיוחד של למעלה מ-30 שניות.
משתמשים אחרים מיהרו לחלוק את החוויות שלהם עם GPT-4, כאשר אחד מהם הגיב מתחת לפוסט כי "אותה שיחה עם אותם נתונים יכולה לקחת עד פי 4 לאט יותר מ-3.5 טורבו".
באחר פוסט בפורום קהילת OpenAI, משתמש העיר שההנחיות שלו נתקלות לפעמים בסימן "שגיאה בזרם הגוף" הודעה, וכתוצאה מכך אין תגובה. באותו שרשור, אדם אחר אמר שהוא לא יכול לגרום ל-GPT-4 "להגיב בהצלחה עם סקריפט שלם." משתמש אחר ציין שהם לא הפסיקו להיתקל בשגיאות רשת בזמן שניסה להשתמש GPT-4.
עם עיכובים ותגובות כושלות או חצי אפויות, נראה ש-GPT-4 עמוס בבעיות שדוחות את המשתמשים במהירות.
אז למה, בדיוק, זה קורה? האם יש משהו לא בסדר עם GPT-4?
מדוע GPT-4 איטי בהשוואה ל-GPT-3.5?
בפוסט של פורום קהילת OpenAI שהוזכר לעיל, משתמש אחד הגיב והציע שהעיכוב נובע מ"בעיה נוכחית עם כל התשתית עומס יתר", והוסיף כי קיים אתגר ב"התמודדות עם מדרגיות בתוך מסגרת זמן כה קצרה עם הפופולריות הזו ומספר המשתמשים של הצ'אט וגם ממשק API."
ב פוסט Reddit שהועלה ב-r/singularity subreddit, משתמש הציג כמה סיבות אפשריות לאיטיות של GPT-4, החל מגודל הקשר גדול יותר. בתוך המערכת האקולוגית של GPT, גודל ההקשר מתייחס לכמות המידע שגרסת צ'אט בוט נתונה יכולה לעבד ולאחר מכן לייצר מידע. בעוד שגודל ההקשר של GPT-3.5 היה 4K, הגודל של GPT-4 הוא כפול מזה. לכן, גודל הקשר של 8K עשוי להשפיע על המהירויות הכוללות של GPT-4.
המחבר של Reddit גם הציע כי יכולת ההיגוי והשליטה המשופרת של GPT-4 יכולים לשחק תפקיד בזמני העיבוד של הצ'אטבוט. כאן, המחבר קבע כי יכולת ההיגוי והשליטה הגדולה יותר של GPT-4 בהזיות ובלתי הולמת השפה עשויה להיות האשמים, שכן תכונות אלו מוסיפות שלבים נוספים לשיטת העיבוד של GPT-4 מֵידָע.
יתר על כן, הוצע כי היכולת של GPT-4 לעבד תמונות עשויה להאט את הקצב. תכונה שימושית זו אהובה על רבים אך יכולה לבוא עם מלכוד. בהתחשב בשמועות ש-GPT-4 לוקח 10-20 שניות לעבד תמונה שסופקה, יש סיכוי שרכיב זה הוא מאריך את זמני התגובה (אם כי זה לא מסביר את העיכובים שחווים משתמשים המספקים הודעות טקסט בלבד).
משתמשים אחרים הציעו שהחדשות של ChatGPT-4 משחקת תפקיד גדול בעיכובים אלה. במילים אחרות, יש מי שחושב שהצ'אטבוט החדש ביותר של OpenAI צריך לחוות כמה כאבי גדילה לפני שניתן יהיה לגהץ את כל הפגמים.
אבל הסיבה הגדולה ביותר לכך ש-GPT-4 איטי היא מספר הפרמטרים ש-GPT-4 יכול להפעיל מול GPT-3.5. ה עלייה פנומנלית בפרמטרים פשוט אומרת שלוקח למודל GPT החדש יותר זמן לעבד מידע ולהגיב בצורה מדויקת. אתה מקבל תשובות טובות יותר עם מורכבות מוגברת, אבל להגיע לשם לוקח קצת יותר זמן.
האם לבחור GPT-3.5 על פני GPT-4?
אז, עם הבעיות האלה בחשבון, כדאי להשתמש GPT-3.5 או GPT-4?
בזמן כתיבת שורות אלה, נראה ש-GPT-3.5 היא האפשרות המושלמת יותר על פני GPT-4. כל כך הרבה משתמשים חוו עיכובים שסביר להניח שבעיית הזמן קיימת בכל רחבי הלוח, לא רק עם כמה אנשים. לכן, אם ChatGPT-3.5 עומד כרגע בכל הציפיות שלך, ואתה לא רוצה לחכות לתגובה בתמורה לתכונות נוספות, ייתכן שיהיה חכם להיצמד לגרסה הזו לעת עתה.
עם זאת, כדאי לשים לב ש-GPT-4 הוא לא רק GPT-3.5 אלא איטי יותר. לגרסה זו של הצ'אטבוט של OpenAI יש יתרונות רבים על פני קודמתה. אם אתם מחפשים צ'אטבוט AI מתקדם יותר ולא אכפת לכם לחכות יותר לתגובות, אולי כדאי לעבור מ-GPT-3.5 ל-GPT-4.
עם הזמן, העיכובים של GPT-4 עשויים להצטמצם או להיפתר לחלוטין, אז סבלנות יכולה להיות מעלה כאן. בין אם אתה מנסה לעבור ל-GPT-4 עכשיו או לחכות עוד קצת כדי לראות איך הדברים מסתדרים עם הגרסה הזו, אתה עדיין יכול להפיק הרבה מהצ'אטבוט הקטן והחמוד של OpenAI.
GPT-4 מתקדם יותר אבל מגיע עם פיגור
בעוד ל-GPT-4 יש יכולות מתקדמות רבות על פני GPT-3.5, העיכובים המשמעותיים ושגיאות התגובה שלו הפכו אותו לבלתי שמיש לחלקם. בעיות אלו עשויות להיפתר בעתיד הקרוב, אך לעת עתה, ל-GPT-4 בהחלט יש כמה מכשולים להתגבר עליהם לפני שהוא יתקבל בקנה מידה רחב יותר.