אתה יכול לבדוק צ'אטבוטים שונים של AI כדי לקבוע מה עובד הכי טוב. אבל איך כדאי לעשות זאת? הנה כמה גורמים מרכזיים שיש לקחת בחשבון.
בינה מלאכותית עברה דרך ארוכה מלהפיק פלט לא רלוונטי ולא קוהרנטי. צ'אטבוטים מודרניים משתמשים במודלים מתקדמים של שפה העונים על שאלות ידע כלליות, מחברים מאמרים ארוכים וכותבים קוד, בין שאר המשימות המורכבות.
למרות ההתקדמות הללו, שימו לב שגם למערכות המתוחכמות ביותר יש מגבלות. AI עדיין עושה טעויות. כדי לקבוע אילו צ'אטבוטים הכי פחות נוטים להזיות, בדוק את דיוקם על סמך גורמים אלו.
1. ספרות
הפעל משוואות מתמטיות באמצעות צ'אטבוטים. הם יבחנו את יכולת הפלטפורמה לנתח בעיות מילים, לתרגם מושגים מתמטיים וליישם נוסחאות נכונות. רק כמה דגמים מפגינים ספירה אמינה. למעשה, אחד מהם הבעיות הגרועות ביותר של ChatGPT במהלך החודשים הראשונים שלו היו ההבנה הנוראית במתמטיקה.
התמונה למטה מציגה כשל ב-ChatGPT בסטטיסטיקה בסיסית.
ChatGPT הראה שיפור לאחר מכן OpenAI הוציאה את העדכונים שלה במאי 2023. אבל בהתחשב במערכי הנתונים המוגבלים שלו, עדיין תהיה לך בעיה עם חישובים מתמטיים בינוניים עד מתקדמים.
בינתיים, Bing Chat ו-Google Bard מציגים יכולת חישוב טובה יותר. הם מריצים שאילתות דרך מנועי החיפוש שלהם, ומאפשרים להם לשלוף נוסחאות ודפי תשובות.
נסה לנסח מחדש את בעיות המילים שלך. הימנע ממשפטים ארוכים והחלף פעלים חלשים; אחרת, צ'אטבוטים עלולים לא להבין את השאלות שלך.
2. הֲבָנָה
מערכות AI מודרניות יכולות לקחת על עצמן מספר משימות. LLMs מתקדמים מאפשרים להם לשמור הוראות קודמות ולענות להנחיות לפי סעיף, בעוד שמערכות ישנות יותר מעבדות פקודות יחיד. לדוגמה, סירי עונה על שאלה אחת בכל פעם.
הזן צ'אטבוטים שלוש עד חמש משימות בו זמנית כדי לבדוק עד כמה הם מנתחים הנחיות מורכבות. מודלים פחות מתוחכמים לא יכולים לעבד כל כך הרבה מידע. התמונה למטה מציגה תקלה של HuggingChat בהודעה בת שלושה שלבים - היא נעצרת בשלב הראשון וחורגת מהנושא.
השורות האחרונות של HuggingChat כבר אינן קוהרנטיות.
ChatGPT משלים במהירות את אותה הנחיה, ומייצר תגובות חכמות נטולות שגיאות בכל שלב.
Bing Chat מספק תשובה מרוכזת לשלושת השלבים. ההגבלות הנוקשות שלו אוסרות תפוקות ארוכות שלא לצורך שמבזבזות כוח עיבוד.
3. עמידה בזמנים
מכיוון שהכשרת AI עולה משאבים אדירים, רוב המפתחים מגבילים מערכי נתונים לתקופות ספציפיות. קח את ChatGPT כדוגמה. יש לו חתך ידע של ספטמבר 2021 - אתה לא יכול לבקש עדכוני מזג אוויר, דיווחים חדשותיים או התפתחויות אחרונות. הנה ChatGPT אומר שאין לו גישה למידע בזמן אמת.
לבארד יש גישה לאינטרנט. הוא שואב נתונים מ-SERPs של Google, כך שתוכל לשאול מגוון רחב יותר של שאלות, למשל אירועים אחרונים, חדשות ותחזיות.
כמו כן, Bing Chat שואב מידע בזמן אמת ממנוע החיפוש שלו.
Bing Chat ובארד מספקים מידע עדכני בזמן, אך האחרון מספק תשובות מפורטות יותר. בינג רק מציג נתונים כפי שהם. תבחין שהפלטים שלו תואמים לרוב את הניסוח והטון של המקורות המקושרים שלו מילה במילה.
4. רלוונטיות
צ'אטבוטים חייבים לספק פלטים רלוונטיים. הם צריכים לשקול את המשמעות המילולית והקונטקסטואלית של ההנחיות שלך כאשר הם מגיבים. קח את השיחה הזו כדוגמה. האישיות שלנו צריכה טלפון חדש, אבל יש רק $1,000 - ChatGPT לא חורג מהתקציב.
בעת בדיקת הרלוונטיות, נסה ליצור הוראות ארוכות. צ'אטבוטים פחות מתוחכמים נוטים לצאת בשיקון כשהם מוזנים בהוראות מבלבלות. לדוגמה, HuggingChat יכול לחבר סיפורים בדיוניים. אבל זה עלול לסטות מהנושא המרכזי אם תגדיר יותר מדי כללים והנחיות.
5. זיכרון הקשרי
זיכרון הקשר עוזר לבינה מלאכותית לייצר פלט מדויק ואמין. במקום לקחת את השאלות שלך כערך נקוב, הם מחברים את הפרטים שאתה מזכיר. קח את השיחה הזו כדוגמה. Bing Chat מחבר בין שתי הודעות נפרדות כדי ליצור תגובה מועילה ותמציתית.
כמו כן, זיכרון הקשר מאפשר לצ'אטבוטים לזכור הוראות. תמונה זו מציגה את ChatGPT מחקה את האופן שבו דמות בדיונית מדברת לאורך מספר צ'אטים.
בדוק את הפונקציה הזו בעצמך על ידי התייחסות עקבית להצהרות קודמות. הזינו צ'אטבוטים במידע אחר, ואז הכריח אותם לזכור אותם בתגובות מאוחרות יותר.
הזיכרון ההקשרי מוגבל. Bing Chat מתחיל שיחות חדשות כל 20 סיבובים, בעוד ש-ChatGPT לא יכול לעבד הנחיות של למעלה מ-3,000 אסימונים.
6. מגבלות אבטחה
AI לא תמיד עושה כמתוכנן. אימון לקוי עלול לגרום טכנולוגיות למידת מכונה כדי לבצע טעויות שונות, משגיאות מתמטיקה קלות ועד להערות בעייתיות. לקחת מיקרוסופט טיי לדוגמא. משתמשי טוויטר ניצלו את מודל הלמידה הבלתי מפוקח שלה והתנו אותו באמירת השמצות גזעיות.
למרבה המזל, מנהיגי טכנולוגיה גלובליים למדו מהטעות של מיקרוסופט. למרות חסכונית ונוחה, למידה ללא פיקוח משאירה מערכות AI מועדות להטעיה. לפיכך, מפתחים מסתמכים בעיקר על למידה מפוקחת בימינו. צ'אטבוטים אוהבים ChatGPT עדיין לומד משיחות, אבל המאמנים שלהם מסננים מידע קודם.
צפו להנחיות שונות מחברות בינה מלאכותית. ההגבלות הפחות נוקשות של ChatGPT מתאימות למגוון רחב יותר של משימות, אך הן חלשות מפני ניצול. בינתיים, Bing Chat עוקב אחר מגבלות מחמירות יותר. בעוד שהם עוזרים להילחם בניסיונות ניצול, הם גם פוגעים בפונקציונליות. Bing מכבה אוטומטית שיחות שעלולות להזיק.
7. הטיות AI
AI הוא ניטרלי מטבעו. חוסר ההעדפות והרגשות שלו גורם לו להיות לא מסוגל לגבש דעות - הוא רק מציג מידע שהוא יודע. הנה איך ChatGPT מגיב לנושאים סובייקטיביים.
למרות הנייטרליות הזו, הטיות AI עדיין מתעוררים. הם נובעים מהדפוסים, מערכי הנתונים, האלגוריתמים והמודלים שבהם מפתחים משתמשים. AI אולי חסר פניות, אבל בני אדם לא.
לדוגמה, מוסד ברוקינגס טוען ש-ChatGPT מפגין הטיות פוליטיות שמאלניות. OpenAI מכחישה את ההאשמות הללו, כמובן. אבל כדי להימנע מבעיות דומות עם דגמים חדשים יותר, ChatGPT נמנע לחלוטין מתפוקות דעתניות.
כמו כן, Bing Chat נמנע מעניינים סובייקטיביים רגישים.
הערכת הטיות בינה מלאכותית על ידי שאילת שאלות פתוחות מבוססות דעה. דברו על נושאים ללא תשובה נכונה או שגויה - צ'אטבוטים פחות מתוחכמים סביר להניח שיציגו העדפות חסרות בסיס כלפי קבוצות ספציפיות.
8. הפניות
בינה מלאכותית ממעטת לבדוק עובדות. הוא רק שואב מידע ממערכי הנתונים שלו ומנסח אותם מחדש באמצעות מודלים של שפות. למרבה הצער, אימון מוגבל גורם להזיות בינה מלאכותית. אתה עדיין יכול להשתמש בכלי AI גנרטיביים למחקר, אבל וודא שאתה מאמת עובדות בעצמך. קח את הפלט עם גרגר מלח.
Bing Chat מפשט את תהליך בדיקת העובדות על ידי רישום ההפניות שלו לאחר כל פלט.
בארד AI אינו מפרט את המקורות שלו, אלא מייצר הסברים מעודכנים ומעמיקים על ידי הפעלת שאילתות חיפוש של Google. תקבל את הנקודות העיקריות מ-SERPs.
ChatGPT נוטה לאי דיוקים. גזירת הידע שלו לשנת 2021 מונעת ממנו לענות על שאלות על אירועים ותקריות אחרונות.
צור דרכים חדשות לבדיקת דיוק צ'אטבוטים
בינה מלאכותית היא לא הכל והסוף של הטכנולוגיה. בעוד שמערכות AI מתוחכמות ומודלים של שפה מבצעים הישגים מרשימים, הם גם מבצעים שגיאות וחוסר עקביות. צפה בצ'אטבוטים בספקנות. אתה יכול להשתמש בפלטפורמות מונעות בינה מלאכותית רק אם אתה מבין את הפונקציות והמגבלות שלהן.
למרות שיש עשרות צ'אטבוטים על פני פלטפורמות, האמינות והדיוק שלהם עלולים לאכזב אותך. אתה רק תבזבז זמן בבדיקתם. כדי להבטיח תוצאות איכותיות, אנו מציעים להתמקד בשלושת הדגמים החזקים ביותר בשוק: ChatGPT, Bing AI ו-Google Bard.
