כיצד להשתמש ב-Chatbot Arena כדי להשוות בין ה-LLMs הטובים ביותר

עם מספר צ'אטבוטים זמינים באינטרנט, זה יכול להיות קשה מאוד לבחור את זה שעונה על הצרכים שלך. למרות שאתה יכול להשוות כל שני צ'אטבוטים באופן ידני, זה ייקח הרבה זמן ומאמץ.

דרך טובה ופשוטה יותר היא להשתמש ב-Chatbot Arena כדי להשוות בין ה-LLMs השונות שמפעילים צ'אטבוטים פופולריים. הוא מציע כמה מצבים להשוואה בין הדגמים השונים, אותם נסביר להלן.

מה זה צ'אטבוט ארנה?

צ'אטבוט ארנה, שנוצרה על ידי LMSYS Org, היא פלטפורמה להשוואת רמות LLM שונות. היא משתמשת במערכת Elo Rating כדי לדרג את הדגמים השונים.

Chatbot Arena מציע מספר דרכים למשתמשים להשוות ולדרג LLMs. בהתבסס על המשוב שנשלח, Chatbot Arena מדרג את ה-LLMs השונים ב-Leaderboard הציבורי. הפרויקט ממומן על ידי HuggingFace, חלופה בקוד פתוח ל-ChatGPT.

כיצד להשוות LLMs אנונימיים עם Chatbot Arena

מצב הקרב של Chatbot Arena מאפשר לך להשוות LLMs באופן אנונימי. למשל, אתה יכול השוו את ChatGPT (GPT 3.5) וקלוד. המשמעות היא ש-Chatbot Arena בעצמה בוחרת כל שני דגמי שפות, ומבלי לחשוף את שמם, מאפשרת לך להשוות ביניהם.

כשאתה נכנס להנחיה הראשונה, Chatbot Arena מביא תגובות משני הדגמים, ומציג אותן זו לצד זו. הפלטפורמה מאפשרת לך ליצור מחדש תגובות (לשני LLMs) ולנקות היסטוריה כדי להתחיל שיחה אחרת. אתה יכול להמשיך לשאול שאלות נוספות עד שתבחר זוכה ברור.

לאחר מכן, אתה יכול לבחור אם דגם A טוב יותר או B. בבחירת המנצח, Chatbot Arena חושף את שמות שני הבוטים. מצב זה עובד מצוין מכיוון שההחלטה שלך אינה מושפעת מהתפיסה הקודמת שלך או מהפופולריות של הדגמים. Chatbot Arena גם מאפשר לך להתאים פרמטרים כמו טמפרטורה, Top P ואסימוני פלט מקסימליים.

כיצד להשוות LLMs נבחרים עם Chatbot Arena

אם אתה רוצה להשוות בין שני LLMs ספציפיים, אתה יכול לעבור למצב זה לצד זה של Chatbot Arena. מלבד העובדה שאתה יכול לבחור את ה-LLMs בעצמך, מצב זה עובד כמעט כמו מצב קרב. אתה יכול להתאים פרמטרים, ליצור מחדש תגובות, לנקות היסטוריה ולבחור מנצח בסופו של דבר.

עם זאת, מספר ה-LLMs הזמינים במצב זה מוגבל. אתה יכול לבחור גרסאות שונות של Llama 2, Vicuna ו-ChatGLM. למרות שה-LLMs הפופולריים, כמו GPT-4, GPT-3.5, Claude 1, Claude 2 וכו', אינם זמינים כרגע במצב זה, Chatbot Arena מתכננת להוסיף אותם.

השווה LLMs באמצעות Chatbot Arena

בין אם אתה מחפש למצוא צ'אט בוט מתאים לצרכים שלך או סתם רוצה לבדוק LLMs שונים, Chatbot Arena היא פלטפורמה נהדרת.

הוא מספק דרך פשוטה להשוות מודלים שונים של שפה זה לצד זה. ומכיוון שהוא שומר על לוח הישגים המבוסס על משוב של משתמשים, אתה יכול לראות ישירות את הדירוגים של דגמים שונים מבלי להריץ את הבדיקות בעצמך.