LangChain LLM הוא השיח החם של העיר. קבל סקירה כללית של מה זה ואיך אתה יכול להתחיל עם זה.
עם הצגת מודלים של שפה גדולה (LLMs), עיבוד שפה טבעית היה לשיחת האינטרנט. יישומים חדשים מפותחים מדי יום בשל LLMs כמו ChatGPT ו-LangChain.
LangChain היא מסגרת Python בקוד פתוח המאפשרת למפתחים לפתח יישומים המופעלים על ידי מודלים של שפות גדולות. היישומים שלה הם צ'אטבוטים, סיכום, תשאול ותשובות מחוללות ועוד רבים.
מאמר זה יספק מבוא ל-LangChain LLM. זה יכסה את המושגים הבסיסיים, איך זה בהשוואה למודלים של שפה אחרים, וכיצד להתחיל עם זה.
הבנת ה-LangChain LLM
לפני שתסביר איך LangChain עובד, ראשית, עליך להבין כיצד פועלים מודלים של שפה גדולים. מודל שפה גדול הוא סוג של בינה מלאכותית (AI) אשר משתמש בלמידה עמוקה לאמן את המודלים של למידת מכונה על נתונים גדולים המורכבים מנתוני טקסט, מספרים וקוד.
כמות הנתונים העצומה מאפשרת למודל ללמוד את הדפוסים והקשרים הקיימים בין מילים, דמויות וסמלים. תכונה זו מאפשרת לדגם לבצע מערך של משימות, כגון:
- הפקת טקסט, תרגום שפה, כתיבת תוכן יצירתי, טכני ואקדמי, ומענה מדויק ורלוונטי לשאלות.
- זיהוי עצמים בתמונות.
- סיכום של ספרים, מאמרים ועבודות מחקר.
המגבלה המשמעותית ביותר של LLMs היא שהדגמים כלליים מאוד. מאפיין זה אומר שלמרות יכולתם לבצע מספר משימות ביעילות, הם עשויים לפעמים לספק תשובות כלליות לשאלות או הנחיות הדורשות מומחיות וידע מעמיק בתחום במקום ספציפי תשובות.
פותחה על ידי האריסון צ'ייס בסוף 2022, מסגרת LangChain מציעה גישה חדשנית ללימודי LLM. התהליך מתחיל בעיבוד מקדים של טקסטים של מערך הנתונים על ידי פירוקם לחלקים קטנים יותר או סיכומים. הסיכומים מוטבעים לאחר מכן במרחב וקטורי. המודל מקבל שאלה, מחפש בסיכומים ומספק את המענה המתאים.
שיטת העיבוד המקדים של LangChain היא תכונה קריטית שאינה נמנעת כאשר LLMs הופכים חזקים יותר ועתירי נתונים. שיטה זו משמשת בעיקר במקרים של קוד וחיפוש סמנטי מכיוון שהיא מספקת איסוף ואינטראקציה בזמן אמת עם ה-LLMs.
LangChain LLM לעומת מודלים אחרים של שפה
הסקירה ההשוואתית הבאה שואפת להדגיש את התכונות והיכולות הייחודיות שמייחדות את LangChain LLM מדגמי שפה קיימים אחרים בשוק:
- זיכרון: למספר LLMs יש זיכרון קצר, מה שגורם בדרך כלל לאובדן הקשר אם ההנחיות חורגות ממגבלת הזיכרון. עם זאת, LangChain מספקת את ההנחיות והתגובות הקודמות בצ'אט, ופותרת את סוגיית מגבלות הזיכרון. היסטוריית ההודעות מאפשרת למשתמש לחזור על ההודעות הקודמות ל-LLM כדי לסכם את ההקשר הקודם.
- מיתוג LLM: בהשוואה ל-LLMs אחרים שנועלים את התוכנה שלך עם API של דגם בודד, LangChain מספקת הפשטה שמפשטת את המעבר של LLMs או שילוב מספר LLMs באפליקציה שלך. זה שימושי כאשר אתה רוצה לשדרג את יכולות התוכנה שלך באמצעות דגם קומפקטי, כגון StableLM של StableLM מ-GPT-3.5 של OpenAI.
- שילוב: שילוב LangChain באפליקציה שלך קל בהשוואה ל-LLMs אחרים. זה מספק זרימות עבודה בצנרת שרשראות ו סוכנים, המאפשר לך לשלב במהירות את LangChain באפליקציה שלך. במונחים של צינורות ליניאריים, שרשראות הן אובייקטים המחברים למעשה חלקים רבים. הסוכנים מתקדמים יותר, ומאפשרים לך לבחור כיצד הרכיבים יתקשרו באמצעות לוגיקה עסקית. לדוגמה, ייתכן שתרצה להשתמש בלוגיקה מותנית כדי לקבוע את דרך הפעולה הבאה בהתבסס על התוצאות של LLM.
- העברת נתונים: בשל האופי הכללי המבוסס על טקסט של LLMs, זה בדרך כלל מסובך להעביר נתונים למודל. LangChain פותר בעיה זו על ידי שימוש אינדקסים. אינדקסים מאפשרים לאפליקציה לייבא נתונים בפורמטים משתנים ולאחסן אותם באופן שמאפשר להגיש אותם שורה אחר שורה ל-LLM.
- תגובות: LangChain מספקת כלי מנתח פלט כדי לתת תשובות בפורמט מתאים בניגוד ל-LLMs אחרים שתגובת המודל שלהם מורכבת מטקסט כללי. בעת שימוש בבינה מלאכותית באפליקציה, עדיף שתהיה תגובה מובנית שתוכל לתכנת נגדה.
תחילת העבודה עם LangChain LLM
כעת תלמד כיצד ליישם את LangChain בתרחיש שימוש אמיתי כדי להבין איך זה עובד. לפני תחילת הפיתוח, עליך להגדיר את סביבת הפיתוח.
הגדרת סביבת הפיתוח שלך
ראשון, ליצור סביבה וירטואלית והתקן את התלות למטה:
- OpenAI: לשילוב GPT-3 API באפליקציה שלך.
- LangChain: כדי לשלב את LangChain באפליקציה שלך.
באמצעות pip, הפעל את הפקודה למטה כדי להתקין את התלות:
pipenv להתקין langchain openai
הפקודה למעלה מתקינה את החבילות ויוצרת סביבה וירטואלית.
ייבא את התלות המותקנות
ראשית, ייבא את המחלקות הנחוצות כגון LLMChain, OpenAI, ConversationChain, ו PromptTemplate מ ה langchain חֲבִילָה.
מ langchain יְבוּא ConversationChain, OpenAI, PromptTemplate, LLMChain
מ langchain.memory יְבוּא ConversationBufferWindowMemory
כיתות LangChain מתארות ומוציאות לפועל את שרשראות מודל השפה.
גישה למפתח API של OpenAI
לאחר מכן, קבל את מפתח ה-API של OpenAI. כדי לגשת למפתח ה-API של OpenAI, עליך להיות בעל חשבון OpenAI, ואז לעבור ל- פלטפורמת API של OpenAI.
בלוח המחוונים, לחץ על סמל הפרופיל. לאחר מכן, לחץ על הצג מפתחות API לַחְצָן.
לאחר מכן, לחץ על צור מפתח סודי חדש כדי לקבל מפתח API חדש.
הזן את השם המבוקש של מפתח ה-API.
תקבלו א מפתח סודי מיידי.
העתק ואחסן את מפתח ה-API במקום בטוח לשימוש עתידי.
פיתוח אפליקציה באמצעות LangChain LLM
כעת תמשיך לפתח אפליקציית צ'אט פשוטה באופן הבא:
# התאם אישית את תבנית LLM
תבנית = Assistant הוא מודל שפה גדול שהוכשר על ידי OpenAI.{הִיסטוֹרִיָה}
אנושי: {human_input}
עוֹזֵר:
prompt = PromptTemplate (input_variables=["הִיסטוֹרִיָה", "קלט_אנושי"], template=template)
לאחר מכן, תטען את שרשרת ChatGPT באמצעות מפתח ה-API שאחסנת קודם לכן.
chatgpt_chain = LLMChain(llm=OpenAI(openai_api_key="OPENAI_API_KEY",טמפרטורה=0),
prompt=prompt,
מילולי=נָכוֹן,
memory=ConversationBufferWindowMemory (k=2),
)
# חזה משפט באמצעות שרשרת chatgpt
output = chatgpt_chain.predict(
human_input="מה זה MakeUseOf?"
)
# הצג את תגובת הדגם
הדפסה (פלט)
קוד זה טוען את שרשרת LLM עם מפתח OpenAI API ותבנית ההנחיה. לאחר מכן מסופק קלט משתמש, והפלט שלו מוצג.
למעלה מופיע התפוקה הצפויה.
ההשפעה הגוברת של לימודי תואר שני
צריכת LLMs צומחת במהירות ומשנה את האופן שבו בני אדם מתקשרים עם מכונות ידע. מסגרות כמו LangChain הן בחזית לספק למפתחים דרך חלקה ופשוטה לשרת את ה-LLMs ליישומים. דגמי AI גנרטיביים כמו ChatGPT, Bard ו-Huging Face גם לא נשארים מאחור בקידום יישומי LLM.
