כיצד להפעיל מודל שפה גדול בלינוקס (ולמה כדאי לך)

למודלים של שפה גדולים יש פוטנציאל לחולל מהפכה בדרך שבה אתם חיים ועובדים, והם יכולים לנהל שיחות ולענות על שאלות במידה משתנה של דיוק.

כדי להשתמש באחד, בדרך כלל תזדקק לחשבון אצל ספק LLM, ולהיכנס דרך אתר אינטרנט או אפליקציה ייעודית. אבל האם ידעת שאתה יכול להפעיל מודל שפה גדול משלך באופן לא מקוון לחלוטין בלינוקס?

למה להפעיל מודל שפה גדול בלינוקס?

מודלים של שפה גדולים (LLMs) נמצאים בכל מקום בימינו ויכולים לעבד שפה טבעית ולתת תגובות מתאימות שיכולות להטעות אותך לחשוב שאדם ענה. מיקרוסופט משיקה גרסה חדשה המופעלת על ידי AI של Bing, בעוד של אלפבית בארד הוא כעת חלק בלתי נפרד מחיפושי Google.

הרחק ממנועי חיפוש, אתה יכול להשתמש במה שנקרא "בצ'אט בוטים של AI" כדי לענות על שאלות, לחבר שירה, או אפילו לעשות עבורך שיעורי בית.

אבל על ידי גישה ל-LLMs מקוון, אתה תלוי ברצון הטוב של ספק צד שלישי - אותו ניתן לבטל בכל עת.

אתה גם כפוף להגבלות שימוש. בקשו מ-OpenAI לכתוב נובלה אירוטית בת 6,000 מילים המתרחשת בגרמניה הנאצית, למשל, ותקבלו תשובה בנוסח "אני מתנצל, אבל אני לא אוכל ליצור עבורכם את הסיפור הזה".

כל מה שאתה מזין ל-LLMs מקוונים משמש כדי להכשיר אותם עוד יותר, ונתונים שאולי תרצו לשמור עליהם חסויים עשויים להיות יורקים בעתיד כחלק מתגובה לשאלה של מישהו אחר.

אתה גם נתון לחוסר שירות מכיוון שהמערכת מוצפת במשתמשים, ומתנדנדת להירשם, כך שתוכל לגשת לפלטפורמה כשהביקוש גבוה.

Dalai היא יישום חינמי ופתוח של LLaMa LLM של Meta ושל Alpaca של סטנפורד. זה ירוץ בנוחות על חומרה צנועה ומספק ממשק אינטרנט שימושי ומגוון של תבניות פקודות - כך שתוכל לשאול כל דבר אתה רוצה, בלי לחשוש שמנהל מערכת עומד לסגור את חשבונך, ה-LLM יסרב לענות, או שהחיבור שלך עומד יְרִידָה.

כשאתה מתקין LLM באופן מקומי בלינוקס, זה שלך, ואתה יכול להשתמש בו איך שתרצה.

כיצד להתקין את דלאי על לינוקס

הדרך הקלה ביותר להתקין את Dalai על לינוקס היא להשתמש ב-Docker וב-Docker Compose. אם עדיין אין לך אותם, עיין במדריך שלנו כיצד לעשות זאת התקן את Docker ו- Docker Compose.

עם זה מחוץ לדרך, אתה מוכן להתחיל להתקין את Dalai. שכבו את מאגר ה- Dalai GitHub והשתמשו בפקודה cd כדי לעבור אליו:

שיבוט git https://github.com/cocktailpeanut/dalai.git && CD דלאי

כדי להפעיל את Dalai עם ממשק אינטרנט, ראשית, בנה את קובץ Docker Compose:

מבנה docker-compose

Docker Compose תוריד ותתקין את Python 3.11, Node Version Manager (NVM) ו-Node.js.

בשלב שבע מתוך תשע, נראה שה-build יקפא כאשר Docker Compose מוריד את Dalai. אל תדאג: בדוק את השימוש ברוחב הפס שלך כדי להרגיע את עצמך שמשהו קורה, וכן לדמות את האבולוציה של אורגניזמים וירטואליים בטרמינל שלך בזמן שאתה מחכה.

בסופו של דבר, תוחזר לשורת הפקודה.

דלאי ​​ודגמי LLaMa/Alpaca דורשים הרבה זיכרון כדי לרוץ. אמנם אין מפרט רשמי, אבל מדריך גס טוב הוא 4GB לדגם 7B, 8GB לדגם 13B, 16GB לדגם 30B ו-32GB לדגם 65B.

דגמי האלפקה קטנים יחסית, כאשר דגם ה-13B מגיע ל-7.6GB צנוע, אך משקלי ה-LAMA יכולים להיות עצומים: ההורדה המקבילה של 13B מגיעה ב-60.21GB, ודגם ה-65B יתפוס חצי טרה-בייט אפי על ה-hard שלך דִיסק.

החלט איזה דגם מתאים ביותר למשאבים שלך, והשתמש בפקודה הבאה כדי להתקין אותו:

docker-compose הפעל את dalai npx dalai alpaca התקנת 13B

אוֹ:

docker-compose הפעל את dalai npx dalai llama התקנת 13B

יש סיכוי שהדגמים שהורדו דרך דלאי יהיו פגומים. אם זה המקרה, תפוס אותם פנים מחבקות במקום זאת.

לאחר שחזרת לשורת הפקודה, העלה את Docker Compose במצב מנותק:

docker-compose up -ד

בדוק אם המיכל פועל כהלכה עם:

docker-compose ps

אם הכל עובד כמו שצריך, פתח דפדפן אינטרנט והיכנס מארח מקומי: 3000 בשורת הכתובת.

תהנה עם מודל שפה גדול משלך בלינוקס

כאשר ממשק האינטרנט ייפתח, תראה תיבת טקסט, שבה תוכל לכתוב את ההנחיות שלך.

כתיבת הנחיות אפקטיביות היא קשה, ומפתחי הדלאי סיפקו ביעילות מגוון תבניות שיעזרו לך לקבל תשובה שימושית מדלאי.

אלו הם AI-דיאלוג, צ'אטבוט, בְּרִירַת מֶחדָל, הוראה, לִכתוֹב מִחָדָשׁ, לתרגם, ו ציוץ-סנטימנט.

כפי שהיית מצפה, ה AI-דיאלוג ו צ'אטבוט תבניות בנויות בצורה המאפשרת לך לנהל שיחה מסוגים עם ה-LLM. ההבדל העיקרי בין השניים הוא שהצ'אטבוט אמור להיות "אינטיליגנטי ביותר", בעוד ש-AI-Dialog הוא "מועיל, אדיב, צייתן, ישר ויודע את הגבולות שלו".

כמובן, זה ה-AI שלך, ואם זה מוצא חן בעיניך, אתה יכול לשנות את ההנחיה כך שהצ'אטבוט יהיה מטומטם, ומאפייני הדיאלוג של AI הם "סדיסטים" ו"לא מועילים". זה תלוי בך.

בדקנו את לתרגם לתפקד על ידי העתקת פסקת הפתיחה של כתבת חדשות של ה-BBC ובקשת מדלאי לתרגם אותו לספרדית. התרגום היה טוב, וכשהרצנו אותו דרך Google Translate כדי להפוך אותו בחזרה לאנגלית, גילינו שהוא די קריא והדהד את העובדות והרגשות של היצירה המקורית.

כמו כן, ה לִכתוֹב מִחָדָשׁ התבנית סובבה את הטקסט בצורה משכנעת לפתיחה של מאמר חדש.

ה בְּרִירַת מֶחדָל ו הוראה ההנחיות בנויות כדי לעזור לך לשאול שאלות או להנחות ישירות את דלאי.

הדיוק של דלאי בתגובה ישתנה מאוד בהתאם לדגם שבו אתה משתמש. דגם 30B יהיה הרבה יותר שימושי מדגם 7B. אבל גם אז, אתה מזכיר ש-LLMs הן פשוט מערכות מתוחכמות לניחוש המילה הבאה במשפט.

לא דגמי האלפקה 7B או 13B הצליחו לספק סיכום מדויק בן 200 מילים של הסיפור הקצר, "חתול ב- גשם" מאת ארנסט המינגווי, ושניהם המציאו קווי עלילה ופרטים משכנעים ביסודיות על מה הסיפור הכיל.

ובעוד שדיאלוג הבינה המלאכותי "המועיל, האדיב, הצייתן, הישר" ש"יודע את גבולותיו" והצ'אטבוט "האינטיליגנטי ביותר" יתנגד הנחיות שנויות במחלוקת, אתה יכול לתת לדלאי הוראה ישירה או בקשת ברירת מחדל, והיא תכתוב מה שתרצה - איך שתרצה זה.

דגם שפה גדול במחשב הלינוקס שלך הוא שלך

על ידי הפעלת מודל שפה גדול על קופסת לינוקס משלך, אינך נתון לפיקוח או ביטול שירות. אתה יכול להשתמש בו איך שתמצא לנכון בלי לחשוש מהשלכות של הפרת מדיניות תוכן ארגונית.

אם משאבי המחשוב שלך מועטים, אתה יכול אפילו להפעיל LLM באופן מקומי על Raspberry Pi צנוע.