פלטפורמת TensorFlow של גוגל מאפשרת למשתמשים שלה לאמן AI על ידי אספקת כלים ומשאבים ללמידת מכונה. במשך זמן רב, מהנדסי בינה מלאכותית השתמשו במעבדים ו-GPUs מסורתיים כדי לאמן בינה מלאכותית. למרות שמעבדים אלה יכולים להתמודד עם תהליכי למידת מכונה שונים, הם עדיין חומרה למטרות כלליות המשמשות למשימות יומיומיות שונות.
כדי להאיץ את אימון הבינה המלאכותית, גוגל פיתחה מעגל משולב ליישום ספציפי (ASIC) המכונה יחידת עיבוד טנזור (TPU). אבל, מהי יחידת עיבוד טנזור, וכיצד הם מזרזים את תכנות הבינה המלאכותית?
מהן יחידות עיבוד טנזור (TPU)?
יחידות עיבוד טנזור הן של גוגל ASIC ללמידת מכונה. TPUs משמשים במיוחד ללמידה עמוקה כדי לפתור פעולות מטריצות וקטוריות מורכבות. TPUs הם יעילים כדי לפתור פעולות מטריקס וקטור במהירויות גבוהות במיוחד, אך יש לשייך אותם למעבד כדי לתת ולבצע הוראות. ניתן להשתמש ב-TPUs רק עם Google פלטפורמת TensorFlow או TensorFlow Lite, אם באמצעות מחשוב ענן או גרסת הלייט שלו על חומרה מקומית.
יישומים עבור TPUs
גוגל משתמשת ב-TPU מאז 2015. הם גם אישרו את השימוש במעבדים החדשים הללו לעיבוד טקסט של Google Street View, Google Photos ותוצאות החיפוש של Google (Rank Brain), כמו כמו גם ליצור בינה מלאכותית הידועה בשם AlphaGo, שניצחה את שחקני Go מובילים ואת מערכת AlphaZero שניצחה מול תוכניות מובילות בשחמט, Go ו שוגי.
TPUs יכולים לשמש ביישומי למידה עמוקה שונים כגון זיהוי הונאה, ראייה ממוחשבת, שפה טבעית עיבוד, מכוניות בנהיגה עצמית, בינה מלאכותית ווקאלית, חקלאות, עוזרים וירטואליים, מסחר במניות, מסחר אלקטרוני ומגוון חברתי תחזיות.
מתי להשתמש ב-TPUs
מכיוון ש-TPUs הם חומרה מתמחה במיוחד ללמידה עמוקה, הוא מאבד הרבה פונקציות אחרות שאתה בדרך כלל מצפה ממעבד לשימוש כללי כמו מעבד. עם זאת בחשבון, ישנם תרחישים ספציפיים שבהם שימוש ב-TPUs יניב את התוצאה הטובה ביותר בעת אימון AI.
הזמן הטוב ביותר להשתמש ב-TPU הוא עבור פעולות שבהן מודלים מסתמכים במידה רבה על חישובי מטריקס, כמו מערכות המלצות למנועי חיפוש. TPUs גם מניבים תוצאות מצוינות עבור מודלים שבהם ה-AI מנתח כמויות אדירות של נקודות נתונים שייקח מספר שבועות או חודשים להשלמתם. מהנדסי בינה מלאכותית משתמשים ב-TPU למקרים ללא דגמי TensorFlow מותאמים אישית וצריכים להתחיל מאפס.
מתי לא להשתמש ב-TPUs
כפי שצוין קודם לכן, האופטימיזציה של TPUs גורמת לסוגים אלה של מעבדים לעבוד רק על פעולות עומס עבודה ספציפיות. לכן, ישנם מקרים שבהם בחירה להשתמש במעבד ו-GPU מסורתיים תניב תוצאות מהירות יותר. מקרים אלה כוללים:
- אב טיפוס מהיר עם גמישות מרבית
- מודלים מוגבלים על ידי נקודות הנתונים הזמינות
- דגמים פשוטים וניתנים לאימון מהיר
- דגמים מכבידים מכדי לשנות
- מודלים הנשענים על פעולות TensorFlow מותאמות אישית שנכתבו ב-C++
גרסאות ומפרט TPU
מאז שגוגל הכריזה על TPUs שלה, הציבור עודכן ללא הרף לגבי הגרסאות האחרונות של TPUs והמפרטים שלהן. להלן רשימה של כל גרסאות ה-TPU עם מפרטים:
| TPUv1 | TPUv2 | TPUv3 | TPUv4 | Edgev1 | |
|---|---|---|---|---|---|
| תאריך הצגתו | 2016 | 2017 | 2018 | 2021 | 2018 |
| צומת תהליך (ננומטר) | 28 | 16 | 16 | 7 | |
| גודל תבנית (מ"ר) | 331 | <625 | <700 | <400 | |
| זיכרון על שבב | 28 | 32 | 32 | 144 | |
| מהירות שעון (MHz) | 700 | 700 | 940 | 1050 | |
| תצורת הזיכרון הקטן ביותר (GB) | 8 DDR3 | 16 HBM | 32 HBM | 32 HBM | |
| TDP (וואט) | 75 | 280 | 450 | 175 | 2 |
| TOPS (Tera Operations Per Second) | 23 | 45 | 90 | ? | 4 |
| TOPS/W | 0.3 | 0.16 | 0.2 | ? | 2 |
כפי שאתה יכול לראות, מהירויות השעון של TPU לא נראות כל כך מרשימות, במיוחד כאשר מחשבים שולחניים מודרניים כיום יכולים לקבל מהירויות שעון מהירות פי 3-5. אבל אם אתה מסתכל על שתי השורות התחתונות של הטבלה, אתה יכול לראות ש-TPUs יכולים לעבד 23-90 טרה-פעולות בשנייה תוך שימוש בהספק של 0.16-0.3 וואט בלבד. ההערכה היא כי TPUs מהירים פי 15-30 ממעבדי CPU ו-GPU מודרניים בעת שימוש בממשק רשת עצבית.
עם כל גרסה שפורסמה, TPUs חדשים יותר מציגים שיפורים ויכולות משמעותיים. הנה כמה דגשים לכל גרסה.
- TPUv1: ה-TPU הראשון שהוכרז בפומבי. עוצב כמנוע כפל מטריצה של 8 סיביות ומוגבל לפתרון מספרים שלמים בלבד.
- TPUv2: מאז שהמהנדסים ציינו ש-TPUv1 מוגבל ברוחב הפס. לגרסה זו יש כעת רוחב פס כפול של זיכרון עם 16GB של זיכרון RAM. גרסה זו יכולה כעת לפתור נקודות צפות מה שהופך אותה לשימושית לאימון והסקת מסקנות.
- TPUv3: ל-TPUv3, שיצא ב-2018, יש פי שניים מהמעבדים והוא פרוס עם פי ארבעה שבבים מ-TPUv2. השדרוגים מאפשרים לגרסה זו לקבל ביצועים פי שמונה לעומת גרסאות קודמות.
- TPUv4: זוהי הגרסה האחרונה של TPU שהוכרזה ב-18 במאי 2021. מנכ"ל גוגל הודיע שלגרסה זו תהיה ביצועים פי שניים יותר מ-TPU v3.
- Edge TPU: גרסת TPU זו מיועדת לפעולות קטנות יותר הממוטבות לשימוש בפחות חשמל מאשר גרסאות אחרות של TPU בפעולה הכוללת. למרות שמשתמשים רק בשני וואט כוח, Edge TPU יכול לפתור עד ארבע פעולות שטח בשנייה. Edge TPU נמצא רק במכשירי כף יד קטנים כמו הסמארטפון Pixel 4 של גוגל.
איך אתה ניגש ל-TPUs? מי יכול להשתמש בהם?
TPUs הם יחידות עיבוד קנייניות שתוכננו על ידי Google לשימוש עם פלטפורמת TensorFlow שלה. גישה של צד שלישי למעבדים אלה מותרת מאז 2018. כיום, TPUs (למעט Edge TPUs) ניתן לגשת רק דרך Google שירותי מחשוב דרך הענן. בעוד שחומרת Edge TPU ניתנת לרכישה דרך הסמארטפון Pixel 4 של גוגל וערכת האב-טיפוס שלו הידועה בשם Coral.
Coral הוא מאיץ USB המשתמש ב-USB 3.0 Type C עבור נתונים וכוח. הוא מספק למכשיר שלך מחשוב Edge TPU המסוגל ל-4 TOPS עבור כל 2W של הספק. ערכה זו יכולה לפעול על מכונות המשתמשות ב-Windows 10, macOS ו-Debian Linux (היא יכולה לעבוד גם עם Raspberry Pi).
מאיצי AI מיוחדים אחרים
עם הבינה המלאכותית שהשתוללה בעשור האחרון, ביג טק מחפשת כל הזמן דרכים להפוך למידת מכונה מהירה ויעילה ככל האפשר. למרות שה-TPUs של גוגל הם ללא ספק ה-ASIC הפופולרי ביותר שפותח ללמידה עמוקה, חברות טכנולוגיה אחרות כמו אינטל, מיקרוסופט, עליבאבא וקוואלקום פיתחו גם מאיצי AI משלהן. אלה כוללים את Microsoft Brainwave, Intel Neural Compute Stick ו- IPU (Intelligence Processing Unit) של Graphicore.
אבל בעוד חומרת בינה מלאכותית מפותחת, למרבה הצער, רובן עדיין לא זמינות בשוק, ורבים לעולם לא יהיו זמינים. נכון לכתיבת שורות אלו, אם אתה באמת רוצה לקנות חומרת מאיץ בינה מלאכותית, האפשרויות הפופולריות ביותר הן רכישת ערכת אב טיפוס של קורל, אינטל NCS, Graphicore Bow Pod או מאיץ AI של Asus IoT. אם אתה רק רוצה גישה לחומרת AI מיוחדת, אתה יכול להשתמש בשירותי מחשוב הענן של גוגל או בחלופות אחרות כמו Microsoft Brainwave.