מהו המנוע העצבי של אפל וכיצד הוא פועל?

האייפון, האייפד, ה-Mac וה-Apple TV שלך עושים שימוש ביחידת עיבוד עצבית מיוחדת בשם Apple Neural Engine (ANE) שהיא הרבה יותר מהירה וחסכונית באנרגיה מהמעבד או ה-GPU.

ANE מאפשר תכונות מתקדמות במכשיר כגון עיבוד שפה טבעית וניתוח תמונה מבלי להיכנס לענן או להשתמש בכוח מופרז.

בואו נחקור איך ANE עובדת וההתפתחות שלה, כולל ההסקה והאינטליגנציה שהיא נותנת בפלטפורמות של אפל וכיצד מפתחים יכולים להשתמש בה באפליקציות של צד שלישי.

מהו Apple Neural Engine (ANE)?

Apple Neural Engine הוא שם שיווקי לאשכול של ליבות מחשוב מיוחדות במיוחד, המותאמות לביצוע חסכוני באנרגיה של רשתות עצביות עמוקות במכשירי אפל. הוא מאיץ אלגוריתמים של למידת מכונה (ML) ובינה מלאכותית (AI), ומציע יתרונות אדירים של מהירות, זיכרון וכוח על פני המעבד הראשי או ה-GPU.

ANE הוא חלק גדול מהסיבה שהמכשירים העדכניים ביותר של מכשירי האייפון, האייפדים, ה-Mac ומכשירי ה-Apple TV מגיבים ואינם מתחממים במהלך חישובי ML ו-AI כבדים. למרבה הצער, לא לכל מכשירי אפל יש ANE - ה-Apple Watch, מחשבי Mac מבוססי אינטל ומכשירים ישנים מ-2016 חסר אחד.

ה-ANE הראשון שהופיע בשבב A11 של אפל ב-iPhone X של 2017 היה חזק מספיק כדי לתמוך ב-Face ID וב-Animoji. לשם השוואה, ה-ANE העדכני ביותר בשבב A15 Bionic מהיר פי 26 מהגרסה הראשונה. כיום, ANE מאפשרת תכונות כמו Siri במצב לא מקוון, ומפתחים יכולים להשתמש בה כדי להריץ דגמי ML שעברו הכשרה, ולשחרר את המעבד וה-GPU להתמקד במשימות שמתאימות להם יותר.

כיצד פועל המנוע העצבי של אפל?

ANE מספקת בקרה ולוגיקה אריתמטית אופטימלית לביצוע פעולות מחשוב נרחבות כמו כפל ו צבירה, בשימוש נפוץ באלגוריתמים של ML ו-AI כגון סיווג תמונות, ניתוח מדיה, תרגום מכונה, ו יותר.

לפי הפטנט של אפל תחת הכותרת "מנוע מישורי רב-מצבי למעבד עצבי", ANE מורכב מכמה ליבות מנוע עצביות ומעגלים מישוריים רב-מצבים אחד או יותר.

העיצוב מותאם למחשוב מקביל, שבו פעולות רבות, כמו כפל מטריצות הפועלות בטריליוני איטרציות, חייבות להתבצע בו-זמנית.

כדי להאיץ מסקנות באלגוריתמים של AI, ANE משתמש במודלים חזויים. בנוסף, ל-ANE יש מטמון משלו ותומך רק בכמה סוגי נתונים, מה שעוזר למקסם את הביצועים.

תכונות AI מופעל על ידי ANE

הנה כמה תכונות במכשיר שאולי אתה מכיר ש-ANE מאפשרת.

• עיבוד שפה טבעית: זיהוי קול מהיר ואמין יותר עבור הכתבה ו-Siri; שיפור לימוד השפה הטבעית באפליקציית Translate ובכל המערכת; תרגום טקסט מיידי בתמונות, מצלמה ויישומי iPhone אחרים.
• ראייה ממוחשבת: מציאת אובייקטים בתמונות כמו ציוני דרך, חיות מחמד, צמחים, ספרים ופרחים באמצעות אפליקציית התמונות או חיפוש Spotlight; קבלת מידע נוסף על אובייקטים מזוהים באמצעות Visual Look Up במקומות כמו ספארי, דואר והודעות.
• מציאות רבודה: חסימת אנשים ומעקב אחר תנועה באפליקציות AR.
• ניתוח וידאו: זיהוי פנים ואובייקטים בווידאו באפליקציות כמו Final Cut Pro.
• אפקטים של מצלמה: חיתוך אוטומטי עם Center Stage; טשטוש רקע במהלך שיחות וידאו של FaceTime.
• משחקים: אפקטים פוטוריאליסטיים במשחקי וידאו תלת מימדיים.
• טקסט חי: מתן זיהוי תווים אופטי (OCR) במצלמה ובתמונות, המאפשר לך להעתיק בקלות כתב יד או טקסט כמו סיסמת Wi-Fi או כתובת מתמונות.
• צילום חישובי: Deep Fusion מנתח פיקסלים להפחתת רעש טובה יותר, טווח דינמי גדול יותר ושיפור חשיפה אוטומטית ואיזון לבן, תוך מינוף HDR חכם כאשר מתאים; צילום עומק שדה רדוד, כולל צילום פורטרטים במצב לילה; התאמת רמת טשטוש הרקע באמצעות בקרת עומק.
• טיפות: ANE משמש גם עבור סגנונות צילום באפליקציית המצלמה, איסוף זיכרונות ואפקטים סגנוניים בתמונות, המלצות מותאמות אישית כמו הצעות טפטים, כיתוב תמונה ב-VoiceOver, מציאת כפילויות של תמונות תמונות וכו'.

חלק מהתכונות שהוזכרו לעיל, כמו זיהוי תמונה, מתפקדות גם ללא נוכחות ANE, אך יפעלו הרבה יותר לאט ויחייבו את הסוללה של המכשיר שלך.

היסטוריה קצרה של המנוע העצבי של אפל: מאייפון X ועד מחשבי M2 Mac

בשנת 2017, אפל פרסה את ה-ANE הראשון שלה בצורה של שתי ליבות מיוחדות בתוך שבב A11 של iPhone X. לפי הסטנדרטים של היום, זה היה איטי יחסית, עם 600 מיליארד פעולות בשנייה בלבד.

הדור השני של ANE הופיע בתוך שבב ה-A12 ב-2018, עם הליבות פי ארבעה. מדורג ב-5 טריליון פעולות בשנייה, ANE זה היה מהיר יותר כמעט פי תשעה והשתמש בעשירית מהעוצמה של קודמו.

לשבב A13 של 2019 היה אותו ANE עם שמונה ליבות, אבל פעל בחמישית מהר יותר תוך שימוש ב-15% פחות כוח, תוצר של צומת המוליכים למחצה המשופרים של TSMC 7nm. TSMC (Taiwan Semiconductor Manufacturing Company) מייצרת שבבים בעיצוב אפל.

האבולוציה של Apple Neural Engine

בשנה שלאחר מכן, ה-Apple A14 כמעט הכפיל את ביצועי ה-ANE ל-11 טריליון פעולות בשנייה, שהושגו על ידי הגדלת מספר ליבות ה-ANE מ-8 ל-16. בשנת 2021, ה-A15 Bionic נהנה מתהליך ה-5nm של הדור השני של TSMC, שהגביר עוד יותר את ביצועי ANE ל-15.8 טריליון פעולות בשנייה מבלי להוסיף עוד ליבות.

השבבים הראשונים של M1, M1 Pro ו-M1 Max היו בעלי ANE זהה ל-A14, והביאו לראשונה ML ו-AI מתקדמים, מואצים בחומרה לפלטפורמת macOS.

בשנת 2022, ה-M1 Ultra שילב שני שבבי M1 Max בחבילה אחת באמצעות החיבור המותאם אישית של אפל המכונה UltraFusion. עם כפול הליבות ANE (32), ה-M1 Ultra הכפיל את ביצועי ה-ANE ל-22 טריליון פעולות בשנייה.

ה-Apple A16 בשנת 2022 הופק באמצעות צומת N4 המשופר של TSMC, והביא לביצועי ANE מהירים בכ-8% (17 טריליון פעולות בשנייה) לעומת ANE של A15.

האייפדים הראשונים התומכים ב-ANE היו הדור החמישי של iPad mini (2019), הדור השלישי של iPad Air (2019) והדור השמיני של iPad (2020). לכל האייפדים שיצאו מאז יש ANE.

כיצד מפתחים יכולים להשתמש ב-ANE באפליקציות?

אפליקציות צד שלישי רבות משתמשות ב-ANE עבור תכונות שאחרת לא היו ניתנות לביצוע. לדוגמה, עורך התמונות Pixelmator Pro מספק כלים כגון ML Super Resolution ו-ML Enhance. וב-djay Pro, ANE מפריד בין ביטים, כלי נגינה ורצועות ווקאליות מהקלטה.

עם זאת, מפתחי צד שלישי אינם מקבלים גישה ברמה נמוכה ל-ANE. במקום זאת, כל קריאות ANE חייבות לעבור את מסגרת התוכנה של אפל ללמידת מכונה, Core ML. עם Core ML, מפתחים יכולים לבנות, לאמן ולהפעיל את דגמי ה-ML שלהם ישירות על המכשיר. מודל כזה משמש לאחר מכן לביצוע תחזיות המבוססות על נתוני קלט חדשים.

"ברגע שדגם נמצא במכשיר של משתמש, אתה יכול להשתמש ב-Core ML כדי לאמן אותו מחדש או לכוונן אותו במכשיר, עם הנתונים של אותו משתמש", על פי הסקירה הכללית של Core ML ב- אתר אפל.

כדי להאיץ אלגוריתמי ML ו-AI, Core ML ממנפת לא רק ANE אלא גם את המעבד וה-GPU. זה מאפשר ל-Core ML להריץ מודל גם אם אין ANE זמין. אבל עם ANE נוכח, Core ML יפעל הרבה יותר מהר, והסוללה לא תתרוקן כל כך מהר.

תכונות רבות של אפל לא יעבדו בלי ANE

תכונות רבות במכשיר לא היו אפשריות ללא העיבוד המהיר של אלגוריתמי AI ו-ML וטביעת הרגל הממוזערת של הזיכרון וצריכת החשמל ש-ANE מביאה לשולחן. הקסם של אפל הוא שיש מעבד משותף ייעודי להפעלת רשתות עצביות באופן פרטי במכשיר במקום להוריד את המשימות הללו לשרתים בענן.

עם ANE, גם אפל וגם מפתחים יכולים ליישם רשתות עצביות עמוקות ולקצור את היתרונות של מואצת למידת מכונה עבור מודלים חזויים שונים כמו תרגום מכונה, זיהוי אובייקטים, סיווג תמונות, וכו '