ערכת כלי אופטימיזציית המודל TensorFlow ממזערת את המורכבות של אופטימיזציה של הסקת מסקנות של למידת מכונה.
יעילות הסקה היא דאגה קריטית בעת פריסת מודלים של למידת מכונה בגלל השהייה, ניצול זיכרון ובמקרים רבים צריכת חשמל. במיוחד במכשירים קצה, כגון ניידים ואינטרנט של הדברים (IoT), המשאבים מוגבלים עוד יותר, וגודל המודל ויעילות החישוב הופכים לדאגה מרכזית.
הדרישה החישובית לאימון גדלה עם מספר המודלים המאומנים על ארכיטקטורות שונות, בעוד שהדרישה החישובית להסקה גדלה ביחס למספר המשתמשים.
מקרי שימוש
אופטימיזציה של מודלים שימושית, בין היתר, עבור:
- הפחתת השהייה ועלות עבור הסקה הן עבור מכשירי ענן והן עבור מכשירי קצה (למשל נייד, IoT).
- פריסת מודלים על גבי התקני קצה עם מגבלות על עיבוד, זיכרון ו/או צריכת חשמל.
- הקטנת גודל המטען עבור עדכוני מודלים אלחוטיים.
- מאפשר ביצוע על חומרה המוגבלת או המותאמת לפעולות בנקודה קבועה.
- אופטימיזציה של מודלים עבור מאיצי חומרה למטרות מיוחדות.
טכניקות אופטימיזציה
תחום אופטימיזציית המודל יכול לכלול טכניקות שונות:
- הפחת את מספר הפרמטרים באמצעות גיזום וגיזום מובנה.
- הפחתת דיוק ייצוגי באמצעות כימות.
- עדכן את טופולוגיית המודל המקורית ליעילה יותר עם פרמטרים מופחתים או ביצוע מהיר יותר. לדוגמה, שיטות פירוק טנזורים וזיקוק
ערכת הכלים שלנו תומכת בכימות לאחר אימון (מיושן), אימון מודע לכימות , גיזום ואשכולות . ערכת הכלים מספקת גם תמיכה ניסיונית לאופטימיזציה שיתופית לשילוב טכניקות שונות.
קוונטיזציה
מודלים כמותיים הם כאלה שבהם אנו מייצגים את המודלים בדיוק נמוך יותר, כגון מספרים שלמים של 8 סיביות לעומת מספרים צפים של 32 סיביות. דיוק נמוך יותר הוא דרישה למינוף חומרה מסוימת.
דלילות וגיזום
מודלים דלילים הם כאלה שבהם קשרים בין אופרטורים (כלומר, שכבות רשת נוירונים) נגזמו, מה שמכניס אפסים לטנזורי הפרמטרים.
קיבוץ באשכולות
מודלים מקובצים הם כאלה שבהם הפרמטרים של המודל המקורי מוחלפים במספר קטן יותר של ערכים ייחודיים.
אופטימיזציה שיתופית
ערכת הכלים מספקת תמיכה ניסיונית לאופטימיזציה שיתופית. זה מאפשר לך להפיק תועלת משילוב של מספר טכניקות דחיסת מודלים ולהשיג בו זמנית דיוק משופר באמצעות אימון מודע לכימות.