כימות לאחר אימון כוללת טכניקות כלליות להפחתת השהיית המעבד והחומרה, עיבוד, צריכת חשמל וגודל המודל עם פגיעה מועטה בדיוק המודל. ניתן לבצע טכניקות אלו על מודל TensorFlow float שכבר אומן ולהחיל אותן במהלך המרת TensorFlow Lite. טכניקות אלו מופעלות כאפשרויות בממיר TensorFlow Lite .
כדי לקפוץ ישר לדוגמאות מקצה לקצה, עיין במדריכים הבאים:
קוונטיזציה של משקלים
ניתן להמיר משקלים לסוגים עם דיוק מופחת, כגון מספרים צפים של 16 סיביות או מספרים שלמים של 8 סיביות. אנו ממליצים בדרך כלל על מספרים צפים של 16 סיביות להאצת GPU ומספרים שלמים של 8 סיביות להפעלת CPU.
לדוגמה, כך ניתן לציין כימות משקל שלם של 8 סיביות:
import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_quant_model = converter.convert()
בהסקה, החלקים בעלי האינטנסיביות הקריטית ביותר מחושבים עם 8 סיביות במקום עם נקודה צפה. קיימת תקורה מסוימת של ביצועי זמן הסקה, יחסית לכימות המשקלים וההפעלה המפורטים להלן.
למידע נוסף, עיין במדריך הכימות של TensorFlow Lite לאחר אימון .
קוונטיזציה שלמה של משקלים והפעלות
שפר את ההשהיה, העיבוד וצריכת החשמל, וקבל גישה למאיצי חומרה של מספרים שלמים בלבד על ידי וידוא שהן המשקלים והן הפעלות עוברות כימות. זה דורש מערך נתונים מייצג קטן.
import tensorflow as tf
def representative_dataset_gen():
for _ in range(num_calibration_steps):
# Get sample input data as a numpy array in a method of your choosing.
yield [input]
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen
tflite_quant_model = converter.convert()
המודל שנוצר עדיין יקבל קלט ופלט צפים לנוחיותכם.
למידע נוסף, עיין במדריך הכימות של TensorFlow Lite לאחר אימון .