ResourceApplyCenteredRmsProp

מחלקה אחרונה ציבורית ResourceApplyCenteredRmsProp

עדכן את '*var' לפי אלגוריתם RMSProp הממורכז.

אלגוריתם ה-RMSProp הממורכז משתמש באומדן של הרגע השני הממורכז (כלומר השונות) לנורמליזציה, בניגוד ל-RMSProp הרגיל, המשתמש ברגע השני (הלא ממורכז). לעתים קרובות זה עוזר באימון, אבל הוא מעט יקר יותר מבחינת חישוב וזיכרון.

שימו לב שביישום צפוף של אלגוריתם זה, mg, ms ו-mom יתעדכנו גם אם הגראד הוא אפס, אבל ביישום הדליל הזה, mg, ms ו-mom לא יתעדכנו באיטרציות שבמהלכן הגראד הוא אפס.

mean_square = דעיכה * mean_square + (דעיכה 1) * שיפוע ** 2 mean_grad = דעיכה * mean_grad + (דעיכה 1) * שיפוע

Delta = learning_rate * gradient / sqrt(mean_square + epsilon - mean_grad ** 2)

mg <- rho * mg_{t-1} + (1-rho) * grad ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1 } + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - mom

כיתות מקוננות

מעמד ResourceApplyCenteredRmsProp.Options תכונות אופציונליות עבור ResourceApplyCenteredRmsProp

קבועים

חוּט OP_NAME השם של המבצע הזה, כפי שידוע על ידי מנוע הליבה של TensorFlow

שיטות ציבוריות

static <T מרחיב את TType > ResourceApplyCenteredRmsProp
create ( Scope scope, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> מומנטום, Operand <T > epsilon, Operand <T> grad, Options... options)
שיטת מפעל ליצירת מחלקה העוטפת פעולת ResourceApplyCenteredRmsProp חדשה.
static ResourceApplyCenteredRmsProp.Options
useLocking (useLocking בוליאני)

שיטות בירושה

קבועים

מחרוזת סופית סטטית ציבורית OP_NAME

השם של המבצע הזה, כפי שידוע על ידי מנוע הליבה של TensorFlow

ערך קבוע: "ResourceApplyCenteredRMSProp"

שיטות ציבוריות

public static ResourceApplyCenteredRmsProp create ( Scope scope, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> מומנטום, Operand <T> epsilon, Operand <T> grad, Options... options)

שיטת מפעל ליצירת מחלקה העוטפת פעולת ResourceApplyCenteredRmsProp חדשה.

פרמטרים
תְחוּם ההיקף הנוכחי
var צריך להיות ממשתנה().
מ"ג צריך להיות ממשתנה().
גברת צריך להיות ממשתנה().
אִמָא צריך להיות ממשתנה().
lr גורם קנה מידה. חייב להיות סקלר.
rho קצב דעיכה. חייב להיות סקלר.
תְנוּפָה סולם מומנטום. חייב להיות סקלר.
אפסילון מונח רכס. חייב להיות סקלר.
גראד השיפוע.
אפשרויות נושא ערכי תכונות אופציונליות
החזרות
  • מופע חדש של ResourceApplyCenteredRmsProp

public static ResourceApplyCenteredRmsProp.Options useLocking (שימוש בוליאני)

פרמטרים
השתמש בנעילה אם 'נכון', עדכון הטנזורים var, mg, ms ו-mom מוגן על ידי מנעול; אחרת ההתנהגות אינה מוגדרת, אך עלולה להפגין פחות מחלוקת.