"*var" را مطابق با الگوریتم RMSProp متمرکز به روز کنید.
الگوریتم RMSProp متمرکز از تخمین لحظه دوم متمرکز (یعنی واریانس) برای عادی سازی استفاده می کند، برخلاف RMSProp معمولی که از لحظه دوم (غیر مرکزی) استفاده می کند. این اغلب به آموزش کمک می کند، اما از نظر محاسبات و حافظه کمی گران تر است.
توجه داشته باشید که در اجرای متراکم این الگوریتم، mg، ms و mom حتی اگر درجه صفر باشد، به روز می شوند، اما در این پیاده سازی پراکنده، mg، ms و mom در تکرارهایی که در طی آن درجه صفر است، به روز نمی شوند.
mean_square = decay * mean_square + (1-decay) * gradient ** 2 mean_grad = decay * mean_grad + (1-decay) * گرادیان
دلتا = نرخ_آموزش * گرادیان / مربع (میانگین_مربع + اپسیلون - میانگین_گراد ** 2)
mg <- rho * mg_{t-1} + (1-rho) * grad ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1 } + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - mom
کلاس های تو در تو
| کلاس | ApplyCenteredRmsProp.Options | ویژگی های اختیاری برای ApplyCenteredRmsProp | |
ثابت ها
| رشته | OP_NAME | نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود |
روش های عمومی
| خروجی <T> | asOutput () دسته نمادین تانسور را برمی گرداند. |
| استاتیک <T TType > ApplyCenteredRmsProp <T> را گسترش می دهد | |
| خروجی <T> | بیرون () همان "var". |
| استاتیک ApplyCenteredRmsProp.Options | useLocking (قفل کردن استفاده بولی) |
روش های ارثی
| بولی | برابر است (شیء arg0) |
| کلاس نهایی<?> | getClass () |
| بین المللی | هش کد () |
| باطل نهایی | اعلام کردن () |
| باطل نهایی | اطلاع رسانی به همه () |
| رشته | toString () |
| باطل نهایی | صبر کنید (long arg0، int arg1) |
| باطل نهایی | صبر کنید (طولانی arg0) |
| باطل نهایی | صبر کن () |
| چکیده Execution Environment | env () محیط اجرایی را که این عملیات در آن ایجاد شده است برگردانید. |
| عملیات انتزاعی |
ثابت ها
رشته نهایی ثابت عمومی OP_NAME
نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود
روش های عمومی
خروجی عمومی <T> asOutput ()
دسته نمادین تانسور را برمی گرداند.
ورودی های عملیات TensorFlow خروجی های عملیات تنسورفلو دیگر هستند. این روش برای به دست آوردن یک دسته نمادین که نشان دهنده محاسبه ورودی است استفاده می شود.
عمومی ایستا ApplyCenteredRmsProp <T> ایجاد ( دامنه دامنه ، عملوند <T> var، عملوند <T> mg، عملوند <T> ms، عملوند <T> مادر، عملوند <T> lr، عملوند <T> rho، عملوند <T > حرکت، عملوند <T> اپسیلون، عملوند <T> درجه، گزینه‌ها... گزینه‌ها)
روش کارخانه برای ایجاد کلاسی که یک عملیات ApplyCenteredRmsProp جدید را بسته بندی می کند.
مولفه های
| محدوده | محدوده فعلی |
|---|---|
| var | باید از یک متغیر () باشد. |
| میلی گرم | باید از یک متغیر () باشد. |
| ام‌اس | باید از یک متغیر () باشد. |
| مادر | باید از یک متغیر () باشد. |
| lr | ضریب پوسته پوسته شدن باید اسکالر باشد. |
| rho | میزان پوسیدگی باید اسکالر باشد. |
| تکانه | مقیاس حرکت. باید اسکالر باشد. |
| اپسیلون | ترم ریج. باید اسکالر باشد. |
| درجه | گرادیان. |
| گزینه ها | مقادیر ویژگی های اختیاری را حمل می کند |
برمی گرداند
- یک نمونه جدید از ApplyCenteredRmsProp
عمومی ایستا ApplyCenteredRmsProp.Options useLocking (useLocking بولی)
مولفه های
| استفاده از قفل کردن | اگر «درست» باشد، به‌روزرسانی تانسورهای var، mg، ms و mom توسط یک قفل محافظت می‌شود. در غیر این صورت رفتار تعریف نشده است، اما ممکن است اختلاف کمتری از خود نشان دهد. |
|---|