Обновите *var в соответствии с алгоритмом RMSProp.
Обратите внимание, что в плотной реализации этого алгоритма ms и Mom будут обновляться, даже если градация равна нулю, но в этой разреженной реализации ms и Mom не будут обновляться на итерациях, во время которых градация равна нулю.
средний_квадрат = затухание * средний_квадрат + (1-затухание) * градиент ** 2 Дельта = скорость обучения * градиент / sqrt(средний_квадрат + эпсилон)
ms<−rho∗mst−1+(1−rho)∗grad∗gradmom<−momentum∗momt−1+lr∗grad/sqrt(ms+epsilon)var<−var−mom
Вложенные классы
| сорт | SparseApplyRmsProp.Options | Необязательные атрибуты для SparseApplyRmsProp | |
Константы
| Нить | OP_NAME | Название этой операции, известное основному движку TensorFlow. |
Публичные методы
| Выход <Т> | какВывод () Возвращает символический дескриптор тензора. |
| static <T расширяет TType > SparseApplyRmsProp <T> | create ( Область видимости, Операнд <T> var, Операнд <T> мс, Операнд <T> Mom, Операнд <T> lr, Операнд <T> rho, Операнд <T> импульс, Операнд <T> эпсилон, Операнд <T > град, операнд <? расширяет TNumber > индексы, параметры... параметры) Фабричный метод для создания класса, обертывающего новую операцию SparseApplyRmsProp. |
| Выход <Т> | вне () То же, что «вар». |
| статический SparseApplyRmsProp.Options | useLocking (логическое значение useLocking) |
Унаследованные методы
| логическое значение | равно (Объект arg0) |
| последний класс<?> | получитьКласс () |
| интервал | хэш-код () |
| окончательная пустота | уведомить () |
| окончательная пустота | уведомитьВсе () |
| Нить | toString () |
| окончательная пустота | подождать (длинный arg0, int arg1) |
| окончательная пустота | подождите (длинный arg0) |
| окончательная пустота | ждать () |
| абстрактная среда выполнения | окружение () Верните среду выполнения, в которой была создана эта операция. |
| абстрактная операция |
Константы
общедоступная статическая финальная строка OP_NAME
Название этой операции, известное основному движку TensorFlow.
Публичные методы
публичный вывод <T> asOutput ()
Возвращает символический дескриптор тензора.
Входные данные для операций TensorFlow являются выходными данными другой операции TensorFlow. Этот метод используется для получения символического дескриптора, который представляет собой вычисление входных данных.
public static SparseApplyRmsProp <T> create ( Область действия , Операнд <T> var, Операнд <T> мс, Операнд <T> Mom, Операнд <T> lr, Операнд <T> rho, Операнд <T> импульс, Операнд <T > эпсилон, операнд <T> град, операнд <? расширяет индексы TNumber >, параметры... параметры)
Фабричный метод для создания класса, обертывающего новую операцию SparseApplyRmsProp.
Параметры
| объем | текущий объем |
|---|---|
| вар | Должно быть из переменной(). |
| РС | Должно быть из переменной(). |
| мама | Должно быть из переменной(). |
| лр | Масштабирующий коэффициент. Должно быть скаляр. |
| ро | Скорость распада. Должно быть скаляр. |
| эпсилон | Риджовый термин. Должно быть скаляр. |
| выпускник | Градиент. |
| индексы | Вектор индексов в первом измерении var, ms и Mom. |
| параметры | содержит значения необязательных атрибутов |
Возврат
- новый экземпляр SparseApplyRmsProp
public static SparseApplyRmsProp.Options useLocking (логическое значение useLocking)
Параметры
| использоватьLocking | Если «True», обновление тензоров var, ms и Mom защищено блокировкой; в противном случае поведение не определено, но может вызывать меньше конфликтов. |
|---|