публичный финальный класс ResourceSparseApplyRmsProp
Обновите «*var» в соответствии с алгоритмом RMSProp.
Обратите внимание, что в плотной реализации этого алгоритма ms и Mom будут обновляться, даже если градация равна нулю, но в этой разреженной реализации ms и Mom не будут обновляться на итерациях, во время которых градация равна нулю.
средний_квадрат = затухание * средний_квадрат + (1-затухание) * градиент ** 2 Дельта = скорость обучения * градиент / sqrt(средний_квадрат + эпсилон)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad Mom <- импульс * Mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - Mom
Вложенные классы
| сорт | ResourceSparseApplyRmsProp.Options | Дополнительные атрибуты для ResourceSparseApplyRmsProp | |
Константы
| Нить | OP_NAME | Название этой операции, известное основному движку TensorFlow. |
Публичные методы
| static <T расширяет TType > ResourceSparseApplyRmsProp | create ( Область видимости , Операнд <?> var, Операнд <?> мс, Операнд <?> Mom, Операнд <T> lr, Операнд <T> rho, Операнд <T> импульс, Операнд <T> эпсилон, Операнд <T > град, операнд <? расширяет TNumber > индексы, параметры... параметры) Фабричный метод для создания класса, обертывающего новую операцию ResourceSparseApplyRmsProp. |
| статический ResourceSparseApplyRmsProp.Options | useLocking (логическое значение useLocking) |
Унаследованные методы
Константы
общедоступная статическая финальная строка OP_NAME
Название этой операции, известное основному движку TensorFlow.
Постоянное значение: «ResourceSparseApplyRMSProp»
Публичные методы
public static ResourceSparseApplyRmsProp create ( Область действия, Операнд <?> var, Операнд <?> мс, Операнд <?> Mom, Операнд <T> lr, Операнд <T> ро, Операнд <T> импульс, Операнд <T> эпсилон, Операнд <T> град, Операнд <? расширяет индексы TNumber >, Опции... опции)
Фабричный метод для создания класса, обертывающего новую операцию ResourceSparseApplyRmsProp.
Параметры
| объем | текущий объем |
|---|---|
| вар | Должно быть из переменной(). |
| РС | Должно быть из переменной(). |
| мама | Должно быть из переменной(). |
| лр | Коэффициент масштабирования. Должно быть скаляр. |
| ро | Скорость распада. Должно быть скаляр. |
| эпсилон | Риджовый термин. Должно быть скаляр. |
| выпускник | Градиент. |
| индексы | Вектор индексов в первом измерении var, ms и Mom. |
| параметры | содержит значения необязательных атрибутов |
Возврат
- новый экземпляр ResourceSparseApplyRmsProp
public static ResourceSparseApplyRmsProp.Options useLocking (логическое значение useLocking)
Параметры
| использоватьLocking | Если «True», обновление тензоров var, ms и Mom защищено блокировкой; в противном случае поведение не определено, но может вызывать меньше конфликтов. |
|---|