Unidade Linear Exponencial Escalada (SELU).
A função de ativação da Unidade Linear Exponencial Escalada (SELU) é definida como:
-
if x > 0: return scale * x
-
if x < 0: return scale * alpha * (exp(x) - 1)
onde alpha
e scale
são constantes predefinidas ( alpha=1.67326324
e scale=1.05070098
).
Basicamente, a função de ativação SELU multiplica a scale
(> 1) pela saída da função elu para garantir uma inclinação maior do que para entradas positivas.
Os valores de alpha
e scale
são escolhidos de forma que a média e a variância das entradas sejam preservadas entre duas camadas consecutivas, desde que os pesos sejam inicializados corretamente (ver LeCun
com distribuição normal) e o número de unidades de entrada seja "grande o suficiente"
Notas: Para ser usado em conjunto com o inicializador LeCun
com Distribuição Normal.
Veja também
Construtores Públicos
SELU (operações tf) Cria uma ativação da Unidade Linear Exponencial Escalada (SELU). |
Métodos Públicos
Operando <T> |
Métodos herdados
Construtores Públicos
SELU público (Ops tf)
Cria uma ativação da Unidade Linear Exponencial Escalada (SELU).
Parâmetros
TF | as operações do TensorFlow |
---|
Métodos Públicos
chamada de operando público <T> (entrada de operando <T>)
Obtém a operação de cálculo para a ativação.
Parâmetros
entrada | o tensor de entrada |
---|
Devoluções
- O operando para a ativação