ELU

Unidade linear exponencial.

A unidade linear exponencial (ELU) com alpha > 0 é:

x se x > 0 e alpha * (exp(x) - 1) se x < 0 .

O hiperparâmetro ELU alpha controla o valor para o qual uma ELU satura para entradas líquidas negativas. ELUs diminuem o efeito do gradiente de desaparecimento.

As ELUs possuem valores negativos, o que aproxima a média das ativações de zero. As ativações médias mais próximas de zero permitem um aprendizado mais rápido, pois aproximam o gradiente do gradiente natural. ELUs saturam para um valor negativo quando o argumento fica menor. Saturação significa uma pequena derivada que diminui a variação e a informação que é propagada para a próxima camada.

Exemplo de uso:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);