Descenso del gradiente

Para una función ${\displaystyle f:\mathbb {R} ^{n}\rightarrow \mathbb {R} }$ en un punto ${\displaystyle p=(x_{1},...,x_{n})}$ su gradiente se define como:

${\displaystyle \nabla f(p)={\begin{vmatrix}{\delta f \over \delta x_{1}}(p)\\\vdots \\{\delta f \over \delta x_{n}}(p)\end{vmatrix}}}$

El gradiente descendiente calcula iterativamente el siguiente punto utilizando el gradiente del punto actual. Este punto es escalado con una razón de aprendizaje ${\displaystyle \gamma \in \mathbb {R} _{+}}$. Se tiene entonces que el gradiente descendiente utiliza la siguiente expresión:

${\displaystyle p_{n+1}=p_{n}-\gamma \nabla f(p_{n})}$

El algoritmo del gradiente descendiente calcula iterativamente el siguiente punto usando el gradiente del punto en turno. Lo escala con la razón de aprendizaje y resta este resultado a la posición actual. Si la razón  de aprendizaje es muy pequeña, el algoritmo tarda en converger. Si la razón de aprendizaje es muy grande, el algoritmo puede no llegar a converger. El algoritmo del gradiente descendiente consta de los siguientes pasos:

1. Se elige un punto de salida de manera aleatoria,
2. Se calcula el gradiente en ese punto,
3. Se determina el siguiente punto de acuerdo con: ${\displaystyle p_{n+1}=p_{n}-\gamma \nabla f(p_{n})}$
4. Se detiene el algoritmo con una de las siguientes condiciones de paro:
   • Se llega a un número máximo de iteraciones predeterminado.
   • El tamaño del paso dado por el algoritmo es menor que un valor de tolerancia establecido.

El gradiente descendiente batch suma el error para cada punto en un conjunto de entrenamiento, actualizando el modelo hasta que se hayan evaluado todos los ejemplos de entrenamiento disponibles. El proceso de batch provee mayor eficiencia a nivel computacional para conjuntos de datos grandes. Usualmente produce un error de gradiente estable y llega a converger.

El descenso de gradiente estocástico corre una época de entrenamiento para cada ejemplo en el conjunto de datos y actualiza los parámetros de cada ejemplo de entrenamiento uno a la vez. El gradiente descendiente estocástico realiza menos operaciones por actualización que el gradiente descendiente tradicional.

Combina elementos del gradiente descendiente batch y del gradiente descendiente estocástico. Divide el conjunto de entrenamiento en subconjuntos más pequeños y actualiza los parámetros de cada subconjunto.

Este problema se presenta cuando el gradiente es demasiado grande, creando un modelo inestable. En este caso los pesos o ponderaciones asignados en el modelo crecerán demasiado. Una solución a este problema es utilizar una técnica para reducir la dimensionalidad y así reducir la complejidad del modelo.

Durante el entrenamiento o ajuste de los parámetros de una red neuronal se utiliza la propagación hacia atrás con gradiente descendiente. Con cada iteración o paso el gradiente se hace más y más pequeño conforme la propagación hacia atrás llega a capas más profundas; el gradiente se desvanece. Esto trae como consecuencia que no se actualizan las conexiones de las capas más bajas o profundas y por lo tanto el entrenamiento no converge a una solución que sea de utilidad.