梯度下降法（英语：Gradient descent）是一个最优化算法，通常也称为最速下降法。

梯度下降法，基于这样的观察：如果实值函数在点处可微且有定义，那幺函数在点沿着梯度相反的方向 下降最快。

因而，如果

对于为一个够小数值时成立，那幺。

考虑到这一点，我们可以从函数的局部极小值的初始估计出发，并考虑如下串行 使得

Gradient descent is a first-order optimization algorithm. To find a local minimum of a function using gradient descent, one takes steps proportional to the negative of the gradient (or of the approximate gradient) of the function at the current point. If instead one takes steps proportional to the positive of the gradient, one approaches a local maximum of that function; the procedure is then known as gradient ascent.