Jtdcftul

梯度下降法 （ 英语： Gradient descent ）是一个一阶最优化算法，通常也称为 最速下降法 。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的 反方向 的规定步长距离点进行迭代搜索。如果相反地向梯度 正方向 迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为 梯度上升法 。 目录 1 描述 1.1 例子 1.2 缺点 2 参阅 3 参考文献 4 外部链接 描述 梯度下降法的描述。 梯度下降方法基于以下的观察：如果实值函数 F(x){displaystyle F(mathbf {x} )} 在点 a{displaystyle mathbf {a} } 处可微且有定义，那么函数 F(x){displaystyle F(mathbf {x} )} 在 a{displaystyle mathbf {a} } 点沿着梯度相反的方向 − ∇ F(a){displaystyle -nabla F(mathbf {a} )} 下降最快。 因而，如果 b=a− γ ∇ F(a){displaystyle mathbf {b} =mathbf {a} -gamma nabla F(mathbf {a} )} 对于 γ >0{displaystyle gamma >0} 為一個够小数值時成立，那么 F(a)≥ F(b){displaystyle F(mathbf {a} )geq F(mathbf {b} )} 。 考虑到这一点，我们可以从函数 F{displaystyle F} 的局部极小值的初始估计 x0{displaystyle mathbf {x} _{0}} 出发，并考虑如下序列 x0,x1,x2,… {displaystyle mathbf {x} _{0},mathbf {x} _{1},mathbf {x} _{2},dots } 使得 xn+1=xn− γ n∇ F(xn), n≥ 0{displaystyle mathbf {x} _{n+1}=mathbf {x} _{n}-gamma _{n}nabla F(mathbf {x} _{n}), ngeq 0} 。

最优化 ，是应用数学的一个分支，主要研究以下形式的问题： 目录 1 数学表述 2 符号表示 3 主要分支 4 算法 5 人工智能和最优化 6 参见 7 参考文献 8 外部链接 数学表述 主要研究以下形式的问题： 给定一个函数 f:A→ R{displaystyle f:Ato mathbb {R} } ，寻找一个元素 x0∈ A{displaystyle mathbf {x} ^{0}in A} 使得对于所有 A{displaystyle A} 中的 x{displaystyle mathbf {x} } ， f(x0)≤ f(x){displaystyle f(mathbf {x} ^{0})leq f(mathbf {x} )} （最小化）；或者 f(x0)≥ f(x){displaystyle f(mathbf {x} ^{0})geq f(mathbf {x} )} （最大化）。 这类定式有时还称为“ 数学规划 ”（譬如，线性规划）。许多现实和理论问题都可以建模成这样的一般性框架。 典型的， A{displaystyle A} 一般为欧几里得空间 Rn{displaystyle mathbb {R} ^{n}} 中的子集，通常由一个 A{displaystyle A} 必须满足的约束等式或者不等式来规定。 A{displaystyle A} 的元素被称为是 可行解 。函数 f{displaystyle f} 被称为 目标函数 ，或者 代价函数 。一个最小化（或者最大化）目标函数的可行解被称为 最优解 。 一般情况下，会存在若干个局部的极小值或者极大值。局部极小值 x∗ {displaystyle x^{*}} 定义为对于一些 δ >0{displaystyle delta >0} ，以及所有的 x{displaystyle x} 满足 ‖ x− x∗ ‖ ≤ δ {displaystyle |mathbf {x} -mathbf {x} ^{*}|leq delta } ; 公式 f(x∗ )≤ f(x){displaystyle f(mathbf {x} ^{*})leq f(mathbf {x} )} 成立