Posts

Showing posts from February 21, 2019

梯度下降法

Image
梯度下降法 ( 英语: Gradient descent )是一个一阶最优化算法,通常也称为 最速下降法 。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的 反方向 的规定步长距离点进行迭代搜索。如果相反地向梯度 正方向 迭代进行搜索,则会接近函数的局部极大值点;这个过程则被称为 梯度上升法 。 目录 1 描述 1.1 例子 1.2 缺点 2 参阅 3 参考文献 4 外部链接 描述 梯度下降法的描述。 梯度下降方法基于以下的观察:如果实值函数 F(x){displaystyle F(mathbf {x} )} 在点 a{displaystyle mathbf {a} } 处可微且有定义,那么函数 F(x){displaystyle F(mathbf {x} )} 在 a{displaystyle mathbf {a} } 点沿着梯度相反的方向 − ∇ F(a){displaystyle -nabla F(mathbf {a} )} 下降最快。 因而,如果 b=a− γ ∇ F(a){displaystyle mathbf {b} =mathbf {a} -gamma nabla F(mathbf {a} )} 对于 γ >0{displaystyle gamma >0} 為一個够小数值時成立,那么 F(a)≥ F(b){displaystyle F(mathbf {a} )geq F(mathbf {b} )} 。 考虑到这一点,我们可以从函数 F{displaystyle F} 的局部极小值的初始估计 x0{displaystyle mathbf {x} _{0}} 出发,并考虑如下序列 x0,x1,x2,… {displaystyle mathbf {x} _{0},mathbf {x} _{1},mathbf {x} _{2},dots } 使得 xn+1=xn− γ n∇ F(xn), n≥ 0{displaystyle mathbf {x} _{n+1}=mathbf {x} _{n}-gamma _{n}nabla F(mathbf {x} _{n}), ngeq 0} 。 ...

最优化

Image
最优化 ,是应用数学的一个分支,主要研究以下形式的问题: 目录 1 数学表述 2 符号表示 3 主要分支 4 算法 5 人工智能和最优化 6 参见 7 参考文献 8 外部链接 数学表述 主要研究以下形式的问题: 给定一个函数 f:A→ R{displaystyle f:Ato mathbb {R} } ,寻找一个元素 x0∈ A{displaystyle mathbf {x} ^{0}in A} 使得对于所有 A{displaystyle A} 中的 x{displaystyle mathbf {x} } , f(x0)≤ f(x){displaystyle f(mathbf {x} ^{0})leq f(mathbf {x} )} (最小化);或者 f(x0)≥ f(x){displaystyle f(mathbf {x} ^{0})geq f(mathbf {x} )} (最大化)。 这类定式有时还称为“ 数学规划 ”(譬如,线性规划)。许多现实和理论问题都可以建模成这样的一般性框架。 典型的, A{displaystyle A} 一般为欧几里得空间 Rn{displaystyle mathbb {R} ^{n}} 中的子集,通常由一个 A{displaystyle A} 必须满足的约束等式或者不等式来规定。 A{displaystyle A} 的元素被称为是 可行解 。函数 f{displaystyle f} 被称为 目标函数 ,或者 代价函数 。一个最小化(或者最大化)目标函数的可行解被称为 最优解 。 一般情况下,会存在若干个局部的极小值或者极大值。局部极小值 x∗ {displaystyle x^{*}} 定义为对于一些 δ >0{displaystyle delta >0} ,以及所有的 x{displaystyle x} 满足 ‖ x− x∗ ‖ ≤ δ {displaystyle |mathbf {x} -mathbf {x} ^{*}|leq delta } ; 公式 f(x∗ )≤ f(x){displaystyle f(mathbf {x} ^{*})leq f(mathbf {x} )} 成立...