拉格朗日乘数法（Lagrange Multiplier Method）在数学最优问题中，是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。拉格朗日乘数法将一个有n个变量与k个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。此方法的证明牵涉到偏微分，全微分或链法，从而找到能让设出的隐函数的微分为零的未知数的值。

基本思想

       作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。

       如何将一个含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题？拉格朗日乘数法从数学意义入手，通过引入拉格朗日乘子建立极值条件，对n个变量分别求偏导对应了n个方程，然后加上k个约束条件（对应k个拉格朗日乘子）一起构成包含了（n+k）变量的（n+k）个方程的方程组问题，这样就能根据求方程组的方法对其进行求解。

       解决的问题模型为约束优化问题：

       最小化/最大化f(x, y, z)

       s.t. g(x, y, z)=0

拉格朗日乘数法与KKT条件

我们上述讨论的问题均为等式约束优化问题，但等式约束并不足以描述人们面临的问题，不等式约束比等式约束更为常见，大部分实际问题的约束都是不超过多少时间，不超过多少人力，不超过多少成本等等。所以有几个科学家拓展了拉格朗日乘数法，增加了KKT条件之后便可以用拉格朗日乘数法来求解不等式约束的优化问题了。

KKT条件是指在满足一些有规则的条件下, 一个非线性规划(Nonlinear Programming)问题能有最优化解法的一个必要和充分条件. 这是一个广义化拉格朗日乘数的成果. 一般地, 一个最优化数学模型的列标准形式参考开头的式子, 所谓 Karush-Kuhn-Tucker 最优化条件，就是指上式的最优点x∗必须满足下面的条件:

　　1). 约束条件满足g_i(x∗)≤0,i=1,2,…,p, 以及,h_j(x∗)=0,j=1,2,…,q

　　2). ∇f(x∗)+∑_i=1μ_i∇g_i(x∗)+∑_j=1λ_j∇h_j(x∗)=0, 其中∇为梯度算子

　　3). λ_j≠0且不等式约束条件满足μ_i≥0,μ_ig_i(x∗)=0,i=1,2,…,p。

　　KKT条件第一项是说最优点x∗必须满足所有等式及不等式限制条件, 也就是说最优点必须是一个可行解, 这一点自然是毋庸置疑的. 第二项表明在最优点x^∗, ∇f必须是∇g_i和∇h_j的线性組合, μ_i和λ_j都叫作拉格朗日乘子. 所不同的是不等式限制条件有方向性, 所以每一个μ_i都必须大于或等于零, 而等式限制条件没有方向性，所以λ_j没有符号的限制, 其符号要视等式限制条件的写法而定.

转自：https://www.cnblogs.com/maybe2030/p/4946256.html