Lagrange multiplier method

지금까지 unconstrained optimization 을 했다면, 이제는 constrained optimization

즉, 제약조건에서의 최대최소 를 구할 것이다.

원서 : Stewart, J. (2016). Calculus: Early Transcendentals (8th ed.).

1. Constrained Optimization

제약조건에서의 최대 및 최소를 구하는 method는 크게 6가지로 구분된다.

① constraint equation

② parametrization

③ parametrization

④ Cauchy–Schwarz inequality

⑤ quadratic form

⑥ method of Lagrange multipliers

이중 이번에는 라그랑즈 승수법에 대해 알아볼 것이다.

2. Lagrange multiplier method

1. g(x,y,z) = 0 를 만족하는 f(x,y,z) 의 최댓값과 최소값을 구하는 방법

① ∇f(x,y,z) = λ∇g(x,y,z), g(x,y,z) = 0 만족하는 x,y,z 와 λ 를 구한다.

② 위에서 구한 모든 점 (x,y,z) 에서 f(x,y,z)을 구한다.

이 값들 중 가장 큰 것이 f의 최댓값이고 가장 작은 것이 f의 최솟값이다.

2. g(x,y,z) = 0, h(x,y,z) = 0 를 만족하는 f(x,y,z) 의 최댓값과 최솟값을 구하는 방법

① ∇f(a,b,c) = λ∇g(x0​,y0​,z0​) + μ∇h(x0​,y0​,z0​), g(x,y,z) = 0, h(x,y,z) = 0 만족하는 x, y, z, λ, μ 구한다.

② 위에서 구한 모든 점 (x,y,z) 에서 f(x,y,z)을 구한다.

이 값들 중 가장 큰 것이 f의 최댓값이고 가장 작은 것이 f의 최솟값이다.

위 글로는 이게 뭔소리인지 이해가 안갈 것이다.

쉽게 말해 극값을 가질때는 f의 등고면과 g의 제약곡면이 접할때(tangent) 즉, 법선벡터(gradient)가 평행!! 할때 최대 최소를 갖는다는 것이다.

이릍 통해 라그랑즈도 크게 3가지로 나눠서 풀 수 있다.

① determinant → 평행이면 종속 즉 det = 0을 만족

② outer product → 평행이면 외적이 0임을 이용

③ 기하적으로 풀기 → 그려서 기하적으로 풀기 (접하는 순간)

위 3가지로 푸는 것이 빠르고 굳이굳이 계산해서 푸는 것은 피하는 것이 좋다.

참고로 구하는 방법이 6개나 되는데 이걸 뭘 사용할지 막막할 수도 있는데, 보통 보면 익숙한 꼴이 보인다.

참고로 라그랑즈 승수법의 제약조건은 g(x,y) = 0을 만족해야 한다. 부등식이 아님을 기억하자

이해를 위해 예제를 풀어보자.

문제 1

\[x^2 + xy + 2y^2 = 1\]

위 곡선 위의 점 (x,y) 에 대하여 다음 함수 의 최댓값과 최솟값의 곱을 구하면?

\[f(x,y) = e^{-xy}\]

이 문제는 굳이 e^-xy를 쓸려고 하기보다는 xy를 따로 뽑아서 구하는 것이 수월하다.

g(x,y) = x^2 + xy + 2y^2 − 1 일 때, h(x,y)= xy 에 대하여 라그랑주 승수법을 이용하면 다음과 같다. (평행조건을 이용한 행렬식)

\[\nabla g \parallel \nabla h \;\;\Rightarrow\;\; \begin{vmatrix} 2x+y & x+4y \\ y & x \end{vmatrix} = 0 \;\;\Rightarrow\;\; x^2 - 2y^2 = 0 \;\;\therefore\;\; x^2 = 2y^2\]

제약조건에 xy가 없으면 바로 나오는 쉬운 문제지만, 아니므로 계속해서 풀어나가 보자.

① x = 2^1/2​y 일 때,

\[x^2+xy+2y^2=1 \;\;\Rightarrow\;\; (4+\sqrt{2})y^2=1 \;\;\Rightarrow\;\; y^2 = \tfrac{1}{4+\sqrt{2}}\]

따라서

\[f(x,y) = e^{-xy} = e^{-\sqrt{2}y^2} = e^{-\tfrac{\sqrt{2}}{4+\sqrt{2}}}\]

② x=−2^1/2​y 일 때,

\[x = -\sqrt{2}y \;\;\Rightarrow\;\; x^2+xy+2y^2=1 \;\;\Rightarrow\;\; (4-\sqrt{2})y^2=1 \;\;\Rightarrow\;\; y^2 = \tfrac{1}{4-\sqrt{2}}\]

따라서

\[f(x,y) = e^{-xy} = e^{\sqrt{2}y^2} = e^{\tfrac{\sqrt{2}}{4-\sqrt{2}}}\]

이를 통해 최대값과 최솟값을 구할 수 있고 이 둘의 곱은 다음과 같다.

\[f_{\max} \cdot f_{\min} = e^{\tfrac{\sqrt{2}}{4-\sqrt{2}} - \tfrac{\sqrt{2}}{4+\sqrt{2}}} = e^{\tfrac{4}{14}} = e^{\tfrac{2}{7}}\]

결국 그냥 평행조건을 이용해서 관계식을 찾고 이를 이욯해서 최대, 최소값을 찾으면 된다.

문제 2

세 실수 x, y, z 에 대하여 x + y + z = 17 일 때, 다음 함수의 최소값을 구하시오.

\[\sqrt{1 + x^2} + \sqrt{9 + y^2} + \sqrt{25 + z^2}\]

\[g(x,y,z) = x + y + z - 17\]

일때

\[f(x,y,z) = \sqrt{1 + x^2} + \sqrt{9 + y^2} + \sqrt{25 + z^2}\]

에 대하여 라그랑주 승수법을 이용하면 다음과 같다.

\[\lambda \nabla g = \nabla f \;\;\Leftrightarrow\;\; \lambda (1,1,1) = \left( \frac{x}{\sqrt{1+x^2}}, \frac{y}{\sqrt{9+y^2}}, \frac{z}{\sqrt{25+z^2}} \right)\]

y = 3x, z = 5x 이므로 제약조건 x + y + z = 17 에 대입하면

x = 17/9, y = 17/3, z = 85/9 이고, 따라서 다음과 같다.

\[f\!\left(\tfrac{17}{9},\tfrac{51}{9},\tfrac{85}{9}\right) = \sqrt{1+\left(\tfrac{17}{9}\right)^2} + \sqrt{9+\left(\tfrac{51}{9}\right)^2} + \sqrt{25+\left(\tfrac{85}{9}\right)^2} = \sqrt{370}\]