AI 경제분석 3-3: 벨만 방정식과 엔벨롭스 정리, 핵심 풀이 완벽 이해!
벨만 방정식 풀이, 엔벨롭 정리로 쉽게!
이번 시간에는 벨만 방정식을 풀 때 나오는 어려운 부분인 '엔벨롭 정리'에 대해 알아볼 거야. 복잡한 수식을 어떻게 간단하게 만들 수 있는지 같이 살펴보자!
지난 시간 복습: 벨만 방정식, 미분하고 최적 정책 넣기
지난 시간에는 벨만 방정식에서 FOC(최적 정책 조건)를 구하고, 이걸 벨만 방정식에 넣어서 복잡한 최댓값 함수를 없애고 미분하는 것까지 했었지?
엔벨롭 정리: 어려운 부분을 0으로 만들기!
이번 시간에 배울 엔벨롭 정리는 벨만 방정식을 풀이하는 데 정말 중요한 핵심 단계야. 보통은 어렵다고 넘어가거나 결과만 알려주는데, 여기서는 왜 그렇게 되는지 자세히 볼 거야.
지난 시간에 정리했던 수식을 다시 보면, 라운드 CX 라운드 X라는 부분이 두 군데서 공통으로 보일 거야. 이걸 묶어서 정리하면 다음과 같은 식이 나와.
라운드 vx 라운드 x = 라운드 u cx 라운드 cx + 베타 라운드 v x - x 라운드 x - x * 라운드 x - x 라운드 cx * 라운드 cx 라운드 x + 베타 라운드 v x - x 라운드 x - x * 라운드 x - cx 라운드 x
여기서 제일 중요한 건 라운드 cx 라운드 x 앞에 곱해진 부분이야. 바로 이 부분이지:
라운드 u cx 라운드 cx + 베타 라운드 v x - x 라운드 x - x * 라운드 x - x 라운드 cx
이 부분이 0이 된다는 게 엔벨롭 정리의 핵심이야!
이 부분이 0이 되면 뭐가 좋냐고? 라운드 cx 라운드 x처럼 복잡하고 어려운 부분이 0이랑 곱해지니까, 그 부분이 싹 사라져서 식이 엄청 간단해지는 거지. 그래서 엔벨롭 정리가 중요해!
왜 그 부분이 0이 될까? FOC 덕분이야!
그럼 왜 라운드 u cx 라운드 cx + 베타 라운드 v x - x 라운드 x - x * 라운드 x - x 라운드 cx 이 부분이 0이 되는 걸까?
이유는 간단해. 이 부분이 벨만 방정식의 원래 형태를 컨트롤 변수인 c로 미분해서 얻은 FOC와 똑같기 때문이야.
설명을 쉽게 하기 위해 cx를 그냥 c로 바꿔서 보자. 그러면 위에서 말한 부분이 이렇게 돼.
라운드 uc 라운드 c + 베타 라운드 v x - c 라운드 x - c * 라운드 x - c 라운드 c
여기서 마지막 부분인 라운드 x - c 라운드 c를 계산하면, x - c를 c로 미분하는 거니까 -1이 돼.
그래서 이 부분을 더 간단하게 만들면 이렇게 돼.
라운드 uc 라운드 c + 베타 라운드 v x - c 라운드 x - c * (-1)
이제 지난 시간에 구했던 FOC를 다시 떠올려보자. 벨만 방정식은 vx = Uc + 베타 VX - C 였지? 이걸 컨트롤 변수인 c로 미분해서 FOC를 구했었어. 연쇄 법칙을 쓰면 이렇게 됐었지.
라운드 uc 라운드 c + 베타 라운드 v x - c 라운드 x - c * (-1) = 0
어때? 우리가 0이 된다고 했던 부분이 바로 이 FOC와 똑같다는 걸 알 수 있지? 이게 바로 엔벨롭 정리가 적용되는 원리야.
엔벨롭 정리 적용 후: 깔끔해진 벨만 방정식
자, 이제 엔벨롭 정리를 적용해서 벨만 방정식을 다시 정리해보자.
옵티멀 정책을 적용한 벨만 방정식을 x로 미분한 결과는 이랬었지.
라운드 vx 라운드 x = 라운드 u cx 라운드 cx + 베타 라운드 v x - x 라운드 x - x * 라운드 x - x 라운드 cx * 라운드 cx 라운드 x + 베타 라운드 v x - x 라운드 x - x * 라운드 x - x 라운드 x
여기에 FOC가 0이라는 걸 이용하면 식이 훨씬 간단해져.
라운드 vx 라운드 x = 베타 라운드 v x - x 라운드 x - x * 라운드 x - x 라운드 x
복잡했던 부분이 싹 사라졌지?
이걸 더 간단하게 만들 수 있어. 마지막 부분인 라운드 x - x 라운드 x는 1이 돼. (이 부분이 조금 헷갈릴 수 있는데, 베타 v x - x에서 x 부분을 x로 미분하는 거라고 생각하면 돼. 그리고 x - x에서 뒤에 cx는 이미 다른 부분에서 미분했기 때문에 신경 안 써도 돼.)
그래서 최종적으로 엔벨롭 정리를 적용해서 간단하게 정리된 벨만 방정식은 이렇게 돼.
v프라임 x = 베타 v프라임 x - cx
여기서 cx를 c로 바꿔주면 더 익숙한 형태로 볼 수 있어.
v프라임 x = 베타 v프라임 x - c
이게 바로 벨만 방정식을 풀어낸 결과야! 현재 시점의 가치 함수를 미분한 결과가 다음 시점의 가치 함수를 미분한 결과에 베타를 곱한 것과 같다는 걸 의미하지.
오일러 방정식 유도: 벨만 방정식에서 시작!
이 벨만 방정식 풀이 결과를 변형하면 '오일러 방정식'을 유도할 수 있어.
v프라임 xt = 베타 v프라임 xt - ct
여기서 제약 조건(xt + 1 = xt - ct)을 사용하면 이렇게 돼.
v프라임 xt = 베타 v프라임 xt + 1
이제 FOC를 다시 활용해볼까? FOC에서 라운드 uc 라운드 c + 베타 라운드 v x - c 라운드 x - c * (-1) = 0 이 식을 변형하면 라운드 uc 라운드 c = 베타 라운드 v x - c 라운드 x - c 가 돼. 이걸 간단하게 쓰면 u프라임 c = 베타 v프라임 x - c 가 되지.
시점을 붙여서 쓰면 u프라임 ct = 베타 v프라임 xt - ct 가 되고, 제약 조건을 사용하면 u프라임 ct = 베타 v프라임 xt + 1 이 돼.
이걸 벨만 방정식 풀이 결과에 대입하면 어떻게 될까?
v프라임 xt = 베타 v프라임 xt + 1 에서, 베타 v프라임 xt + 1 부분이 u프라임 ct와 같다는 걸 알 수 있지!
그래서 벨만 방정식 풀이 결과는 이렇게 바뀌어.
v프라임 xt = u프라임 ct
이 결과의 장점은 시점이 일치한다는 거야. 원래 벨만 방정식 풀이 결과는 왼쪽과 오른쪽 시점이 달랐는데, 이제는 둘 다 t로 같아졌지.
이걸 다시 시점을 t + 1로 바꿔주면 이렇게 돼.
v프라임 xt + 1 = u프라임 ct + 1
이제 이 모든 결과를 종합하면 드디어 오일러 방정식을 얻을 수 있어!
u프라임 ct = 베타 u프라임 ct + 1
이게 바로 오일러 방정식이야! 케이크 먹기 문제에서 오일러 방정식은 "가치 함수를 최대로 만들기 위해서는 모든 시점에서의 한계 효용이 미래 가치를 할인한 값과 같아야 한다"는 걸 의미해.
지금까지 복잡했지만 벨만 방정식을 풀어서 오일러 방정식을 구해봤어. 풀이 과정이 좀 어렵지만 정확하게 이해하는 게 중요해! 다음 시간에는 '가치 함수 반복법 시각화'에 대해 알아볼 거야.