[RL] MDP

Markov Decision Process

 

action -> action -> action -> ...

 

$S_{0}$   $\rightarrow$   $S_{1}$   $\rightarrow$  $S_{2}$

$\downarrow$              $\downarrow$              $\downarrow$

$a_{0}$           $a_{1}$           $a_{2}$

 

 

MDP란 무엇인가요?

MDP는 강화학습의 기본적인 프레임워크입니다. 강화학습은 특정 환경에서 에이전트가 최대의 보상을 얻기 위해 행동을 취하는 것을 학습하는 것입니다. MDP는 이러한 강화학습의 프레임워크 중 하나로, 강화학습에서 에이전트가 어떤 환경에서 행동을 취해야 할지 결정하는 데 사용됩니다.

MDP가 어떻게 작동하나요?
MDP는 상태(state), 행동(action), 보상(reward), 상태전이확률(state transition probability) 및 할인인자(discount factor)로 구성됩니다. 각각의 요소는 다음과 같은 의미를 가집니다.

• 상태(state): 에이전트가 현재 위치한 상황을 나타내는 것입니다.
• 행동(action): 에이전트가 선택할 수 있는 행동입니다.
• 보상(reward): 에이전트가 특정 행동을 했을 때 받는 보상입니다.
• 상태전이확률(state transition probability): 상태 s에서 행동 a를 취했을 때 다음 상태 s'로 전이될 확률입니다.할인인자(discount factor): 미래에 받을 보상에 대한 가중치를 조정하는 요소입니다.

MDP는 현재 상태에서 가능한 모든 행동 중에서 가장 좋은 행동을 선택하는 것을 목표로 합니다. 에이전트는 현재 상태에서 가능한 모든 행동을 평가하고, 그 중에서 가장 높은 보상을 받을 것으로 예상되는 행동을 선택합니다. 이러한 행동 선택은 에이전트가 현재 상태에서 받을 수 있는 모든 가능한 상태-행동 쌍에 대한 가치함수(value function)를 계산하여 이루어집니다.

 

사용 사례

MDP 활용 예시

MDP는 여러 분야에서 활용되며, 예측, 제어, 강화학습 등 다양한 분야에서 사용됩니다. 여기서는 MDP의 강화학습 분야에서의 활용 예시를 살펴보겠습니다.

강화학습은 인공지능의 한 분야로, 에이전트가 주어진 환경에서 보상을 최대화하는 방향으로 학습하는 것을 말합니다. 이때, MDP는 강화학습의 기반이 되는 이론입니다.

강화학습에서는 보상(reward)과 상태(state)를 이용하여 MDP를 모델링합니다. 예를 들어, 로봇이 주어진 공간에서 어떤 작업을 수행하고, 그에 대한 보상이 주어지는 경우, 로봇의 상태와 보상을 이용하여 MDP를 구성할 수 있습니다. 이렇게 MDP를 모델링하면, 강화학습 알고리즘을 이용하여 로봇이 최적의 작업을 수행할 수 있도록 학습할 수 있습니다.

또한, MDP를 이용하여 게임을 학습하는 것도 가능합니다. 예를 들어, 알파고는 MDP를 이용하여 바둑 게임을 학습하였습니다. 바둑 게임에서 상태는 바둑판의 상태를 의미하며, 보상은 승리와 패배를 의미합니다. 이렇게 MDP를 이용하여 바둑 게임을 모델링하면, 알파고는 강화학습 알고리즘을 이용하여 최적의 수를 선택할 수 있도록 학습합니다.

또한, 자율주행 자동차의 학습에도 MDP가 활용됩니다. 자율주행 자동차는 주어진 도로 상황에서 안전하게 운전하기 위해 MDP를 이용하여 학습합니다. 상태는 주행 환경을 의미하며, 보상은 안전한 주행과 교통 법규 준수를 의미합니다. 이렇게 MDP를 이용하여 자율주행 자동차를 학습하면, 안전하게 운전할 수 있는 자동차를 만들 수 있습니다.

이처럼 MDP는 강화학습 분야에서 매우 중요한 이론 중 하나입니다. 다양한 분야에서 MDP를 활용하여 학습하고, 최적의 결과를 얻을 수 있습니다. 따라서, MDP를 이해하고 활용하는 것은 인공지능 분야에서 핵심적인 역할을 합니다.

 

 

MDP를 푸는 방법 중 하나는 Dynamic Programming(DP)입니다. DP는 MDP에서 가치 함수를 구하는 방법으로, Bellman Equation을 통해 구할 수 있습니다. Bellman Equation은 현재 상태에서 다음 상태로 갈 때 얻는 보상과 그 다음 상태에서의 가치 함수를 고려해 현재 상태의 가치 함수를 업데이트하는 식입니다. DP를 이용하면 MDP의 최적 가치 함수를 구할 수 있으며, 최적 가치 함수를 구하면 최적 정책을 찾을 수 있습니다.

하지만 DP는 MDP의 상태 공간이 작을 때만 사용할 수 있습니다. 상태 공간이 커지면 계산 비용이 기하급수적으로 증가하게 되어 DP로는 해결할 수 없는 문제가 됩니다. 이런 경우에는 다른 방법을 사용해야 합니다.

여기서 소개할 방법은 Monte Carlo(MC)입니다. MC는 DP와는 다르게, 에피소드를 모두 진행한 후 각 상태의 가치 함수를 추정합니다. 이를 통해 최적 정책을 찾을 수 있습니다. 또한, MC는 DP와 달리 상태 공간이 커도 사용할 수 있는 방법입니다. 하지만 MC는 에피소드를 모두 진행한 후에야 가치 함수를 추정할 수 있기 때문에 계산 비용이 큽니다.

따라서, MC와 DP의 장단점을 고려하여 적절한 방법을 선택해야 합니다. 상태 공간이 작을 때는 DP를 사용하고, 상태 공간이 클 때는 MC를 사용하는 것이 좋습니다.

MDP를 푸는 또 다른 방법으로는 Temporal Difference(TD)가 있습니다. TD는 DP와 MC의 장점을 결합한 방법으로, 에피소드가 끝나지 않아도 가치 함수를 추정할 수 있습니다. 따라서 계산 비용이 적고, DP와 달리 에피소드가 끝나기를 기다릴 필요가 없습니다. TD는 RL(Reinforcement Learning)에서 가장 많이 사용되는 방법 중 하나입니다.

이처럼 MDP를 푸는 방법에는 DP, MC, TD 등이 있습니다. 각 방법마다 장단점이 있으며, 상황에 맞게 적절한 방법을 선택하여 문제를 해결해야 합니다.