[RL] Deterministic and stochastic exploration - 결정론적 탐색과 비결정론적 탐색

 

 

 

 

강화학습에서는 탐험과 이용 사이의 균형을 맞추는 것이 중요. 그래서 결정론적 탐색과 비결정론적 탐색을 적절히 조합하는 것이 좋다.

 

결정론적 탐색은 일정한 규칙에 따라 탐색을 진행하는데 이 방법은 매우 예측 가능하고 안정적이지만, 새로운 상황에 대처할 수 없음. 그래서 다양한 상황에서 최적 솔루션을 찾는 데 제한이 있다.

 

반면에, 비결정론적 탐색은 무작위성을 이용해 탐색을 진행하는 것.

이 방법은 새로운 상황에 대처하는 데 유용하며, 최적 솔루션을 찾는 데 있어서도 더 넓은 탐색 공간을 탐험할 수 있음. 하지만 불안정성과 무작위성으로 인한 부정확성이 있어, 최적 솔루션에 다다르는 데 시간이 오래 걸릴 수 있음.

 

그러니까, 강화학습에서는 결정론적 탐색과 비결정론적 탐색을 적절히 조합하여 탐색을 수행하는 게 중요한 포인트다. 초기에는 비결정론적 탐색을 통해 더 많은 탐험을 하고, 최적 솔루션에 가까워질수록 결정론적 탐색을 적용하는 것이 좋음. 이렇게 하면 다양한 상황에서 최적의 솔루션을 찾을 수 있고, 높은 성능을 얻을 수 있다.

 

---

eg.

	^ |
<-	(^^)	->

 

Deterministic Search : 'go up' -> 100% go up

규칙이 있어 현재 위치에서 올라가는 규칙이면 무조건 올라간다.

 

Non-Deterministic Search : 'go up' -> 10% go left, 80% go up, 10% go right

옆으로 샐 수 있다...