[AI] 강화학습

Step 1: 강화학습 개념 이해

강화 학습(Reinforcement Learning, RL)은 에이전트(Agent)가 환경(Environment)과 상호작용하면서 보상(Reward)을 통해 최적의 행동(Policy)을 학습하는 방법입니다. 여기서 에이전트는 목표를 달성하기 위해 행동을 선택하고, 그에 따라 보상이나 벌을 받습니다. 목표는 장기적인 누적 보상(Return)을 최대화하는 최적의 정책을 학습하는 것입니다.

주요 구성 요소

• 에이전트(Agent): 행동을 수행하고 환경에서 보상을 받는 주체.
• 환경(Environment): 에이전트가 상호작용하는 대상.
• 상태(State): 에이전트가 현재 환경에서 처한 상황.
• 행동(Action): 에이전트가 상태에서 선택할 수 있는 동작.
• 보상(Reward): 행동의 결과로 주어지는 피드백, 긍정적이거나 부정적일 수 있음.
• 정책(Policy): 상태에서 어떤 행동을 취할지 결정하는 전략.
• 가치 함수(Value Function): 상태나 상태-행동 쌍의 미래 보상 기대치.

---

Step 2: 강화학습 문제 정의

강화학습의 문제는 일반적으로 Markov 결정 과정(Markov Decision Process, MDP)으로 정의됩니다. MDP는 다음과 같은 4가지 요소로 구성됩니다:

• 상태 공간(S): 에이전트가 탐색할 수 있는 모든 상태들의 집합.
• 행동 공간(A): 에이전트가 취할 수 있는 모든 행동들의 집합.
• 전이 확률(P): 특정 상태에서 행동을 취했을 때 다음 상태로 전이될 확률.
• 보상 함수(R): 상태나 상태-행동 쌍에 대한 보상을 반환하는 함수.

강화 학습은 보통 위 MDP에서 최적의 정책을 학습하는 문제로 정의됩니다.

---

Step 3: 정책과 가치 함수

강화 학습에서 핵심은 정책(Policy)와 가치 함수(Value Function)입니다.

정책(π): 상태에서 행동을 결정하는 규칙입니다. 정책은 확률적으로 행동을 선택하는 확률 정책(stochastic policy)과 항상 동일한 행동을 선택하는 결정론적 정책(deterministic policy)으로 나뉩니다.

$\pi(a|s) = P(A_t = a | S_t = s)$

여기서 $\pi(a|s)$는 상태 $s$에서 행동 $a$를 선택할 확률입니다.

---

상태 가치 함수(V): 특정 상태에서 미래에 받을 것으로 기대되는 보상의 총합을 나타냅니다.

$V_{\pi}(s) = \mathbb{E}{\pi} \left[ \sum{t=0}^{\infty} \gamma^t R_{t+1} \mid S_0 = s \right]$

여기서 $\gamma$는 할인율(0 < $\gamma \leq 1$)로, 미래 보상을 얼마나 중요하게 여길지를 결정합니다.

---

행동 가치 함수(Q): 상태-행동 쌍에서 미래 보상의 기대치를 나타내며, 상태와 행동을 모두 고려합니다.

$Q_{\pi}(s, a) = \mathbb{E}{\pi} \left[ \sum{t=0}^{\infty} \gamma^t R_{t+1} \mid S_0 = s, A_0 = a \right]$

---

Step 4: 최적 정책 학습

강화학습의 목표는 최적의 정책 $\pi^{*}$를 찾는 것입니다. 최적의 정책은 상태 또는 상태-행동 쌍에서 가장 높은 보상을 기대할 수 있는 행동을 선택합니다:

$\pi^{}(s) = \arg \max_{a} Q^{}(s, a)$

---

Step 5: 주요 알고리즘

Q-learning: 오프폴리시(off-policy) 학습 방법으로, 에이전트가 최적의 Q-값(상태-행동 가치)을 학습합니다. Q-테이블을 업데이트하며 최적의 행동을 선택합니다.

$Q(s,a) = Q(s,a) + \alpha \left( R + \gamma \max_{a'} Q(s',a') - Q(s,a) \right)$

여기서 $\alpha$는 학습률, $\gamma$는 할인율입니다.

---

SARSA (State-Action-Reward-State-Action): 온폴리시(on-policy) 학습 방법으로, 실제로 선택한 행동을 바탕으로 Q-값을 업데이트합니다.

$Q(s,a) = Q(s,a) + \alpha \left( R + \gamma Q(s',a') - Q(s,a) \right)$

---

정책 경사 방법(Policy Gradient): 정책을 직접적으로 학습하는 방법입니다. 파라미터화된 정책을 사용하여 보상을 최대화하기 위한 경사 하강법을 적용합니다. 보통 REINFORCE 알고리즘이 사용됩니다.

$\nabla J(\theta) = \mathbb{E} \left[ \nabla_{\theta} \log \pi_{\theta}(a|s) Q_{\pi}(s,a) \right]$

---

Step 6: 심층 강화학습(Deep Reinforcement Learning)

최근에는 심층 강화학습(Deep Reinforcement Learning)이 널리 활용됩니다. 이 방법은 딥러닝을 강화학습에 결합한 방식으로, 대규모 상태 공간에서도 강력한 성능을 발휘할 수 있습니다. 대표적인 알고리즘으로는 DQN(Deep Q-Network)이 있습니다.

---

Step 7: 강화학습의 응용 및 한계

응용 분야:

• 게임 AI: AlphaGo, OpenAI Five 등의 AI가 대표적입니다.
• 로봇 제어: 강화 학습을 통해 로봇이 자율적으로 동작할 수 있도록 학습.
• 자율주행차: 차량이 환경과 상호작용하며 스스로 주행 방법을 학습.

한계:

• 탐색 공간 문제: 상태와 행동의 조합이 많아질수록 학습이 느려지고 어려워집니다.
• 보상 설계: 보상을 잘못 설정하면 의도한 대로 학습되지 않을 수 있습니다.

---

결론: 강화학습은 보상을 기반으로 학습하는 강력한 AI 기술이며, 특히 복잡한 문제에서 높은 성능을 보입니다. 강화학습의 다양한 알고리즘과 심층 강화학습은 실제 응용에서 매우 중요한 역할을 하고 있습니다.