[AI] Q-Learning

Step 1: Q-Learning 개념

Q-Learning은 강화학습 알고리즘 중 하나로, Off-policy 방식입니다. 에이전트가 환경에서 최적의 행동을 찾기 위해 Q-값을 학습합니다.

---

Step 2: Q-값 정의

Q-값은 상태-행동 쌍에서 얻을 수 있는 누적 보상의 기대치를 의미합니다. Q(s, a)로 표현됩니다.

---

Step 3: Bellman 방정식

Q-Learning은 Bellman 방정식을 기반으로 Q-값을 업데이트합니다.

$Q(s,a) = Q(s,a) + \alpha \left( R + \gamma \max_{a'} Q(s', a') - Q(s, a) \right)$

• $\alpha$: 학습률
• $\gamma$: 할인율
• $R$: 즉각적인 보상
• $\max_{a'} Q(s', a')$: 다음 상태에서 예상되는 최대 보상

---

Step 4: 탐험 vs 활용 (Exploration vs Exploitation)

• 탐험(Exploration): 새로운 상태-행동을 시도
• 활용(Exploitation): 현재까지 학습한 정보를 바탕으로 최대 보상을 얻는 행동을 선택

대표적인 방법: $ε-greedy$

---

Step 5: Q-테이블

Q-값은 상태와 행동에 따라 Q-테이블에 저장됩니다. 상태와 행동의 조합이 커질수록 테이블 크기도 커지므로, 대규모 문제에서는 **심층 Q-네트워크(DQN)**로 확장할 수 있습니다.

---

Step 6: 알고리즘 절차

1. 초기화: Q-테이블을 임의의 값으로 초기화.
2. 상태 $s$ 선택.
3. 행동 $a$ 선택 ($ε-greedy$).
4. 보상 $R$ 받기, 새로운 상태 $s'$ 관찰.
5. Q-테이블 업데이트

$Q(s,a) = Q(s,a) + \alpha \left( R + \gamma \max_{a'} Q(s', a') - Q(s, a) \right)$

1. 상태 $s'$로 이동, 반복.

---

Step 7: 학습 종료 조건

일정 에포크(epoch) 동안 Q-값이 더 이상 변화하지 않으면 학습을 종료합니다.

---

Step 8: 장점과 단점

• 장점: 간단하고 구현이 쉬우며, 이론적으로 수렴이 보장됩니다.
• 단점: 상태 공간이 크면 Q-테이블 관리는 어려워지며, 연속적인 상태나 행동에서는 한계가 있습니다.

---

Step 9: 확장

• DQN: 신경망을 이용해 Q-값을 근사합니다.
• SARSA: Q-Learning과 달리 실제로 선택한 행동을 바탕으로 학습합니다.