강화학습Reinforcement Learning
Reinforcement Learning
환경에서 행동한 결과로 받는 보상을 바탕으로 더 나은 행동 방식을 배우는 방법이에요.
쉽게 비유하면
게임에서 여러 전략을 시도하고 점수를 보며 전략을 고쳐 가는 것과 같아요.
조금 더 자세히
행동을 고르는 정책을 학습하며, 당장의 점수뿐 아니라 이후까지 누적되는 보상을 고려할 수 있어요. 새로운 행동을 탐색하는 것과 아는 전략을 활용하는 것의 균형이 중요해요.
보상은 게임 점수, 자동 검사 결과, 사람의 선호를 반영한 신호 등으로 만들 수 있어요. LLM의 행동과 문제 해결 능력을 조정하는 데도 활용돼요.
왜 생겼나요
각 순간의 정답을 직접 알려 주기 어려워도, 여러 행동을 거친 최종 결과가 좋은지는 평가할 수 있는 문제를 다루기 위해 발전했어요.
어떻게 작동하나요
- 1. 관찰과 행동 현재 상태를 보고 정책에 따라 행동해요.
- 2. 보상 수집 행동 결과와 보상 신호를 받아요.
- 3. 정책 개선 누적 보상을 높이도록 행동 방식을 조정해요.
활용 예시
- 게임 전략 학습
- 로봇 제어
- 언어 모델의 선호 기반 후속 학습
흔한 오해
보상이 높으면 실제 목표도 달성한 건가요?
보상 설계가 잘못되면 점수만 높이는 행동을 배울 수 있어요. 보상과 실제 품질이 맞는지 별도로 확인해야 해요.
이렇게 쓰여요
보상 설계
“완료 횟수만 보상하면 품질을 놓칠 수 있으니, 실제 성공 조건을 반영하자”라고 이야기해요.
관련 용어
함께 보면 좋은 용어
최종 업데이트