서브메뉴
검색
본문
Powered by NAVER OpenAPI
-
-
강화학습 첫걸음 (텐서플로로 살펴보는 Q 러닝, MDP, DQN, A3C 강화학습 알고리즘)
저자 : 아서 줄리아니
출판사 : 한빛미디어
출판년 : 2017
ISBN : 9791162240298
책소개
알파고의 기반인 강화학습은 게임 AI나 자율주행 등 업계 활용성이 높아 인공지능의 미래로 단연 주목받고 있다. 이 책은 복잡한 이론을 두루뭉술하게 설명하는 대신, 예제 코드를 직접 돌려보며 강화학습 알고리즘을 익히게 도와준다.
기본적인 텐서플로 사용법은 알지만 강화학습은 처음인 개발자를 대상으로, 주요 강화학습 알고리즘이 어떤 원리이며 어떻게 구현할 수 있는지 알려준다. 오픈AI 짐의 카트-폴, 얼어붙은 강 같은 고전 문제부터 <둠> 같은 3D 게임까지 이르기까지 흥미로운 예제를 통해 Q 러닝, MDP, DQN, A3C 등 주요 강화학습 알고리즘을 알차게 배울 수 있다.
기본적인 텐서플로 사용법은 알지만 강화학습은 처음인 개발자를 대상으로, 주요 강화학습 알고리즘이 어떤 원리이며 어떻게 구현할 수 있는지 알려준다. 오픈AI 짐의 카트-폴, 얼어붙은 강 같은 고전 문제부터 <둠> 같은 3D 게임까지 이르기까지 흥미로운 예제를 통해 Q 러닝, MDP, DQN, A3C 등 주요 강화학습 알고리즘을 알차게 배울 수 있다.
[알라딘에서 제공한 정보입니다.]
출판사 서평
인공지능의 미래로 주목받는 강화학습
쉽고 빠르게 코드로 익히기
하루가 멀다고 새로운 기법이 나오는 딥러닝 분야에서도 단연 주목받는 기법이 강화학습입니다. 알파고의 기반이기도 한 강화학습은 사람이 자전거 타는 법을 배울 때처럼 시행착오를 겪으며 더 나은 보상을 받는 쪽으로 행동 지침을 바로잡는 학습법입니다. 게임 AI나 자율주행 등 업계 활용성이 높아 인공지능의 미래로 더욱 주목받고 있습니다.
머신러닝, 딥러닝 커리큘럼을 체계적으로 익히는 것도 좋은 학습법이지만, 당면 과제 해결을 위해 강화학습부터 공부하는 수요도 늘고 있습니다. 이 책은 개발자를 위해 텐서플로 코드 중심으로 강화학습을 설명하는 가이드북입니다. 오픈AI 짐의 환경과 <둠> 같은 게임을 예로 들어 밴딧, MDP, Q 러닝, 더블/듀얼링 DQN, DRQN, A3C 등 주요 강화학습 알고리즘을 흥미롭게 배울 수 있습니다.
책 후반부에서는 짧게나마 강화학습과 관련된 몇 가지 심화 주제를 다룹니다. 에이전트 학습 과정을 시각화해보고, 환경 모델을 활용하는 방법을 살펴보며, 엡실론-그리디, 볼츠만, 베이지언 등의 여러 액션 선택 전략을 비교해봅니다. 학습하는 정책 자체를 학습하는 메타 강화학습의 개념도 알아봅니다.
이론을 어설프게 설명하려 들지 않고, 파이썬과 텐서플로 사용법도 다루지 않습니다. 고전적인 문제부터 최근 발표된 연구에 이르기까지, 주요 강화학습 알고리즘의 원리를 이해하고 구현하는 데 집중한 책입니다.
쉽고 빠르게 코드로 익히기
하루가 멀다고 새로운 기법이 나오는 딥러닝 분야에서도 단연 주목받는 기법이 강화학습입니다. 알파고의 기반이기도 한 강화학습은 사람이 자전거 타는 법을 배울 때처럼 시행착오를 겪으며 더 나은 보상을 받는 쪽으로 행동 지침을 바로잡는 학습법입니다. 게임 AI나 자율주행 등 업계 활용성이 높아 인공지능의 미래로 더욱 주목받고 있습니다.
머신러닝, 딥러닝 커리큘럼을 체계적으로 익히는 것도 좋은 학습법이지만, 당면 과제 해결을 위해 강화학습부터 공부하는 수요도 늘고 있습니다. 이 책은 개발자를 위해 텐서플로 코드 중심으로 강화학습을 설명하는 가이드북입니다. 오픈AI 짐의 환경과 <둠> 같은 게임을 예로 들어 밴딧, MDP, Q 러닝, 더블/듀얼링 DQN, DRQN, A3C 등 주요 강화학습 알고리즘을 흥미롭게 배울 수 있습니다.
책 후반부에서는 짧게나마 강화학습과 관련된 몇 가지 심화 주제를 다룹니다. 에이전트 학습 과정을 시각화해보고, 환경 모델을 활용하는 방법을 살펴보며, 엡실론-그리디, 볼츠만, 베이지언 등의 여러 액션 선택 전략을 비교해봅니다. 학습하는 정책 자체를 학습하는 메타 강화학습의 개념도 알아봅니다.
이론을 어설프게 설명하려 들지 않고, 파이썬과 텐서플로 사용법도 다루지 않습니다. 고전적인 문제부터 최근 발표된 연구에 이르기까지, 주요 강화학습 알고리즘의 원리를 이해하고 구현하는 데 집중한 책입니다.
[알라딘에서 제공한 정보입니다.]
목차정보
PART I 주요 알고리즘 및 구현
CHAPTER 1 강화학습 소개
CHAPTER 2 밴딧 문제
2.1 정책 경사
2.2 멀티암드 밴딧의 구현
CHAPTER 3 콘텍스트 밴딧
3.1 콘텍스트 밴딧 구현
CHAPTER 4 마르코프 결정 과정
4.1 기본적인 정책 경사 에이전트 구현
CHAPTER 5 Q 러닝
5.1 테이블 환경에 대한 테이블식 접근법
5.2 신경망을 통한 Q 러닝
CHAPTER 6 딥 Q 네트워크
6.1 개선 1: 합성곱 계층
6.2 개선 2: 경험 리플레이
6.3 개선 3: 별도의 타깃 네트워크
6.4 DQN을 넘어서
6.5 더블 DQN
6.6 듀얼링 DQN
6.7 모든 것을 조합하기
6.8 개선된 딥 Q 네트워크 구현
CHAPTER 7 부분관찰성과 순환 신경망
7.1 부분관찰성 문제
7.2 제한되고 변화하는 세계 이해하기
7.3 순환 신경망
7.4 텐서플로 구현을 위한 변경점
7.5 제한된 그리드 세계
7.6 DRQN 구현
CHAPTER 8 비동기적 어드밴티지 액터-크리틱
8.1 A3C의 세 가지 A
8.2 A3C 구현
8.3 <둠> 게임 플레이하기
PART II 심화 주제
CHAPTER 9 에이전트의 생각과 액션 시각화
9.1 컨트롤 센터의 인터페이스
9.2 에이전트의 머릿속 들여다보기
9.3 강화학습 컨트롤 센터 이용
CHAPTER 10 환경 모델 활용하기
10.1 모델 기반의 강화학습 구현
CHAPTER 11 탐험을 위한 액션 선택 전략
11.1 탐험은 왜 하는 것인가요?
11.2 그리디 접근법
11.3 랜덤 접근법
11.4 엡실론-그리디 접근법
11.5 볼츠만 접근법
11.6 베이지언 접근법(드롭아웃)
11.7 각 전략의 성능 비교 및 구현
11.8 고급 기법
CHAPTER 12 정책 학습을 위한 정책 학습
12.1 메타 에이전트 만들기
12.2 메타 실험
12.3 마치며
CHAPTER 1 강화학습 소개
CHAPTER 2 밴딧 문제
2.1 정책 경사
2.2 멀티암드 밴딧의 구현
CHAPTER 3 콘텍스트 밴딧
3.1 콘텍스트 밴딧 구현
CHAPTER 4 마르코프 결정 과정
4.1 기본적인 정책 경사 에이전트 구현
CHAPTER 5 Q 러닝
5.1 테이블 환경에 대한 테이블식 접근법
5.2 신경망을 통한 Q 러닝
CHAPTER 6 딥 Q 네트워크
6.1 개선 1: 합성곱 계층
6.2 개선 2: 경험 리플레이
6.3 개선 3: 별도의 타깃 네트워크
6.4 DQN을 넘어서
6.5 더블 DQN
6.6 듀얼링 DQN
6.7 모든 것을 조합하기
6.8 개선된 딥 Q 네트워크 구현
CHAPTER 7 부분관찰성과 순환 신경망
7.1 부분관찰성 문제
7.2 제한되고 변화하는 세계 이해하기
7.3 순환 신경망
7.4 텐서플로 구현을 위한 변경점
7.5 제한된 그리드 세계
7.6 DRQN 구현
CHAPTER 8 비동기적 어드밴티지 액터-크리틱
8.1 A3C의 세 가지 A
8.2 A3C 구현
8.3 <둠> 게임 플레이하기
PART II 심화 주제
CHAPTER 9 에이전트의 생각과 액션 시각화
9.1 컨트롤 센터의 인터페이스
9.2 에이전트의 머릿속 들여다보기
9.3 강화학습 컨트롤 센터 이용
CHAPTER 10 환경 모델 활용하기
10.1 모델 기반의 강화학습 구현
CHAPTER 11 탐험을 위한 액션 선택 전략
11.1 탐험은 왜 하는 것인가요?
11.2 그리디 접근법
11.3 랜덤 접근법
11.4 엡실론-그리디 접근법
11.5 볼츠만 접근법
11.6 베이지언 접근법(드롭아웃)
11.7 각 전략의 성능 비교 및 구현
11.8 고급 기법
CHAPTER 12 정책 학습을 위한 정책 학습
12.1 메타 에이전트 만들기
12.2 메타 실험
12.3 마치며
[알라딘에서 제공한 정보입니다.]