자료검색

인간보다 언어를 더 잘 이해하고 구현하는 고성능 AI 언어 모델 BERT

이 책은 자연어 응용 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서다. 가장 먼저 사전 학습을 개선하여 성능을 향상하는 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT와 같은 BERT 변형 모델을 간단한 언어로 잘 풀어서 친절하게 설명한다. 다음으로 BioBERT 및 ClinicalBERT와 같은 특정 도메인에 해당하는 BERT 모델을 배우고 BERT의 재미있는 변형 모델인 VideoBERT도 살펴본다. 특별히, 본문 맨 뒤에는 한국어에 잘 동작하는 한국어 언어 모델 KoBERT, KoGPT2, KoBART를 추가 집필하여 붙였다. 이 책을 따라 모든 학습을 마치고 나면 BERT와 변형 모델을 활용해 여러 자연어 처리 태스크를 수월하게 처리할 수 있을 것이다.

인간의 인지 능력을 능가하는 구글 AI 모델, BERT

자연어 처리에서 가장 화두가 되는 BERT는 2019년 11월에 구글이 공개한 AI 언어 모델입니다. 일부 성능 평가에서 인간을 능가하며 자연어 처리 발전에 큰 영향을 끼쳤습니다. 많은 사람이 자연어 처리 분야만큼은 AI를 적용하는 건 쉽지 않다고 생각했습니다. 하지만 BERT의 등장으로 그 가능성을 입증했으며, 자연어 처리 기술의 폭발적인 발전을 이루어냈습니다. 언어를 활용한 서비스를 개발하는 기관에서는 이미 BERT를 사용하고 있습니다. 문장 내 어절을 한 글자씩 나눈 다음 앞뒤로 자주 만나는 글자를 한 단어로 인식하는 방식으로 언어 처리 11개 분야에서 많은 성능 향상을 이뤄 주목을 받고 있습니다.

이 책에서는 자연어 처리에서 핵심 트렌드로 자리 잡은 BERT의 기본 개념부터 다양한 변형 모델과 응용 사례까지 모두 소개합니다. 전반부에서는 BERT의 전체 과정을 이해하는 데 기본이 되는 BERT와 트랜스포머를 다룹니다. 이어서 트랜스포머의 인코더와 디코더가 어떻게 작동하는지도 배우게 됩니다. 후반부에서는 BERT 외에 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT 등 다양한 BERT의 파생 모델을 소개합니다. 마지막으로 역자가 한국어의 불규칙한 언어 특성을 극복한 한국어 모델인 KoBERT, KoGPT2, KoBART에 대한 내용을 추가했습니다.

이 책 한 권이면 복잡한 BERT 개념을 완벽하게 이해하고 적은 양의 데이터로 인공지능을 구현할 수 있게 됩니다. 자연어 처리 업무를 단순하게 만들고 싶거나 인공지능, 딥러닝의 최신 트렌드가 무엇인지 궁금한 모든 이에게 훌륭한 안내서가 되어줄 것입니다.
주요 내용
● 트랜스포머 모델
● BERT의 작동 원리
● 마스크 언어 모델과 다음 문장 예측 태스크를 활용한 사전 학습
● BERT를 활용해 상황에 맞는 단어 및 문장 임베딩 생성
● 다운스트림 태스크를 위한 BERT 파인 튜닝
● ALBERT, RoBERTa, ELECTRA, SpanBERT 모델
● 지식 증류 기반 BERT 모델
● XLM 및 XLM-R 언어 모델
● sentence-BERT. VideoBERT, BART 모델
● KoBERT, KoGPT2, KoBART 모델

[PART I BERT 시작하기]

CHAPTER 1 트랜스포머 입문
1.1 트랜스포머 소개
1.2 트랜스포머의 인코더 이해하기
1.3 트랜스포머 디코더 이해하기
1.4 인코더와 디코더 결합
1.5 트랜스포머 학습
1.6 마치며
1.7 연습 문제
1.8 보충 자료

CHAPTER 2 BERT 이해하기
2.1 BERT 기본 개념
2.2 BERT의 동작 방식
2.3 BERT의 구조
2.4 BERT 사전 학습
2.5 하위 단위 토큰화 알고리즘
2.6 마치며
2.7 연습 문제
2.8 보충 자료

CHAPTER 3 BERT 활용하기
3.1 사전 학습된 BERT 모델 탐색
3.2 사전 학습된 BERT에서 임베딩을 추출하는 방법
3.3 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법
3.4 다운스트림 태스크를 위한 BERT 파인 튜닝 방법
3.5 마치며
3.6 연습 문제
3.7 보충 자료

[PART II BERT 파생 모델]

CHAPTER 4 B ERT의 파생 모델 I: ALBERT, RoBERTa, ELECTRA, SpanBERT
4.1 ALBERT
4.2 ALBERT에서 임베딩 추출
4.3 RoBERTa
4.4 ELECTRA 이해하기
4.5 SpanBERT로 스팬 예측
4.6 마치며
4.7 연습 문제
4.8 보충 자료

CHAPTER 5 BERT 파생 모델 II: 지식 증류 기반
5.1 지식 증류 소개
5.2 DistilBERT: BERT의 지식 증류 버전
5.3 TinyBERT 소개
5.4 BERT에서 신경망으로 지식 전달
5.5 마치며
5.6 연습 문제
5.7 보충 자료

[PART III BERT 적용하기]

CHAPTER 6 텍스트 요약을 위한 BERTSUM 탐색
6.1 텍스트 요약
6.2 텍스트 요약에 맞춘 BERT 파인 튜닝
6.3 ROUGE 평가 지표 이해하기
6.4 BERTSUM 모델의 성능
6.5 BERTSUM 모델 학습
6.6 마치며
6.7 연습 문제
6.8 보충 자료

CHAPTER 7 다른 언어에 BERT 적용하기
7.1 M-BERT 이해하기
7.2 M-BERT는 다국어 표현이 어떻게 가능한가?
7.3 XLM
7.4 XLM-R 이해하기
7.5 언어별 BERT
7.6 마치며
7.7 연습 문제
7.8 보충 자료

CHAPTER 8 sentence-BERT 및 domain-BERT 살펴보기
8.1 sentence-BERT로 문장 표현 배우기
8.2 sentence-transformers 라이브러리 탐색
8.3 지식 증류를 이용한 다국어 임베딩 학습
8.4 domain-BERT
8.5 마치며
8.6 연습 문제
8.7 보충 자료

CHAPTER 9 VideoBERT, BART
9.1 VideoBERT로 언어 및 비디오 표현 학습
9.2 BART 이해하기
9.3 BERT 라이브러리 탐색
9.4 마치며
9.5 연습 문제
9.6 보충 자료

CHAPTER 10 한국어 언어 모델: KoBERT, KoGPT2, KoBART
10.1 KoBERT
10.2 KoGPT2
10.3 KoBART