이 포스트는 한빛미디어에서 출간한 '구글 BERT의 정석' 을 읽고 작성한 서평입니다.
INTRO
2014년 알파고(AlphaGO)의 등장이 빅데이터, AI의 급격한 발전을 야기하였다면, 2018년 구글 버트(Google BERT)의 등장은 자연어 처리(NLP) 분야의 큰 발전을 야기하였습니다.
이 책은 자연어 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서로, 가장 먼저 사전 학습을 개선하여 성능을 향상하는 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT와 같은 BERT 변형 모델을 간단한 언어로 잘 풀어서 친절하게 설명합니다.
다음으로 BioBERT 및 ClinicalBERT와 같은 특정 도메인에 해당하는 BERT 모델을 배우고 BERT의 재미있는 변형 모델인 VideoBERT도 소개하고 있으며, 본문 맨 뒤에는 한국어에 잘 동작하는 한국어 언어 모델 KoBERT, KoGPT2, KoBART를 추가 설명합니다.
이 책을 따라 모든 학습을 마치고 나면 BERT와 변형 모델을 활용해 여러 자연어 처리 태스크를 수월하게 처리할 수 있을거라 생각됩니다.
책 소개
고성능 AI를 구현하기 위한 BERT 실전 가이드!
KoBERT 개발자가 번역하고 추가 집필해 믿고 볼 수 있는 책
주요 내용
- 트랜스포머 모델
- BERT의 작동 원리
- 마스크 언어 모델과 다음 문장 예측 태스크를 활용한 사전 학습
- BERT를 활용해 상황에 맞는 단어 및 문장 임베딩 생성
- 다운스트림 태스크를 위한 BERT 파인 튜닝
- ALBERT, RoBERTa, ELECTRA, SpanBERT 모델
- 지식 증류 기반 BERT 모델
- XLM 및 XLM-R 언어 모델
- sentence-BERT. VideoBERT, BART 모델
- KoBERT, KoGPT2, KoBART 모델
이 책의 특징
- BERT의 기본 개념부터 다양한 변형 모델과 응용 사례까지 모두 담았다.
- 원서에 없는 친절하고 상세한 역자 주석으로 부족함 없이 가득 채웠다.
- 실력 향상을 위해 연습 문제와 해답을 모두 제공한다.
- (보너스) 한국 독자를 위해 BERT의 한국어 성능 한계를 극복한 한국어 모델 KoBERT, KoGPT2, KoBART를 추가 집필했다.
책을 읽고
▶ 주관적인 평점 : 4.5점 / 5.0점
이 책은 자연어 처리(NLP)라는 특정 분야의 깊은 연구 결과를 보여주는 책으로 딥러닝과 자연어 처리에 익숙하지 않은 초보자 분들에게는 맞지 않는 책입니다. 도서 내에서 설명을 최대한 쉽고 자세히 하고 있으나 관련 종사자가 아니라면 이해가 쉽지 않을 수 있으니 입문자 분들은 다른 책을 알아보시는 게 좋습니다.
그러나 만약 경력이 있고 자연어 처리 기초를 습득하신 분이라면 해당 도서는 큰 도움이 될 거라고 생각합니다. 모델 및 네트워크에 대한 자세한 설명, 외부 공개 모델을 가져와 활용하는 방법, 한국어 모델 활용 방법 등 자연어 처리 분야 종사자라면 전반적인 지식과 팁을 배울 수 있습니다.
자연어 처리에 흥미를 가지고 계신 데이터 과학자 또는 자연어 처리 분석가/엔지니어 분들에게 강력 추천드리는 책입니다.
관련 링크
