[BERT 이해하기] "구글 BERT의 정석" 1장, 트랜스포머 입문
구글 BERT의 정석 인공지능, 자연어 처리를 위한 BERT의 모든 것 위 책을 읽으며 정리한 내용입니다. 1장, 트랜스포머 입문 트랜스포머(transformer) : 자연어처리에서 주로 사용하는 딥러닝 아키텍처 중 하나임. --> 순환신경망(RNN), 장단기메모리(LSTM)는 트랜스포머로 대체됨. BERT, GPT, T5 등과 같은 다양한 자연어처리(NLP) 모델에 트랜스포머 아키텍처가 적용되었음. RNN, LSTM은 다음단어예측, 기계번역, 텍스트생성 등에 널리 사용되었으나, 장기 의존성 문제가 있어 트랜스포머라는 아키텍처가 제안되었음. 트랜스포머는 RNN에서 사용한 순환방식을 사용하지 않고, 순수하게 어텐션만 사용한 모델임 트랜스포머는 인코더-디코더로 구성된 모델이며, 인코더에 문장(원문)을 입력하..