Search

공부해야 하는 것들

BERT의 Contextual Embedding을 가능하게 하는 셀프 어텐션에 대한 학습이 더 필요하다. (내부적으로 수행되는 멀티 헤드 셀프 어텐션과 포지션 와이즈 피드 포워드 신경망 개념 포함)