Embedding3 Transformer_3(기초부터 심화까지) 저번 시간에는 간단하게 Transformer가 무엇인지 설명만 하려다 Self-Attention, 키-쿼리-밸류, 임베딩까지 알아보았는데요 이번 시간부터 Transformer를 체계적으로 공부해봅시다! 1. 키-쿼리-밸류(Key-Query-Value) 개념 및 셀프 어텐션(Self-Attention) 메커니즘 2. 임베딩(Embedding) 및 Positional Encoding 3. Multi-Head Attention 4. Layer Normalization 5. Residual Connection 6. 인코더와 디코더 구조 7. Transformer 모델의 학습과 최적화 방법 (학습률 스케줄링, 목표 함수 등) 이제부터 이 순서대로 계속 진행을 해보겠습니다! 먼저 저번 시간 배웠던 임베딩에 대해 기.. 2023. 6. 28. Transformer_2(기초부터 심화까지) 저번 포스팅에서 Transformer의 핵심 개념인 Self-Attention과 쿼리, 키, 밸류 그리고 임베딩까지 알아보았어요. 코드를 보며 이해하면 더 쉽겠죠? 이번 시간에는 코드를 통해 저번 시간에 배운 내용들을 이해해볼까요? "I love AI"라는 문장으로 예시를 들어볼게요. "I love AI"를 토크나이징을 해 봅시다. 토크나이징을 한다면 'I', 'love', 'AI' 로 분리가 됩니다. 그 후 분리된 각 단어에 ID를 할당해 줍니다. 그 다음 입력 시퀀스를 생성해 줍시다. 4,64 짜리 임베딩 레이어를 정의해줍니다. embed_dim은 임베딩 벡터의 차원 수를 결정하는데, 임베딩 차원이 클수록 각 토큰을 표현하는 벡터가 더 많은 정보를 담을 수 있지만, 그만큼 모델의 파라미터 수가 증가하.. 2023. 6. 28. Transformer_1(기초부터 심화까지) 요즘 정말 인기많은 Transformer에 대해 여러분들은 잘 아시나요? 혹시라도 모르신다면 괜찮습니다. 이번에 스스로 Transformer에 대해 공부하고 있어 글을 작성하게 되었습니다. 이 글을 처음부터 끝까지 다 읽으신다면 여러분들도 Transformer 고수?! 먼저 요즘 핫한 Transformer에 대해 알아보아요! Transformer란? 트랜스포머(Transformer)는 자연어 처리(NLP)와 기계 번역 등 다양한 분야에서 높은 성능을 보이는 딥러닝 모델입니다. 트랜스포머는 2017년에 Vaswani et al.의 논문 "Attention is All You Need"에서 처음 소개되었습니다. 트랜스포머의 핵심 개념은 셀프 어텐션(self-attention) 메커니즘입니다. 셀프 어텐션은 .. 2023. 6. 28. 이전 1 다음
