인공지능8 Transformer_8(기초부터 심화까지) 안녕하세요 이번 시간엔 Transformer의 Residual Connection 에 대해서 알아 봅시다! 먼저 Residual Connection이란? Transformer에서 Residual Connection은 정보의 흐름을 개선하고, 신경망의 깊이에 대한 효과적인 훈련을 가능하게 하는 중요한 구성 요소입니다. Residual Connection은 아래와 같은 특징을 가집니다: 1. 정보의 흐름 개선: Residual Connection은 각 Transformer 레이어의 입력과 출력 사이에 직접적인 연결을 만듭니다. 이렇게 하면 정보가 더 쉽게 흐르고, 네트워크의 깊이가 더 깊어질 때도 성능 저하를 최소화할 수 있습니다. 그 결과, 깊은 네트워크에서도 효과적으로 학습이 가능합니다. 2. 그래디언트.. 2023. 6. 28. Transformer_7(기초부터 심화까지) 안녕하세요! 저번 포스팅에서 저희는 Layer Normalization에 대해서 알아보았어요. 이번 시간엔 코드를 통해 Layer Normalization을 이해해보아요. 저번 Transformer 코드에 Class를 단순히 추가를 해보며 Layer Normalization을 적용시켜 볼거에요. Multi Head Attention 코드 기억하시나요? 다시 간단히 설명을 해드리겠습니다. init: 이 메서드에서는 멀티-헤드 어텐션에 필요한 변수와 레이어들을 정의합니다. embed_dim: 입력 임베딩 차원 num_heads: 사용할 어텐션 헤드의 개수 head_dim: 각 어텐션 헤드의 차원 (전체 임베딩 차원을 헤드 수로 나눈 값) 선형 레이어 : self.query: 입력에 대한 쿼리 행렬을 생성하기.. 2023. 6. 28. Transformer_6(기초부터 심화까지) 지금까지 Self-Attention, 쿼리-키-밸류, embedding, positional encoding 그리고 Multi-Head Attention 까지 알아보았습니다. 이번 시간은 Layer Normalization 에 대해서 알아볼까요? 먼저 Normalization부터 알아 볼까요? Normalization(정규화) 데이터를 특정 범위 또는 규모로 변환하는 과정입니다. 머신러닝 및 딥러닝에서 정규화는 데이터의 스케일을 조정하여 모델의 학습을 돕기 위해 사용됩니다. 정규화는 다음과 같은 목적으로 사용됩니다: 스케일 조정: 데이터의 스케일이 다를 때, 정규화를 통해 데이터를 동일한 범위로 조정할 수 있습니다. 이렇게 하면 모델이 더 빠르게 수렴하고, 최적화 알고리즘이 더 잘 작동할 수 있습니다. .. 2023. 6. 28. Transformer_1(기초부터 심화까지) 요즘 정말 인기많은 Transformer에 대해 여러분들은 잘 아시나요? 혹시라도 모르신다면 괜찮습니다. 이번에 스스로 Transformer에 대해 공부하고 있어 글을 작성하게 되었습니다. 이 글을 처음부터 끝까지 다 읽으신다면 여러분들도 Transformer 고수?! 먼저 요즘 핫한 Transformer에 대해 알아보아요! Transformer란? 트랜스포머(Transformer)는 자연어 처리(NLP)와 기계 번역 등 다양한 분야에서 높은 성능을 보이는 딥러닝 모델입니다. 트랜스포머는 2017년에 Vaswani et al.의 논문 "Attention is All You Need"에서 처음 소개되었습니다. 트랜스포머의 핵심 개념은 셀프 어텐션(self-attention) 메커니즘입니다. 셀프 어텐션은 .. 2023. 6. 28. 이전 1 2 다음
