반응형 어텐션1 자연어처리(NLP)(4) - Transformer, Attention 문맥벡터(Context Vector) – 각 Vector의 마지막 Cell에 담긴 값에 전체 문장의 뜻이 함축되어 있는 것 Transformer 아키텍처 구성 Transformer Encoder - Source Sequence를 처리 입력단어 임베딩 구성 특정 문맥에 독립적으로 단어를 표현하는 일반적인 단어 임베딩 현재 단어 위치를 표현하는 위치 Vector Vector에 위치 축을 추가하고 Sequence 정보를 추가. 이 경우 위치가 매우 큰 정수가 될 수 있으므로 이상적이지 않을 수도 있기에 (신경망은 큰 입력값이나 이산적인 입력분포값에 잘 동작 안 할 수도 있다.) Attention is all you need 논문에서는 위치별 주기적으로 바뀌는 cosin함수를 활용하여 [-1, 1] 범위벡터를 .. 2023. 8. 16. 이전 1 다음 728x90 반응형
