신경망2 [논문 리뷰]attention 매커니즘 [논문] NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE introduce 최근에 제안된 신경 기계 번역 모델들은 대부분 인코더-디코더 방식을 사용합니다. 이 방식은 소스 문장을 고정 길이 벡터로 인코딩하고, 디코더를 통해 번역을 생성합니다. 그러나 고정 길이 벡터는 문장의 특성을 담을 수 있는 양동이로 생각할 수 있습니다. 문장의 크기가 길어지면 양동이에 모든 정보를 담기 어렵고, 기울기 소실 문제가 발생할 수 있습니다. 이 논문은 모델이 목표 단어와 관련이 큰 부분을 찾아 고정 길이 벡터의 한계를 극복하도록 제안합니다. 이렇게 하면 중요한 단어를 양동이에 우선적으로 담을 수 있어 문장의 의미가 보다 명확해집니다. 신경 기계 .. 2024. 1. 31. CNN 기초 1. CNN(Convolutional Neural Networks) 합성곱 인공 신경망(CNN)은 전통적인 뉴럴 네트워크에 컨볼루션(Convolutional) 레이어를 추가한 형태로, 주로 이미지 처리 작업에 사용됩니다. 딥 뉴럴 네트워크(DNN)가 이미지를 분류할 때의 주요 문제는 1차원 형태의 데이터를 다루어야 한다는 점입니다. 일반적인 DNN 구조에서는 2차원 이상의 이미지 데이터를 입력으로 사용할 경우, 데이터를 flatten하여 1차원으로 변환해야 합니다. 이로 인해 이미지의 공간적 및 지역적 정보가 손실되는 문제가 발생합니다. 이러한 문제를 극복하기 위해 컨볼루셔널 레이어가 도입되었습니다. 컨볼루셔널 레이어는 이미지를 그대로(raw input) 받아들이므로, 데이터를 1차원으로 펼치지 않고도 .. 2024. 1. 10. 이전 1 다음
