딥러닝6 [논문리뷰] Attention Is All You Need https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org 들어가기 전에, 제목에 Attention 메커니즘이 나오는만큼, Attention 메커니즘에 대해 알고 시작하면 도움이 될 것 같다.. 2024. 4. 4. 전이 학습 1. 에일리언 vs 프레데터 데이터셋 https://www.kaggle.com/datasets/pmigdal/alien-vs-predator-images Alien vs. Predator images Small image classification - for transfer learning www.kaggle.com 케글 로그인 -> 우측 상단 계정 클릭 -> Your Profile -> 중앙에 Account를 클릭 -> API 항목에 Create New API Token -> kaggle.json이 다운로드 됨 copy API command 해서 ! 뒤에 붙여넣기 압출 풀기 : !unzip -q 파일이름 import os os.environ['KAGGLE_USERNAME'] = "아이디" os.envi.. 2024. 1. 12. 비선형 활성화 함수 1. 비선형 활성화 함수(Activation Functions) 비선형 활성화 함수는 신경망에서 사용되는 함수로, 주로 입력값에 비선형성을 추가하여 신경망이 복잡한 비선형 관계를 학습할 수 있도록 도와줍니다. 이 함수들은 신경망의 각 뉴런에 적용되어 그 결과를 생성합니다. 선형 함수는 입력값과 가중치를 곱한 결과를 그대로 출력하기 때문에, 여러 층의 선형 함수를 사용하면 결국 전체 네트워크가 하나의 선형 함수로 표현될 수 있습니다. 이는 층을 여러 번 쌓아도 신경망의 복잡성이 증가하지 않는다는 의미이며, 복잡한 패턴을 학습하는 데 한계가 있습니다. 비선형 활성화 함수를 사용함으로써, 각 뉴런의 출력이 비선형 관계를 나타낼 수 있습니다. 이를 통해 신경망은 다양한 데이터의 패턴을 학습할 수 있게 됩니다. .. 2024. 1. 10. 딥러닝 1. 뉴런(neuron) 1-1. 생물학적 뉴런 인간의 뇌는 약 수십억 개의 뉴런으로 이루어져 있습니다. 이 뉴런들은 화학적 및 전기적인 신호를 처리하고 전달하는 연결된 뇌 신경 세포입니다. 뇌의 복잡한 네트워크에서 각 뉴런은 다른 뉴런들과 상호 작용하며 정보를 처리하고 전달합니다. 1-2. 인공뉴런 1943년에 워렌 맥컬록과 월터 피츠는 생물학적 뉴런의 단순화된 모델을 제시했습니다. 이 모델에서 뉴런은 이진 출력을 갖는 단순한 논리 게이트로 설명되었습니다. 인공 뉴런은 이러한 개념을 바탕으로 하여, 각 뉴런이 입력을 받아 개별적으로 가중치를 곱한 후 그 합계를 비선형 함수로 전달하여 최종 출력을 생성하는 수학적 기능을 수행합니다. 이는 생물학적 뉴런의 동작을 모방하면서도 수학적으로 효과적인 정보 처리를.. 2024. 1. 9. 사이킷런/아이리스 데이터셋 예제 1. 사이킷런(Scikit-learn) 사이킷런(Scikit-learn)은 파이썬에서 사용할 수 있는 머신러닝 라이브러리 중 하나로, 간단하고 효과적인 도구들, 다양한 샘플 데이터를 제공하여 머신러닝 모델을 만들고 평가, 검증하는 데 사용됩니다. BSD 라이선스이기 때문에 무료로 사용 및 배포가 가능합니다. https://scikit-learn.org/stable/ scikit-learn: machine learning in Python — scikit-learn 1.3.2 documentation Model selection Comparing, validating and choosing parameters and models. Applications: Improved accuracy via parame.. 2023. 12. 24. 머신러닝과 딥러닝 1. 머신러닝과 딥러닝 머신러닝과 딥러닝은 인공지능 분야의 중요한 부분입니다. 인공지능이란 '인공(Artificial) + 지능(interlligence)'의 합성어로 크게 개발자의 의한 인공지능과 데이터에 의한 인공지능으로 나누어 볼 수 있습니다. 1. 머신러닝 (Machine Learning) - 개념: 머신러닝은 컴퓨터 시스템이 데이터에서 패턴을 학습하고 결정을 내릴 수 있도록 하는 인공지능의 한 분야입니다. - 동작 원리: 알고리즘이 주어진 데이터로부터 학습하고, 이를 기반으로 새로운 데이터에 대해 예측이나 결정을 내립니다. - 예시: 이메일 스팸 필터, 음성 인식, 추천 시스템 등이 머신러닝의 예입니다. 2. 딥러닝 (Deep Learning) - 개념: 딥러닝은 머신러닝의 한 종류로, 인공 신.. 2023. 12. 14. 이전 1 다음
