본문 바로가기

AI32

자연어 처리 진행 순서 1. 자연어 처리의 다양한 Task 자연어 처리(Natural Language Processing, NLP)는 기계가 인간의 언어를 이해하고 처리하는 데에 관한 분야로, 다양한 작업(Task)들이 이루어지고 있습니다. https://medium.com/nlplanet/two-minutes-nlp-33-important-nlp-tasks-explained-31e2caad2b1b Two minutes NLP — 33 important NLP tasks explained Information Retrieval, Knowledge Bases, Chatbots, Text Generation, Text-to-Data, Text Reasoning, etc. medium.com 1-1. Text Classificati.. 2024. 1. 19.
자연어 처리 개요 1. 자연어(Natural Language) 자연어는 인간이 일상적으로 사용하는 언어를 의미합니다. 언어의 형태와 의미를 가지며, 일반적으로 의사소통의 수단으로 사용됩니다. 예를 들면, 한국어, 영어, 중국어 등이 자연어에 해당합니다. 자연어는 문법, 어휘, 문맥 등 다양한 측면에서 다양한 특징을 가지고 있습니다. 1-1. 자연어 처리(Natural Language Processing) 자연어 처리는 기계가 인간의 언어를 이해하고 해석하는 분야를 가리킵니다. NLP는 자연어에서 의미있는 정보를 추출하여 활용함으로써 인간의 언어적 능력을 기계적으로 모델링하고, 기계가 텍스트나 음성을 처리하고 분석하는 기술을 포함합니다. 이를 통해 기계는 자연어의 의미를 이해하고, 번역하며, 질문에 답하고, 감정을 분석하고.. 2024. 1. 16.
포켓몬 분류 해보기 Train : https://www.kaggle.com/datasets/thedagger/pokemon-generation-one Pokemon Generation One Gotta train 'em all! www.kaggle.com Validation : https://www.kaggle.com/hlrhegemony/pokemon-image-dataset Complete Pokemon Image Dataset 2,500+ clean labeled images, all official art, for Generations 1 through 8. www.kaggle.com import os os.environ['KAGGLE_USERNAME'] = '아이디' os.environ['KAGGLE_KEY'] =.. 2024. 1. 14.
전이 학습 1. 에일리언 vs 프레데터 데이터셋 https://www.kaggle.com/datasets/pmigdal/alien-vs-predator-images Alien vs. Predator images Small image classification - for transfer learning www.kaggle.com 케글 로그인 -> 우측 상단 계정 클릭 -> Your Profile -> 중앙에 Account를 클릭 -> API 항목에 Create New API Token -> kaggle.json이 다운로드 됨 copy API command 해서 ! 뒤에 붙여넣기 압출 풀기 : !unzip -q 파일이름 import os os.environ['KAGGLE_USERNAME'] = "아이디" os.envi.. 2024. 1. 12.
간단한 CNN모델 만들기 실습 1. 단계별로 예시 보기 import torch import torch.nn as nn import torch.optim as optim # 배치크기 / 채널(1 : 그레이스케일, 3: 컬러) / 높이 / 너비 inputs = torch.Tensor(1, 1, 28, 28) print(inputs.shape) // torch.Size([1, 1, 28, 28]) # 첫번째 Conv2D # kernel_size=3 : 필터 사이즈. 3*3. 클수록 출력값이 작아짐 # padding='same' : 출력 크기 동일하게 유지 conv1 = nn.Conv2d(in_channels=1, out_channels=32, kernel_size=3, padding='same') out = conv1(inputs) pri.. 2024. 1. 11.
CNN 기초 1. CNN(Convolutional Neural Networks) 합성곱 인공 신경망(CNN)은 전통적인 뉴럴 네트워크에 컨볼루션(Convolutional) 레이어를 추가한 형태로, 주로 이미지 처리 작업에 사용됩니다. 딥 뉴럴 네트워크(DNN)가 이미지를 분류할 때의 주요 문제는 1차원 형태의 데이터를 다루어야 한다는 점입니다. 일반적인 DNN 구조에서는 2차원 이상의 이미지 데이터를 입력으로 사용할 경우, 데이터를 flatten하여 1차원으로 변환해야 합니다. 이로 인해 이미지의 공간적 및 지역적 정보가 손실되는 문제가 발생합니다. 이러한 문제를 극복하기 위해 컨볼루셔널 레이어가 도입되었습니다. 컨볼루셔널 레이어는 이미지를 그대로(raw input) 받아들이므로, 데이터를 1차원으로 펼치지 않고도 .. 2024. 1. 10.