자연어처리4 자연어 처리 챗봇 프로젝트 _ 챗쪽이 자연어 처리를 배우면서 진행하게 된 챗봇 프로젝트 1. 주제 선정 주제를 선정하면서 내가 집중한 것은 gpt와 같은 성능이 좋은 챗봇이 많은 지금, "굳이 내가 만든 앱을 사용해보고 싶은 이유"를 만들기였다. 한달이 안되는 시간 안에 두명이서 데이터를 작성하고 모델 학습과 서버 구축을 완료해야 했다. 강사님께서 짧은 시간안에 챗봇의 높은 정확도를 기대하기는 어렵다고 조언을 해주셨기 때문에 성능보다는 흥미를 자극하는 주제를 생각해보았다. 그렇게 후보로 간추려진 세가지 주제 > 시간 여행자 컨셉으로 역사적 시기를 지정하면 해당 시대의 사람과 대화하는 챗봇 > 반려동물의 행동을 얘기하면 훈련이나 질병 관련 조언을 주는 챗봇 > 나와 배우자의 성격을 입력하면 그에 기반하는 아이성격을 생성해서 대화해볼 수 있는 .. 2024. 3. 15. KLUE 1. KLUE(Korea Language Understanding Evaluation) KLUE(Korea Language Understanding Evaluation)는 한국어 자연어 이해 평가를 위한 데이터셋으로, 다양한 종류의 자연어 처리 과제를 포함하고 있습니다. 이 데이터셋은 한국어 언어모델을 공정하게 평가하기 위해 공개되었으며, 총 8가지 종류의 과제를 포함하고 있습니다. 이 중 일부 과제에 대해 간략한 소개를 해보겠습니다. 뉴스 헤드라인 분류: 주어진 뉴스 헤드라인을 분류하는 과제로, 주제나 카테고리를 정확하게 예측하는 능력을 평가합니다. 문장 유사도 비교: 두 문장 간의 유사도를 비교하는 과제로, 문장 간의 의미적 유사성을 평가합니다. 자연어 추론: 주어진 전제와 가설 사이의 관계를 추론하.. 2024. 2. 2. 데이터 전처리 실습 뉴스 기사 크롤링 라이브러리 !pip install newspaper3k # 사용 가능한 언어 확인 import newspaper newspaper.languages() Your available languages are: input code full name es Spanish ru Russian nb Norwegian (Bokmål) uk Ukrainian el Greek sl Slovenian ar Arabic pl Polish sw Swahili fa Persian pt Portuguese de German no Norwegian ja Japanese tr Turkish hi Hindi hu Hungarian mk Macedonian fr French be Belarusian ro Romanian.. 2024. 1. 19. 자연어 처리 진행 순서 1. 자연어 처리의 다양한 Task 자연어 처리(Natural Language Processing, NLP)는 기계가 인간의 언어를 이해하고 처리하는 데에 관한 분야로, 다양한 작업(Task)들이 이루어지고 있습니다. https://medium.com/nlplanet/two-minutes-nlp-33-important-nlp-tasks-explained-31e2caad2b1b Two minutes NLP — 33 important NLP tasks explained Information Retrieval, Knowledge Bases, Chatbots, Text Generation, Text-to-Data, Text Reasoning, etc. medium.com 1-1. Text Classificati.. 2024. 1. 19. 이전 1 다음
