크롤링2 크롤링2 1. 셀레니움 셀레니움(Selenium)은 웹 애플리케이션을 자동화하기 위한 프레임워크입니다. 주로 웹 브라우저를 제어하고 웹 페이지 상의 작업을 자동으로 수행하는 데 사용됩니다. 설치 !pip install selenium !pip install chromedriver_autoinstaller 셀레니움은 브라우저를 컨트롤 하는 명령어가 있는 라이브러리이고, ChromeDriver는 Selenium이 웹 브라우저를 제어할 때 사용되는 드라이버로, Selenium WebDriver와 브라우저 간의 통신을 담당합니다. 2. 네이버 웹툰 댓글 가져와보기. 네이버에 댓글을 보면 Best댓글과 전체댓글이 나누어져있습니다. 하지만 전체댓글을 클릭해도 URL에는 변화가 없습니다. 따라서 Request로 해당 주소를 .. 2023. 11. 26. 크롤링 1. 크롤링과 스크레이핑 크롤링은 웹 페이지를 자동으로 탐색하고 그 내용을 수집하는 과정입니다. 스크레이핑은 웹 페이지에서 원하는 정보를 추출하는 과정입니다. 크롤링 후에 데이터를 추출하거나, 특정 웹 페이지의 특정 부분에서 필요한 정보를 가져오는 작업을 포함합니다. 두 기술은 웹 데이터 수집의 초기 및 후속 단계로 사용되며, 데이터 과학, 기계 학습 및 비즈니스 인텔리전스와 같은 다양한 분야에서 활용됩니다. 그러나 웹 사이트의 이용 약관을 준수하고 합법적인 용도로만 사용해야 합니다. 2. 기초 import requests from bs4 import BeautifulSoup 크롤링을 위해 우선 파이썬 라이브러리 requests와 BeautifulSoup를 import합니다. BeautifulSoup은 .. 2023. 11. 25. 이전 1 다음
