본문 바로가기

웹25

크롤링2 1. 셀레니움 셀레니움(Selenium)은 웹 애플리케이션을 자동화하기 위한 프레임워크입니다. 주로 웹 브라우저를 제어하고 웹 페이지 상의 작업을 자동으로 수행하는 데 사용됩니다. 설치 !pip install selenium !pip install chromedriver_autoinstaller 셀레니움은 브라우저를 컨트롤 하는 명령어가 있는 라이브러리이고, ChromeDriver는 Selenium이 웹 브라우저를 제어할 때 사용되는 드라이버로, Selenium WebDriver와 브라우저 간의 통신을 담당합니다. 2. 네이버 웹툰 댓글 가져와보기. 네이버에 댓글을 보면 Best댓글과 전체댓글이 나누어져있습니다. 하지만 전체댓글을 클릭해도 URL에는 변화가 없습니다. 따라서 Request로 해당 주소를 .. 2023. 11. 26.
크롤링 1. 크롤링과 스크레이핑 크롤링은 웹 페이지를 자동으로 탐색하고 그 내용을 수집하는 과정입니다. 스크레이핑은 웹 페이지에서 원하는 정보를 추출하는 과정입니다. 크롤링 후에 데이터를 추출하거나, 특정 웹 페이지의 특정 부분에서 필요한 정보를 가져오는 작업을 포함합니다. 두 기술은 웹 데이터 수집의 초기 및 후속 단계로 사용되며, 데이터 과학, 기계 학습 및 비즈니스 인텔리전스와 같은 다양한 분야에서 활용됩니다. 그러나 웹 사이트의 이용 약관을 준수하고 합법적인 용도로만 사용해야 합니다. 2. 기초 import requests from bs4 import BeautifulSoup 크롤링을 위해 우선 파이썬 라이브러리 requests와 BeautifulSoup를 import합니다. BeautifulSoup은 .. 2023. 11. 25.
http모듈/ 템플릿 엔진 1. pipe() 함수 - 버퍼(Buffer)는 메모리에 일부 공간을 나타내며, 바이트 단위의 정수 형태의 배열로 데이터를 저장하는 역할을 합니다. 주로 파일이나 네트워크와 같은 데이터 소스에서 읽거나 쓸 때 사용되며, 데이터를 일부분씩 처리하고 안정적인 전송을 위해 활용됩니다. const buf = Buffer.from('Hi') // HI라는 글자를 버퍼에 저장 // 이 객체는 일반적으로 힙(heap) 메모리에 저장됩니다. console.log(buf) // 변수에 담긴 값을 16진수로 출력 console.log(buf.length) console.log(buf[0]) //첫글자의 아스키코드 72 console.log(buf[1]) //두번째 글자의 아스키코드 105 console.log(buf.to.. 2023. 11. 13.
JavaScript 심화 1. 기본 타입(Primitive Type)과 객체(Object Type) 기본 타입(Primitive Type) - 기본 타입은 값 자체를 저장하며, 불변(immutable)입니다. 이는 변수에 할당된 값이 변경되지 않는다는 의미입니다. - 주요 기본 타입: string, number, boolean, undefined, symbol, null, bigint 객체(Object Type) - 객체는 여러 속성과 메서드를 포함하는 복합 데이터 구조입니다. 이러한 속성은 키-값 쌍(key-value pairs)으로 구성됩니다. - 객체는 가변(mutable)하며, 속성을 추가, 수정, 삭제할 수 있습니다. [차이점] - 기본 타입은 값을 직접 저장하고 복사할 때 값 자체가 복사됩니다. 객체는 참조(refer.. 2023. 11. 6.
Node.js 우선 Node.js를 살펴기 앞서... 서버란? 요청을 받으면 요청한 내용을 보내주는 프로그램입니다. 요청에는 4개 방식이 있습니다. 읽기(GET) 쓰기(POST) 수정(PUT) 삭제(DELETE) 입니다. 원래 JavaScript의 해석은 브라우저의 역할입니다. 하지만 Node.js를 이용하면 브라우저 내에서 말고도 다른 환경에서도 JavaScript 실행할 수 있게 됩니다. 즉 Node.js는 JavaScript를 실행할 수 있게 해주는 환경입니다. JavaScript를 프로그래밍 언어처럼 쓸 수 있게 해줍니다. 1. Node.js Node.js는 JavaScript 런타임 환경으로, 서버 측 애플리케이션을 개발하기 위한 오픈 소스 환경입니다. Node.js는 비동기 프로그래밍을 강조하며, 이벤트 기.. 2023. 11. 3.
이벤트(Event) 1. 이벤트 자바스크립트에서 이벤트(event)는 사용자와 웹 페이지 간의 상호 작용을 처리하거나 웹 페이지의 상태 변화를 감지하는 데 사용됩니다. 이벤트는 특정 동작이나 조건이 충족될 때 발생하며, 자바스크립트를 사용하여 이벤트를 감지하고 처리할 수 있습니다. 자바스크립트는 비동기식 이벤트 중심의 프로그래밍 모델입니다. (동기식이면 이벤트가 발생하는 차례대로 처리, 비동기는 별도로 작업이 진행됨.) 모든 os에는 이벤트가 만들어 있지만 그 이벤트에 대한 프로그래밍을 해줘야 동작합니다. 자바스크립트에서 이벤트는 웹 애플리케이션을 상호 작용적이고 동적으로 만드는 데 핵심적인 역할을 합니다. 이벤트는 클릭, 마우스 이동, 키보드 입력, 데이터 전송, 타이머 및 기타 다양한 상황에서 발생할 수 있으며, 웹 페.. 2023. 10. 30.

티스토리툴바