반응형

빅데이터 서비스 교육/크롤링 5

크롤링

스타벅스 지역구별 매장명 가져오기 지역별(광주) 선택 후 - 구별로 매장명 가져오기 store_name_list = [] store_adr_list = [] rank_list = [] url='https://www.starbucks.co.kr/store/store_map.do' driver = wb.Chrome() driver.get(url) time.sleep(4) for i in range(2,7): # range (시작값,끝값,증감) -> 끝값 포함 x +1해줘야한다. where = driver.find_element_by_css_selector('header.loca_search > h3 > a') where.click() time.sleep(0.5) gwangju = driver.find_ele..

크롤링 이미지 가져오기

from selenium import webdriver as wb from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup as bs import time import os # 파일 시스템을 위한 라이브러리 ex)파일, 폴더를 생성, 존재여부 파악 from urllib.request import urlretrieve as urlre # 이미지경로를 파일로 저장 이미지 태그는 단일태그 닫는 태그가 없다. 이미지를 가져올때 src 속성을 가져와야 한다. url = 'https://search.naver.com/search.naver?where=image&sm=tab_jum&query=%EB%A9%9C%EB%A1%A0' driv..

크롤링 웹페이지 데이터 수집

한솥 도시락 페이지 가져오기 from selenium import webdriver as wb from selenium.webdriver.common.keys import Keys import pandas as pd import time from bs4 import BeautifulSoup as bs url = 'https://www.hsd.co.kr/menu/menu_list' driver = wb.Chrome() driver.get(url) # 예외처리 try문에서 오류가나면 except으로 빠짐 for i in range(5): try: btn = driver.find_element_by_css_selector('a.c_05') btn.click() time.sleep(0.3) except: pri..

크롤링 데이터 수집 및 웹페이지 제어

import requests as req from bs4 import BeautifulSoup as bs import pandas as pd 한달 동안의 영화데이터 수집 반복문, range를 사용해서 range(20220401, 20220431): #끝값 포함x 30일원하면 ->31로 url='https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=cur&tg=0&date='+ str(i)로 1~30일간 url을 통해 한달간 영화데이터 수집 이때 title_list=[] score_list=[] rank_list=[] 를 for문 안에 넣으면 빈배열로 계속 초기화 되니까 조심. title_list=[] score_list=[] rank_list=[] for i..

크롤링 기초

# 크롤링 : 주로 인터넷상의 웹페이지를 수집해서 분류하고 저장하는 것 # server로 request 하는 라이브러리 import requests as req url = 'https://www.naver.com/' req.get(url) # server로 부터 response 된 웹페이지정보를 가져온다. # : 응답성공 url = 'https://www.melon.com/' req.get(url) # : 응답실패 네이버 블로그 글자 가져오기 url = 'https://www.naver.com/' res = req.get(url) # server로 부터 response 된 웹페이지정보를 가져온다. res.text '\n NAVER 가수가 여려명일때 처음 가수 한명만 :nth-child(1) for i i..

반응형