01. 기본 함수¶
하나의 DOM(객체)에 접근 - element¶
find_element_by_id : id값을 이용하여 접근
find_element_by_name : 속성 name를 이용하여 접근
find_element_by_xpath : xpath를 이용하여 접근
find_element_by_link_text : a태그의 href를 이용하여 수집(쿼리 스트링 부분)
find_element_by_partial_link_text : a태그의 href를 이용하여 수집(path를 이용)
find_element_by_tag_name : 태그이름을 이용하여 접근
find_element_by_class_name : 클래스 이름을 이용하여 접근
find_element_by_css_selector : css selector를 이용하여 접근여러개의 DOM(객체)에 접근 - elements¶
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selectorIn [1]:
from selenium import webdriver
driver = webdriver.Chrome('chromedriver_246')
(2) 웹 페이지에 접속해 보기¶
- 웹 브라우저를 띄우고 크롤러를 만들기 위한 사이트에 접속
- get() 함수를 이용하면 지정된 url를 이용하여 사이트 접속이 가능
In [2]:
url = 'https://pythonstart.github.io/web/'
driver.get(url) # url 접속
(3) 일부 정보 id를 이용하여 가져오기¶
- 요소(element)의 id의 속성(attribute)를 알 때, 사용.
- find_element_by_id("id명")
- id의 값과 일치하는 첫번째 요소를 가지고 온다.
- find_elements_by_id("id명")
- id의 값과 일치하는 전체 요소를 가지고 온다.
In [3]:
url = 'https://pythonstart.github.io/web/'
driver.get(url)
In [5]:
selected_id = driver.find_element_by_id('rank')
print(selected_id)
print(selected_id.tag_name) # 해당 연결의 tag이름
print(selected_id.text) # 해당 태그의 text정보
(4) 태그이름을 이용하여 접근¶
- find_element_by_tag_name("태그명") # 하나
- find_elements_by_tag_name("태그명") # 여러개
In [6]:
from selenium import webdriver
url = 'https://pythonstart.github.io/web/'
# driver = webdriver.Chrome('chromedriver')
driver.get(url)
selected_tag_p = driver.find_element_by_tag_name('h1')
print(selected_tag_p)
print(selected_tag_p.tag_name)
print(selected_tag_p.text)
In [7]:
## 전체 a태그 정보 가져오기
selected_tags_p = driver.find_elements_by_tag_name('a')
print(selected_tags_p)
(5) name을 이용하여 접근¶
- find_element_by_name("이름") # 하나
- find_elements_by_name("이름") # 여러개
In [8]:
## meta 태그 - name='description' 가져오기
from selenium import webdriver
url = 'https://pythonstart.github.io/web/'
# driver = webdriver.Chrome('chromedriver')
driver.get(url)
selected_name = driver.find_element_by_name('text_get')
print(selected_name) # WebElement 객체 확인
print(selected_name.tag_name) # 태그 이름 확인
# find_elements_by_name 이용해 보기
# name이 'q'인것이 하나이기에 길이가 1인 리스트가 반환됨.
selected_names = driver.find_elements_by_name('link_get')
print(len(selected_names))
(6) 클래스 이름을 이용한 찾기¶
- find_element_by_class_name과
- find_elements_by_class_name
(7) selector를 이용한 접근¶
- find_element_by_css_selector과
- find_elements_by_css_selector
<html>
<body>
<p class="content">Content 부분</p>
</body>
<html>content = driver.find_element_by_css_selector('p.content')
In [13]:
url = 'https://pythonstart.github.io/web/'
driver.get(url)
content = driver.find_element_by_css_selector('body ul a#rank')
print(content.text)
(8) Link Text를 이용하여 접근¶
- a태그(anchor tag)의 link text로 접근하려고 할때 사용.
continue_link = driver.find_element_by_link_text('Continue')<html> <body> <p>안녕하세요!</p> <a href="continue.html">Continue</a> <a href="cancel.html">Cancel</a> </body> <html>
continue_link = driver.find_element_by_partial_link_text('Conti')
In [15]:
url = 'https://pythonstart.github.io/web/'
driver.get(url)
# link_test라는 링크를 가져온다.
continue_link = driver.find_element_by_link_text('03. 링크 가져오기(a)')
print(continue_link.text)
(9) 웹 제어하기
- 마우스 제어
- 키보드 제어
- JavaScript 삽입
9-1 마우스 제어¶
- 뉴스를 선택해서 해당 페이지로 이동해 보기
In [16]:
from selenium import webdriver
url = 'https://news.naver.com/'
# driver = webdriver.Chrome('chromedriver')
driver.get(url)
# //*[@id="today_main_news"]/div[2]/ul/li[1]/div[1]/a
selected_selector = driver.find_element_by_xpath('//*[@id="today_main_news"]/div[2]/ul/li[1]/div[1]/a')
print(selected_selector.tag_name)
print(selected_selector.text)
selected_selector.click()
실습 1. 네이버 뉴스에서 원하는 기사를 검색 후, 해당 페이지로 이동하기¶
9-2 키보드 제어¶
- send_keys() 함수를 이용
In [17]:
from selenium import webdriver
url = 'https://news.naver.com/'
# driver = webdriver.Chrome('chromedriver')
driver.get(url)
# //*[@id="lnb.searchForm"]/fieldset/input[1] # 검색 내용
# //*[@id="lnb.searchForm"]/fieldset/button/span # 검색
# text_today_main_news_801001 > li:nth-child(1) > div > a > strong
selected_xpath = driver.find_element_by_xpath('//*[@id="lnb.searchForm"]/fieldset/input[1]')
selected_xpath_search = driver.find_element_by_xpath('//*[@id="lnb.searchForm"]/fieldset/button/span')
selected_xpath.send_keys('미세먼지')
#print(selected_xpath.tag_name)
print(selected_xpath.text)
selected_xpath_search.click()
과제. 스타일 난다¶
- 스타일 난다에서 bag이라고 검색 후, 검색 제품 명을 가져오는 것을 수행해 보자.
- 힌트 : soup = BeautifulSoup(driver.page_source, 'lxml')를 이용하여 소스를 가져온 후, 수행한다.
- 나머지는 BS4와 for문을 이용한다.
In [18]:
# soup1
출력 결과¶
한끗포인트 로프네트백
우디스트랩 내추럴써클 숄더백
웰퀄리티 어썸짜임 바켓토트백
네이처문라잇 핸들바켓백
네이처호프짜임 바스켓백팩
아이스비즈타래 핸드토트백
에센셜짜임 6각바스켓백
캐주얼라피아 매일포인트 숄더백
네이처패턴 링스트랩 나염백
센스만점 내추럴링클 라임백
트렌디팝 빈티지텍스처 데일리백
쿠션스트링 아코디언 버킷백
통통체크 캐주얼에코bag
클래식버튼업 하프점프수트 (+belt bag)
하프문 굿퀄짜임 라탄백
트루내추럴 탄탄짜임백Copyright 2020 LIM Co.(예영Edu Co.) all rights reserved.
교육용으로 작성된 것으로 배포 및 복제시에 사전 허가가 필요합니다.