2BPerfect...12

웹 스크래핑

#pandas 내부적으로 matplotlib을 사용하기 때문에
# 간단한 그래프라면 pandas만 import 시켜도 됨!
# 웹사이트
## 하나
import webbrowser
url=naver~
webbrowser.open(url)
naver_search_url='~/search.naver?query='
search_word='파이썬'
url=nsu+sw

webbrowser.open_new(url)

##여러개
urls=['네이버','구글'~]
for url in urls:
	webbrowser.open_new(url)

search_words=['파이썬','','']

for search_word in sws:
	webbrowser.open_new(url+search_word)

# 웹페이지 소스 가져오기
import requests

r=requests.get('')
r
r.text[0:100] 이것으로 가져온html 소스를 확인

html=r=requests.get('').text
## 소스를 좀 더 보기 쉽게 하는 것 Parser Beautifulsoup
# html 분석 파싱(parsing) 원하는 태그를 검색 추출
print(soup.prettify() ) # 인터넷에서 보던 트리형식으로 출력

from bs4 import BeautifulSoup

bs=BeautifulSoup(req.text,'html.parser')
bs.find('').get_text() #''태그 text 추출
#bs.find('태그','속성')=단순 태그만 검색, 복잡한 구조 검색 불가능

#bs.find_all('태그','속성')= 단순 태그만 검색 복잡한 구조 검색 불가능
sn=bs.find_all('')
for s in sn:
	print(s.get_text())
bs.title
bs.body
bs.body.h1

bts=bs.find_all('p',{'id':'book_title'})
aus=bs.find_all('p',{'id':'author'})

for bt,au in zip(bts,aus):
	print(bt.get_text()+'/'+au.get_text())

'''
주요 css5가지
#id id='id값'
.class class='class값' .cls1.cls2 클래스값여러개 가지고 있는 선택자 class='cls1 cls2'
tag <tag>
선택자1> 선택자2 자식 선택자
선택자1 선택자2 자손 선택자
'''
bs.select('css선택자') select는 다중 선택
bs.select_one('category') select_one 하나만 선택

bs.select('body p')
bs.select('p#book_title')