웹개발 일지 - 3주차:Python, 크롤링, mongoDB

 

▷ 파이썬 기초

1. 파이썬 기초 문법(1)

• 변수 & 기본연산
  • a = 3      # 3을 a에 넣는다
    b = a      # a를 b에 넣는다
    a = a + 1  # a+1을 다시 a에 넣는다
    
    num1 = a*b # a*b의 값을 num1이라는 변수에 넣는다
    num2 = 99 # 99의 값을 num2이라는 변수에 넣는다
    
    # 변수의 이름은 마음대로 지을 수 있음!
    # 진짜 "마음대로" 짓는 게 좋을까? var1, var2 이렇게?
• 자료형
  • 숫자, 문자형
    name = 'bob' # 변수에는 문자열이 들어갈 수도 있고,
    num = 12 # 숫자가 들어갈 수도 있고,
    
    is_number = True # True 또는 False -> "Boolean"형이 들어갈 수도 있습니다.
    
    #########
    # 그리고 List, Dictionary 도 들어갈 수도 있죠. 그게 뭔지는 아래에서!
    
  • 리스트 형 (Javascript의 배열형과 동일)
    a=['사과','배','감']
    print(a[0]) #사과
    
    
  • Dictionary 형 (Javascript의 dictionary형과 동일)
    a= {}
    a= {'name':'영수','age':24}
    
    # a의 값은? {'name':'영수','age':24}
    # a['name']의 값은? '영수'
    
• 함수
  • 함수의 정의 - 이름은 마음대로 정할 수 있음!
    # 수학문제에서
    f(x) = 2*x+3
    y = f(2)
    y의 값은? 7
    
    # 참고: 자바스크립트에서는
    function f(x) {
        return 2*x+3
    }
    
    # 파이썬에서
    def f(x):
        return 2*x+3
    
    y = f(2)
    y의 값은? 7
    
  • 함수의 응용
    def hey():
        print("헤이")
    
    #파이썬에서 함수 생성시, 들여쓰기는 중요해요!
    
    hey() #헤이
    
    def sum(a,b,c):
        return a+b+c
    
    result = sum(1,2,3)
    print(result) #6
    
    

2. 파이썬 기초 문법(2)

• 조건문
  • if / else 로 구성!
    age = 25
    
    if age > 20:
        print("성인입니다")
    else:
        print("청소년입니다")
• 반복문 👉 파이썬 에서의 반복문은, 리스트의 요소들을 하나씩 꺼내쓰는 형태입니다.
  • 즉, 무조건 리스트와 함께 쓰입니다!
    fruits = ['사과','배','감','귤']
    
    for fruit in fruits:
    print(fruit)
    
    # 사과, 배, 감, 귤 하나씩 꺼내어 찍힙니다.
    -----
    ages =[5,10,13,23,25,9]
    
    for a in ages:
    if a>20:
        print("성인입니다")
    else:
        print("청소년입니다")

 

▷ 패키지 사용해보기

1. Requests 라이브러리 사용해보기 + List/Dictionary/함수/If/For문 연습

• 아래 방법으로 서울시 대기 OpenAPI에서, 중구의 미세먼지 값을 가져올 수 있습니다.
  • [코드스니펫] requests 써보기
    

import requests # requests 라이브러리 설치 필요

r = requests.get('http://spartacodingclub.shop/sparta_api/seoulair')
rjson = r.json()

print(rjson)

• 모든 구의 IDEX_MVL 값을 찍어주자!

import requests # requests 라이브러리 설치 필요

r = requests.get('<http://spartacodingclub.shop/sparta_api/seoulair>')
rjson = r.json()

rows = rjson['RealtimeCityAir']['row']

for a in rows:
	gu_name = a['MSRSTE_NM']
	gu_mise = a['IDEX_MVL']
	print(gu_name, gu_mise)

▷ 웹스크래핑(크롤링) 기초

1. 웹스크래핑 해보기 (영화 제목)

• 패키지 추가 설치하기(beautifulsoup4)
  ∨터미널을 열고 가상환경이 활성화 되어 있는지 확인!

패키지 추가 설치하기(beautifulsoup4)

2. 크롤링 기본 세팅

•  [코드스니펫] 크롤링 기본 세팅

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

# 코딩 시작

---

👉 코드를 한 번 찬찬히 뜯어볼까요?

import requests
from bs4 import BeautifulSoup

# 타겟 URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
# 이제 코딩을 통해 필요한 부분을 추출하면 된다.
soup = BeautifulSoup(data.text, 'html.parser')

#############################
# (입맛에 맞게 코딩)
#############################

3. select / select_one의 사용법을 익혀봅니다.

• 영화 제목을 가져와보기!
• 태그 안의 텍스트를 찍고 싶을 땐 → 태그.text
  태그 안의 속성을 찍고 싶을 땐 → 태그['속성']

import requests
from bs4 import BeautifulSoup

# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')

# select를 이용해서, tr들을 불러오기
a = soup.select_one('#old_content > table > tbody > tr:nth-child(3) > td.title > div > a')

trs = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for tr in trs:
    # movie 안에 a 가 있으면,
		a = tr.select_one('td.title > div > a')
    if a is not None:
        # a의 text를 찍어본다.
        print (a.text)

# 선택자를 사용하는 방법 (copy selector)
soup.select('태그명')
soup.select('.클래스명')
soup.select('#아이디명')

soup.select('상위태그명 > 하위태그명 > 하위태그명')
soup.select('상위태그명.클래스명 > 하위태그명.클래스명')

# 태그와 속성값으로 찾는 방법
soup.select('태그명[속성="값"]')

# 한 개만 가져오고 싶은 경우
soup.select_one('위와 동일')

• 항상 정확하지는 않으나, 크롬 개발자도구를 참고할 수도 있습니다
  1. 원하는 부분에서 마우스 오른쪽 클릭 → 검사
  2. 원하는 태그에서 마우스 오른쪽 클릭
  3. Copy → Copy selector로 선택자를 복사할 수 있음

 

▷ mongoDB 시작하기

1. 패키지 설치하기

• 터미널을 열고, 마지막 경로가 pythonprac 인지 확인!
• (venv) 로 가상환경이 활성화 되었는지 확인!
• pip install pymongo dnspython 을 입력하고 엔터!

pymongo, dnspython

2. pymongo로 조작하기

• [코드스니펫] pymongo 기본 코드

from pymongo import MongoClient
client = MongoClient('여기에 URL 입력')
db = client.dbsparta

 

▷ pymongoDB로 DB조작하기

1. pymongo로 mongoDB 조작하기

• DB연결하기 & 데이터 넣기

# 'users'라는 collection에 {'name':'bobby','age':21}를 넣습니다.
db.users.insert_one({'name':'영희','age':30})
db.users.insert_one({'name':'철수','age':20})
db.users.insert_one({'name':'john','age':30})

• 모든 결과 값을 보기
  • [코드스니펫] pymongo(find)

all_users = list(db.users.find({},{'_id':False}))

# 모든 데이터 뽑아보기
all_users = list(db.users.find({},{'_id':False}))

print(all_users[0])         # 0번째 결과값을 보기
print(all_users[0]['name']) # 0번째 결과값의 'name'을 보기

for a in all_users:      # 반복문을 돌며 모든 결과값을 보기
    print(a)

• 특정 결과 값을 뽑아 보기
  • [코드스니펫] pymongo(find_one)

user = db.users.find_one({})

user = db.users.find_one({})
print(user)

• 수정하기
  • [코드스니펫] pymongo(update_one)

user = db.users.find_one({})

# 오타가 많으니 이 줄을 복사해서 씁시다!
db.users.update_one({'name':'영수'},{'$set':{'age':19}})

user = db.users.find_one({'name':'영수'})
print(user)

• 삭제하기 (거의 안 씀)
  • [코드스니펫] pymongo(delete_one)

db.users.delete_one({'name':'영수'})

db.users.delete_one({'name':'영수'})

user = db.users.find_one({'name':'영수'})
print(user)

2. pymongo 사용법. 코드요약

• [코드스니펫] pymongo 코드 요약

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({},{'_id':False}))

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})

👉  우리는 딱 네 가지 기능만 알면 됩니다. 저장하고, 찾고, 바꾸고, 지우고!

      이 기능들을 어떻게 사용하는지 요약하면 다음과 같습니다.

 

▷ 웹스크래핑 결과 저장하기

1. insert 연습하기 - 웹스크래핑 결과를 DB에 저장하기

• [코드스니펫] 스크래핑 완성코드

import requests
from bs4 import BeautifulSoup

# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')

# select를 이용해서, tr들을 불러오기
movies = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for movie in movies:
    # movie 안에 a 가 있으면,
    a_tag = movie.select_one('td.title > div > a')
    if a_tag is not None:
        rank = movie.select_one('td:nth-child(1) > img')['alt'] # img 태그의 alt 속성값을 가져오기
        title = a_tag.text                                      # a 태그 사이의 텍스트를 가져오기
        star = movie.select_one('td.point').text                # td 태그 사이의 텍스트를 가져오기
        print(rank,title,star)

• [코드스니펫] pymongo 연결 코드 - pymongo 기본 세팅

import requests
from bs4 import BeautifulSoup

from pymongo import MongoClient
client = MongoClient('mongodb+srv://test:sparta@cluster0.55vah.mongodb.net/Cluster0?retryWrites=true&w=majority')
db = client.dbsparta

# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')

# select를 이용해서, tr들을 불러오기
movies = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for movie in movies:
    # movie 안에 a 가 있으면,
    a_tag = movie.select_one('td.title > div > a')
    if a_tag is not None:
        rank = movie.select_one('td:nth-child(1) > img')['alt'] # img 태그의 alt 속성값을 가져오기
        title = a_tag.text                                      # a 태그 사이의 텍스트를 가져오기
        star = movie.select_one('td.point').text                # td 태그 사이의 텍스트를 가져오기
        print(rank,title,star)

• [코드스니펫] 데이터베이스 삽입하기 - 도큐먼트 만들어 하나씩 insert 하기

import requests
from bs4 import BeautifulSoup

from pymongo import MongoClient
client = MongoClient('mongodb+srv://test:sparta@cluster0.55vah.mongodb.net/Cluster0?retryWrites=true&w=majority')
db = client.dbsparta

# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')

# select를 이용해서, tr들을 불러오기
trs = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for tr in trs:
    # movie 안에 a 가 있으면,
    a = tr.select_one('td.title > div > a')
    if a is not None:
        rank = tr.select_one('td:nth-child(1) > img')['alt'] # img 태그의 alt 속성값을 가져오기
        title = a.text                                      # a 태그 사이의 텍스트를 가져오기
        star = movie.select_one('td.point').text                # td 태그 사이의 텍스트를 가져오기
        doc = {
						'title': title,
            'rank': rank,
            'star': star
        }
        db.movies.insert_one(doc)