Digital Training 7일차(웹데이터 -> DataFrame 변환하기)

* 데이터 수집 방법

- 웹 크롤링 방식

: 불법의 소지가 있음

: 실제 법적 분쟁 사례도 많음

- API 활용

: 가장 치명적인 단점, 비용

: 공기관에서 제공해주는 건 이용 제한 없음

: 사기관(네이버, 쿠팡 등)은 당연히 이용 제한 있음

: 이용 메뉴얼만 잘 익히면 API크롤링은 끝

 

- 데이터 요청 시, 응답할 때 두가지 컨셉으로 응답 (XML, JSON)

-- 크롤링의 최종 목표 : 웹데이터를 DataFrame으로 변환

 

Ex) 예시

도서관 정보 나루 책의 정보를 가져옴 

----> ISBN 13자리

 ISBN 13자리 번호 활용해서 상세 페이지 정보를 가져옴.

 

* 검색결과 페이지 가져오기

* 불필요한 데이터 삭제하기

 

 

 

 

* 행 삭제하기