[PYCON2017 시리즈] 처음부터 알아보는 웹 크롤러
    • 01
      크롤링이란?
    • 크롤링이란?
      개발환경
      파이콘 2017 html 가져오기 - 1
      파이콘 2017 html 가져오기 - 2
      특정 정보를 선택하여 가져오기
      파이콘 2017 html에서 제목만 가져오기 - 1
      파이콘 2017 html에서 제목만 가져오기 - 2
      파이콘 2017 html에서 제목 밑의 정보 가져오기 - 1
      파이콘 2017 html에서 제목 밑의 정보 가져오기 - 2
      파이콘 2017 발표자 목록 가져오기 - 1
      파이콘 2017 발표자 목록 가져오기 - 2
      파이콘 2017 발표자 링크 가져오기 - 1
      파이콘 2017 발표자 링크 가져오기 - 2
      로그인이 필요한 정보 가져오기 - 1
      로그인이 필요한 정보 가져오기 - 2
      로그인이 필요한 정보 가져오기 - 3
      로그인이 필요한 정보 가져오기 - 4
    • 02
      부록
    • 크롤러 주기적으로 실행하기
      좀 더 사람처럼 크롤링하기
    크롤링이란?
    01 크롤링이란?
    크롤링이란?

    네이버 뉴스에서 '구름 EDU'로 검색했을때 나오는 기사들의 모든 댓글을 엑셀로 정리하고자 합니다.
    사람이 하나하나 들어가서 확인해도 되지만 그렇게 하기엔 너무 오랜 시간이 걸리고 단순 반복 작업으로 지루합니다..

    그럴때 혼자서 네이버 뉴스에서 검색을 하고 또 그 기사들을 찾아가 그곳에 있는 댓글을 알아서 가져오는 소프트웨어가 있다면 얼마나 편할까요?

    이런 소프트웨어를 크롤러(crawler)라고 부르고
    웹페이지에서 원하는 원하는 정보를 가져오는 행위를 크롤링(crawling)이라고 부릅니다.


    정리

    크롤링(crawling)이란 컴퓨터 소프트웨어 기술로 웹 사이트들에서 원하는 정보를 추출하는 것을 의미합니다.

    그리고 이러한 일을 하는 소프트웨어를 크롤러(crawler)라고 부릅니다.

    질문하기