반응형 크롤링5 [PYTHON] 기업마당_정부 지원 사업 자동화 수집 (크롤링) 안녕하세요, HELLO 중소벤처기업부는 중소기업, 스타트업, 예비창업자 등을 위한 정부 사업을 '기업마당' 사이트에 통합하여 관리하고 있습니다. 2022년 업데이트를 통해 기존에 제공하던 지원 사업 엑셀(excel)을 더이상 제공하고 있지 않습니다. 스타트업 지원 사업 뉴스레터를 관리하면서, 정보를 원할하게 수집하기 위해 python 크롤링 코드를 작성하여 공유합니다. 엑셀로 지원 사업을 관리하는 정부 사업 담당자분들은 확인하시기 바랍니다. STEP 1. '기업마당' 개념 STEP 2. '기업마당' 수집 크롤링 설명 STEP 1. '기업마당' 개념 기업마당은 금융, 인력, 경영, 수출 등 중소기업 등을 위한 정책, 지원 사업을 통합하여 안내하고 있습니다. URL : https://www.bizinfo.g.. 2022. 4. 10. [PYTHON] 파이썬 웹 크롤링 (무한 스크롤 크롤링/SCROLL_DOWN) 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, HELLO 이번에는 PYTHON selenium을 활용해서 동적 페이지를 크롤링할 때, 웹 크롤링을 진행하게 되면 스크롤 다운(scroll down)하여, 웹페이지를 내려가면서 데이터를 수집하는 스크롤 다운 방법 중 마지막 항목까지 자동으로 내려가는 무한 스크롤 크롤링을 정리했습니다. 이번 코드는 이전에 공유한 횟수를 정하고 내려가는 방식도 향후에 참고하면 좋습니다. 2021. 10. 24. [PYTHON] 파이썬 Selenium 웹페이지 스크롤하기 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, HELLO 이번에는 PYTHON selenium을 활용해서 동적 페이지를 크롤링할 때, 웹 페이지를 스크롤 다운(scroll down)하여, 웹페이지 내릴 일이 있습니다. 이번 코드는 이전에 공유한 "[PYTHON] 크롤링_유튜브 (COLDPLAY X BTS)"를 참조합니다. 1. 소스 코드 2. 코드 설명 1. 개요 - PAGE DOWN 횟수를 활용한 웹 페이지 scroll down # library import from tqdm.auto import tqdm from selenium.webdriver.common.by import By from selenium... 2021. 10. 20. [PYTHON] 파이썬 유튜브_크롤링 (COLDPLAY X BTS) 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, Hello 이번에는 유튜브 크롤링을 진행해보려고 합니다. 신사업 구축, 경쟁사 분석, 시장 동향 등 다양한 목적으로 유튜브 데이터를 수집하여, 활용할 수 있습니다. - 댓글 내 이메일 주소 등을 활용한, 서비스 이용자 DB 확보 - 댓글 내 영상 시간을 활용한 구독자 하이라이트 검토 - 댓글 반응을 통한 영상 우호도 확인 - 댓글 텍스트 데이터를 활용한 머신러닝/딥러닝 학습 목적 데이터 수집에 활용할 영상은 2021년 9월 30일에 등록된, Coldplay X BTS - My Universe입니다. kmong.com/gig/341599 별도의 유튜브 크롤링 데이터가.. 2021. 10. 9. [PYTHON] 파이썬 크롤링 진행_미쉐린 레스토랑 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, Hello, 데이터 수집 과정에서 미쉐린 레스토랑에 등록된 레스토랑 정보를 가져오게 되었다. 크롤링 진행하기 전, 레스토랑 페이지의 구성을 살펴보면, 1. 카드 형식의 레스토랑 리스트 2. 다음 페이지로 넘어가는 블록 3. 레스토랑 리스트 클릭 시, 해당 레스토랑 페이지로 이동 으로 구성되어 있다. 동적형 페이지를 크롤링하는데, python selenium webdriver를 사용하기도 하지만, 페이지 이동 > 페이지 정보 추출 > 다음 페이지 이동으로 이어지는 일련의 과정에서 기대한 속도가 나오지 않아서, 3. 레스토랑 리스트 클릭 시, 해당 레스토랑 페이지로 이동으로 하는 페.. 2021. 9. 25. 이전 1 다음 반응형
