본문 바로가기

PROGRAMMING125

[PYTHON] 파이썬 경고 메시지 숨기기(import warnings) 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, Hello Jupyter notebook, colab 등을 사용하다 보면, 출력창에 변경될 사항 등을 알려주는 경고 글귀(warnings)가 출력됩니다. 딕셔너리에 존재하지 않는 키로 접근할 시 발생하는 키 오류(KeyError), 리스트에 존재하지 않는 인덱스로 접근하면 인덱스 오류(IndexError)와 다르게, 코드 결과에 큰 영향을 주지않지만, 경고 메시지 자체가 기분이 좋지 않기에, 글귀가 보이지 않도록 차단할 수 있습니다. import warnings # 경고창 숨기기 warnings.filterwarnings('ignore') # 경고창 다시 나타내기 warnings.. 2021. 10. 14.

[PYTHON] 파이썬 lxml로 스크레이핑 진행 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, Hello python을 활용하여 lxml을 사용해 HRML에서 데이터를 추출하고자 합니다. lxml에는 여러 가지 API가 있으며, 이 중에서 HTML을 파싱(Parsing)할 때는, lxml.html을 사용합니다. * 파싱(parsing) : 페이지(문서, html 등)에서 내가 원하는 데이터를 특정 패턴이나 순서로 추출해 가공하는 것 내용 및 코드는 위키북스의 '파이썬을 이용한 웹 크롤링과 스크레이핑'을 참조해서 작성했습니다. lxml은 libxml2와 libxslt을 사용한 C확장 라이브러리입니다. 최초 실행 시에는 설치가 되어 있지 않기에, 전용 패키지를 설치합니.. 2021. 10. 10.

[PYTHON] 파이썬 urllib/requests 웹페이지 추출 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, Hello python을 통해 웹페이지를 추출할 때 사용되는 1. urllib.request 모듈 2. Requests 두가지 방법에 대해서 정리하고자 합니다. 내용 및 코드는 위키북스의 '파이썬을 이용한 웹 크롤링과 스크레이핑'을 참조해서 작성했습니다. 1. urllib.request 모듈 urllib.request에 포함돼 있는 urlopen() 함수에 URL을 지정하면 웹 페이지를 추출할 수 있습니다. # 라이브러리 호출 from urllib.request import urlopen # urlopen() 함수는 HTTPResponse 자료형의 객체를 반환 # 이 .. 2021. 10. 9.

[PYTHON] 파이썬 유튜브_크롤링 (COLDPLAY X BTS) 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, Hello 이번에는 유튜브 크롤링을 진행해보려고 합니다. 신사업 구축, 경쟁사 분석, 시장 동향 등 다양한 목적으로 유튜브 데이터를 수집하여, 활용할 수 있습니다. - 댓글 내 이메일 주소 등을 활용한, 서비스 이용자 DB 확보 - 댓글 내 영상 시간을 활용한 구독자 하이라이트 검토 - 댓글 반응을 통한 영상 우호도 확인 - 댓글 텍스트 데이터를 활용한 머신러닝/딥러닝 학습 목적 데이터 수집에 활용할 영상은 2021년 9월 30일에 등록된, Coldplay X BTS - My Universe입니다. kmong.com/gig/341599 별도의 유튜브 크롤링 데이터가.. 2021. 10. 9.

[PYTHON] 파이썬 "%matplotlib inline" 의미 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, Hello Kaggle 및 Dacon의 데이터 분석 경진대회에서 아래와 같은 "%matplotlib inline"를 살펴볼 수 있습니다. %matplotlib inline Jupyter notebook과 IPython과 같이 코드 실행 결과를 바로 볼 수 있는 Interactive style에서 자주 볼 수 있습니다. 해당 코드는 Jupyer notebook을 실행한 브라우저에서 그림을 볼 수 있도록, 브라우저 내부(Inline)에 그려지도록 하는 코드입니다. 이는 도표, 그래프, 그림, 소리, 애니메이션 등과 같은 산출물(Rich output)을 표현하는 방법 중 하.. 2021. 10. 3.

[PYTHON] 파이썬 크롤링 진행_미쉐린 레스토랑 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, Hello, 데이터 수집 과정에서 미쉐린 레스토랑에 등록된 레스토랑 정보를 가져오게 되었다. 크롤링 진행하기 전, 레스토랑 페이지의 구성을 살펴보면, 1. 카드 형식의 레스토랑 리스트 2. 다음 페이지로 넘어가는 블록 3. 레스토랑 리스트 클릭 시, 해당 레스토랑 페이지로 이동 으로 구성되어 있다. 동적형 페이지를 크롤링하는데, python selenium webdriver를 사용하기도 하지만, 페이지 이동 > 페이지 정보 추출 > 다음 페이지 이동으로 이어지는 일련의 과정에서 기대한 속도가 나오지 않아서, 3. 레스토랑 리스트 클릭 시, 해당 레스토랑 페이지로 이동으로 하는 페.. 2021. 9. 25.

[Think Julia] 줄리아 실행, 시작부터 난간 hmm... 안녕하세요, hello, 시작부터 당황스러운 상황입니다. 책을 시작하면 설치 필요없이, 줄리아 프로그래밍을 연습할 수 있는 'juliabox'(https://www.juliabox.com)[현재 폐쇄]를 추천해줍니다.그리고 9월 12일, 2021년 기준으로 페이지는 폐쇄되어 접속이 안 됩니다. 그래서, 구글링 결과, 5월 31일, 2020년 기준으로 juliabox 서비스가 종료되었다고 하고, 이 책은 4월 2020년에 발간되어 업데이트가 안 되었나 봅니다. hmm.. 그래서, 구글링해본 결과, 설치없이 공부하고 연습할 수 있는 페이지에 Cocalc(Collaborative Calculation and Data Science)을 찾았습니다. 회원가입 필요없이, 무료로 연습해볼 수 있는 환경이.. 2021. 9. 12.

[Think Julia] 줄리아,를 시작하며 안녕하세요, Hello, 최근에 회사 내 데이터를 처리하는 것과 알고리즘 개발을 파이썬으로 작업을 진행하고 있습니다. 어떻게 하면 빠르게 처리하고, 빨리 퇴근할 수 있을까라는 관점 하에서 공부하던 중, 프로그래밍 언어 줄리아(Julia)에 대해 알게 되었습니다. 속도(C와 포트란 수준)와 표현력 측면에서 파이썬보다 좋다고 표현하며, 줄리아의 장점은 대화형 / 간단한 구문 / 동적인 유형 지정과 정적인 유형 지정의 장점 결합 / 파이썬, C, 포트란(Fortran) 라이브러리 호출 가능 / 메타프로그래밍 지원 등이며, 아래와 같은 목표 하에 개발되고 있습니다. "우리는 오픈소스이면서 자유롭게 쓸 수 있는 언어를 원한다. C의 속도에 루비의 역동성을 원한다. 동형성(homoiconic)이 있으.. 2021. 9. 12.

이전 1 ··· 11 12 13 14 다음

티스토리툴바