본문 바로가기
반응형

전체 글793

[IT_INFO] 온프레미스(On-premise) 그리고 클라우드(Cloud, Off-premise) 안녕하세요, HELLO 데이터 분석 업무를 진행하게 되면, 자사 또는 타사, 고객사의 데이터를 확인하게 됩니다. 기업의 서버를 회사 자체 전산 서버에 보관하는가 아니면 서버를 인터넷을 통해 클라우드에 연결하는가에 따라 데이터 수집 방법에 차이가 있습니다. 이때, 기업의 서버가 회사 자체 서버에 보관하게 되면 온프레미스(On-premise) 방식이라 하며, 서버를 인터넷을 통해 클라우드에 연결하면 오프프레미스(Off-premise) 또는 클라우드(Cloud) 방식이라 합니다. 아래에서 온프레미스와 오프프레미스, 클라우드에 대해서 알아보겠습니다. STEP 1. 온프레미스(On-premise) 개념 STEP 2. 오프프레미스(Off-premise), 클라우드(Cloud) 개념 STEP 1. 온프레미스(On-p.. 2021. 11. 3.
[R] 그래프: 히스토그램(HIST, Histogram) 그리기 안녕하세요 R과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, HELLO ​ 연속된 데이터를 구간별로 나누고, 그 구간에 해당하는 빈도수를 시각화하여, 데이터의 분포 특성을 파악하는 데 유용한 히스토그램(histogram)에 대해서 알아보겠습니다. STEP 1. 히스토그램(HIST, histogram) 개념 ​ STEP 2. 히스토그램(HIST, histogram) 그리기 STEP 1. 히스토그램(HIST, histogram) 개념 히스토그램(histogram)은 연속형 자료에 대한 도수분포표를 시각화한 그래프다. 이로 인해, 히스토그램의 1개의 막대(봉)는 1개의 구간(가로)과 그 구간 내에 속하는 데이터의 빈도수(세로)를 표현합니다. 이를 .. 2021. 11. 1.
[R] 그래프: 상자그림 (box plot/box and whisker plot) 그리기 안녕하세요 R과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, HELLO 데이터를 시각화를 통해 전체적인 모습을 확인하는 방법 중에 '사분위수(Quarter Percentile)와 이상치(Outlier)'을 시각화하여, 데이터의 중심과 분포를 파악하는 데 편리한 상자그림(box plot/box and whisker plot)에 대해서 알아보겠습니다. STEP 1. 상자그림(box plot) 개념 STEP 2. 상자그림(box plot) 그리기 STEP 1. 상자그림(box plot) 개념 상자그림(box plot)은 중앙값, 제1사분위수, 제3사분위수 등의 기술 통계량을 상자 모양으로 나타낸 그래프입니다. 상자그림과 각 요소별 의미는 아래와 같.. 2021. 10. 29.
[R] 문자열 나누기 및 자르기_strsplit(x , split ='any') 안녕하세요 R과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, Hello R에서 strsplit(x, split = 'any') 함수는 split 인자의 'any' 안에 들어가는 구분자(seperator) 예를 들어, 쉼표(,), 마침표(.) 등 기준에 따라서 문자열을 분리해주는 함수입니다. STEP 1. strsplit() STEP 1. strsplit(x, split = 'any') strsplit() 함수로 문자형 벡터를 나누면 결과가 리스트(list) 구조로 나옵니다. 아래와 같이 '띄어쓰기'로 구분된 주소에서 서울시, 경기도 등 광역시 정보만 추출해보겠습니다. # 실습 주소 데이터 address 2021. 10. 28.
[R] 데이터 분석 기초(평균, 중간값, 분산, 표준편차, 백분위수) 안녕하세요 R과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, HELLO 데이터 분석 개론서, 실습서 등을 살펴보면, 분석의 기초는 데이터를 왜곡없이 '있는 그대로' 보는 것을 강조합니다. 이처럼 관찰된 데이터를 수치화(평균, 분산, 표준편차 등)된 공통 기준을 활용함으로써 데이터를 정리할 수 있습니다. 이에 따라 데이터 특성을 파악할 수 있는 주요 지표에 대해서 아래와 같이 살펴보겠습니다. STEP 1. 평균 STEP 2. 중간값 STEP 3. 분산/표준편차 STEP 4. 백분위수 통계량 (Statistics) R 평균 (산술평균) mean() 조화평균 1/mean(1/x) 중간값 median() 분산 var() 표준편차 sd() 백분위수 q.. 2021. 10. 28.
[PYTHON] 파이썬 정규식을 활용한 괄호와 괄호 안 문자열 삭제 또는 추출 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, HELLO 이번에 특허청 특허 정보를 확인하게 되면서, 국내 출원/등록된 특허 데이터가 저장된 형태를 보게 되었습니다. 특허 정보는 아래와 같이, 특허 상태, 특허명(영문 포함), 특허 정보 등으로 구성되며, 이 중에서 특허명은 괄호()로 국문과 영문이 구분되어 있습니다. 국문 특허명과 영문 특허명을 구분해서 저장하며, 활용한 코드를 아래와 같이 공유합니다. 이번에는 PYTHON 정규식과 library re를 활용해서, STEP 1. 괄호와 괄호 안 문자열 삭제 STEP 2. 괄호와 괄호 안 문자열 추출 이 두가지에 대해서 살펴보고자 합니다. STEP 1. 괄호와 괄호 안 문자열.. 2021. 10. 26.
[PYTHON] 파이썬 웹 크롤링 (무한 스크롤 크롤링/SCROLL_DOWN) 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, HELLO ​ 이번에는 PYTHON selenium을 활용해서 동적 페이지를 크롤링할 때, 웹 크롤링을 진행하게 되면 스크롤 다운(scroll down)하여, 웹페이지를 내려가면서 데이터를 수집하는 스크롤 다운 방법 중 마지막 항목까지 자동으로 내려가는 무한 스크롤 크롤링을 정리했습니다. ​ 이번 코드는 이전에 공유한 횟수를 정하고 내려가는 방식도 향후에 참고하면 좋습니다. 2021. 10. 24.
[R] 데이터 구조 확인하기 str( ), head( ), tail( ) 안녕하세요 R과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, HELLO R의 문법 중에 객체(object) 및 데이터의 타입과 값을 확인하는 방법을 공유하고자 합니다. 1. str(structure) 객체의 변수 명과 문자형/숫자형 정보를 확인할 수 있다. # 객체(object) 확인 str(iris) 2. head() / tail() 데이터의 일부를 확인할 수 있으며, head()의 경우, 데이터의 앞 부분을, tail()의 경우, 데이터의 뒷 부분을 확인할 수 있다. # head() head(iris) # tail() tail(iris) 확인하고 싶은 데이터의 범위는 함수에서 (n = 숫자) 옵션을 활용하면 된다. head(iris, n .. 2021. 10. 21.
[PYTHON] 파이썬 Selenium 웹페이지 스크롤하기 안녕하세요 파이썬과 관련하여 추가적으로 필요한 정보가 있으시면, DATA101에서 확인 가능하십니다. 감사합니다. 안녕하세요, HELLO ​ 이번에는 PYTHON selenium을 활용해서 동적 페이지를 크롤링할 때, 웹 페이지를 스크롤 다운(scroll down)하여, 웹페이지 내릴 일이 있습니다. ​ 이번 코드는 이전에 공유한 "[PYTHON] 크롤링_유튜브 (COLDPLAY X BTS)"를 참조합니다. 1. 소스 코드 ​ 2. 코드 설명 1. 개요 ​ - PAGE DOWN 횟수를 활용한 웹 페이지 scroll down # library import from tqdm.auto import tqdm from selenium.webdriver.common.by import By from selenium... 2021. 10. 20.
반응형

티스토리툴바