본문 바로가기
반응형

DATA_SCIENCE44

[딥러닝] 규제 (Regularization) 해설, 정리, 요약 안녕하세요, HELLO 딥러닝은 어떤 현상에 대해서 가장 자세히 설명하기 위한 모델 함수를 찾는 것이 목적입니다. 모델을 찾을 때, 실제 정답과 모델이 예측한 결과 간의 오차가 발생하고, 정답 y와 모델이 예측값 y^과의 차이를 손실 함수 (Loss function, Cost function)이라고 합니다. 딥러닝 모델의 성능을 올리기 위해서는 손실 함수를 최소화해야 합니다. 모델에 훈련 데이터의 특징, 패턴 등이 과하게 적용되어, 손실 함수가 필요 이상으로 작아지게 되는 경우를 과적합 (Overfitting)이라고 합니다. Overfitting이 발생하게 되면 학습에 사용된 데이터에 대해서만 잘 설명하고, 다른 데이터에 대해서는 설명이 부족해지는 일반화 능력 (Generalization)이 부족해집니다.. 2023. 11. 5.
[딥러닝] 차원의 저주 (Curse of dimensionality) 해설, 정리, 요약 안녕하세요, HELLO 차원의 저주는 고차원 공간에서 데이터 포인트의 밀도가 극단적으로 희박해지는 현상을 가리킵니다. 이는 고차원 데이터를 처리하거나 분석할 때 발생하는 문제로, 학습 및 예측의 정확도를 저하시키는 원인이 됩니다. 오늘은 차원의 저주 (Curse of dimensionality)에 대해서 정리해 보겠습니다. CHAPTER 1. '차원의 저주 (Curse of dimensionality)' 개요 CHAPTER 2. '차원의 저주 (Curse of dimensionality)' 문제점 CHAPTER 3. '차원의 저주 (Curse of dimensionality)' 예시 CHAPTER 1. '차원의 저주 (Curse of dimensionality)' 개요 차원의 저주는 고차원 데이터를 다룰.. 2023. 10. 31.
[CV] Top 1 error, Top 5 error 이미지 분류 모델 평가 지표 해설, 정리, 요약 안녕하세요, HELLO 이미지 분류 (Image classification) 문제에서 볼 수 있는 top 1 error와 top 5 error에 대해서 살펴보고자 합니다. CHAPTER 1. 'Top 1 error, Top 5 error' 정리 CHAPTER 2. 'Top 5 error' 모델 성능에서의 의의 CHAPTER 1. 'Top 1 error', 'Top 5 error' 정리 Top 1 error와 Top 5 error는 이미지 분류 (image classification) 성능을 평가 기준입니다. 분류기 (classifier) 모델은 주어진 이미지가 어떤 클래스 (class)에 속하는지 분류해 낼 것입니다. 이때 예측 (predicted)한 에서 상위 1개의 값이 실제 정답과 같다면, top .. 2023. 10. 17.
[DATA] 수치형 데이터에서 피처 정규화가 중요할까요? 안녕하세요, HELLO 데이터 모델링에서 수치형 데이터 (Numerical Data)에서 피처 정규화 (Feature Normalization)가 중요할까요? 1. 수치형 데이터란? 수치형 데이터는 주사위 눈금, 인구수 등 나눌 수 있는 이산형 숫자 데이터와 키, 몸무게 등 나눌 수 없는 연속형 숫자 데이터로 나눠집니다. 2. 피처 정규화란? 피처 정규화 (Feature normalization)는 데이터의 범위를 특정 구간의 범위로 조절해 주는 방법입니다. 정규화는 달러, 원화, 엔화 등 단위가 다른 경우, 계산 난이도를 낮추기 위함 등의 목적으로 진행됩니다. 대표적인 정규화 기법으로는 최댓값-최솟값을 활용한 min-max scaling, 데이터 분포의 평균, 분산을 활용한 z-normalization.. 2023. 5. 28.
[REVIEW] AutoSmart: An Efficient and Automatic Machine Learning framework for Temporal Relational Data 리뷰, review 안녕하세요, HELLO 머신러닝, 딥러닝 분야는 좋은 성능의 모델을 만들기 위한 많은 시간, 컴퓨팅 파워, 인력 등이 필요한 '시행착오 (Trial and error)'가 많이 필요합니다. 이러한 반복적이고, 실험적인 모델의 학습을 개선하기 위해 최근에는 데이터를 입력하면 사람의 많은 개입(Human Assistance) 없이 높은 성능의 모델을 만들어내는 automated machine learning, 이른바 AutoML 분야가 각광받고 있습니다. AutoML 분야는 데이터, 변수, 모델의 관점에서 data preparation, feature engineering 그리고 model generation, model evaluation 이렇게 4개 분야로 정리하고 있습니다. (ref. AutoML: A.. 2023. 5. 14.
[Review] AutoML-Zero: Evolving Machine Learning Algorithms From Scratch 리뷰, review 안녕하세요, HELLO 머신러닝, 딥러닝 분야는 좋은 성능의 모델을 만들기 위한 많은 시간, 컴퓨팅 파워, 인력 등이 필요한 '시행착오 (Trial and error)'가 많이 필요합니다. 이러한 반복적이고, 실험적인 모델의 학습을 개선하기 위해 최근에는 데이터를 입력하면 사람의 많은 개입(Human Assistance) 없이 높은 성능의 모델을 만들어내는 automated machine learning, 이른바 AutoML 분야가 각광받고 있습니다. AutoML 분야는 데이터, 변수, 모델의 관점에서 data preparation, feature engineering 그리고 model generation, model evaluation 이렇게 4개 분야로 정리하고 있습니다. (ref. AutoML: A.. 2023. 5. 5.
[REVIEW] Cellpose: A generalist algorithm for cellular segmentation 리뷰, review 안녕하세요, HELLO 이미지 분야 (computer vision)로 도메인 지식을 넓히기 위해, object detection, classification, segmentation, ocr, generative AI 등에 대해서 스터디를 진행하며, 논문을 리뷰하고 있습니다. 이번에 살펴본 논문은 세포 이미지, celluar segmentation 문제를 개선하기 위해 제안된 U-net 기반 모델인 Cellpose: A generalist algorithm for cellular segmentation입니다. Cellpose는 Convolutional Neural Netowrk에 기반한 딥러닝 접근 방식을 사용하여 이미지 분할을 수행합니다. 세포, 핵, 박테리아, 기타 작은 구조물 등 생물학적 이미지에서.. 2023. 4. 30.
[Audio] 음성 신호 처리 (Audio Signal Processing) 기본 용어 해설, 정리, 요약 안녕하세요, HELLO 오늘은 음성 신호 처리 (Audio Signal Processing)에서 기본 개념인 파형, 주파수, 진폭 등에 대해서 정리하려고 합니다. CHAPTER 1. '파형 (Waveform)' 정리 CHAPTER 2. '주파수 (Frequency), 진폭 (Amplitude), 강도 (Intensity)' 정리 CHAPTER 3. '위상 (Phase), 음색 (Timbre)' 정리 CHAPTER 1. '파형 (Waveform)' 정리 ◼︎ 파형 (Waveform)이란? 파형은 시간에 따른 신호의 진폭을 보여주는 오디오 신호의 그래픽 표현입니다. 파형은 가로축의 시간에 대한 세로축의 신호 전압 또는 압력 값을 가로축에 표시한 그림입니다. 파형은 주파수, 진폭, 위상 및 파형 모양과 같은 .. 2023. 4. 2.
[딥러닝] 데이터 거버넌스 (Data Governance) 해설, 정리, 요약 안녕하세요, HELLO 데이터 거버넌스 Data Governance는 조직이 데이터 자산을 관리하는 방법을 정의하는 일련의 프로세스, 정책, 표준 및 지침입니다. 데이터 거버넌스의 목적은 데이터가 정확하고, 신뢰할 수 있으며, 안전하고, 관련 법률과 규정을 준수하도록 보장하는 것입니다. 오늘은 데이터 거버넌스에 대해서 정리해 보겠습니다. CHAPTER 1. '데이터 거버넌스 Data Governance' 정의 CHAPTER 2. '데이터 거버넌스 Data Governance' 책임 CHAPTER 1. '데이터 거버넌스 Data Governance' 정의 데이터 거버넌스 Data Governance는 조직이 데이터 자산을 관리하는 방법을 정의하는 일련의 프로세스, 정책, 표준 및 지침입니다. 데이터 거버넌.. 2023. 3. 27.
반응형

티스토리툴바