본문 바로가기
반응형

DATA_SCIENCE/Deep Learning22

[딥러닝] Model-Agnostic Method 해설, 정리, 요약 안녕하세요, HELLO 머신러닝 분야가 빠르게 발전함에 따라, 모델이 예측을 어떻게 수행하는지를 이해하는 것이 점점 더 중요해지고 있습니다. 정교한 딥러닝 모델들은 높은 정확도를 제공하지만, 종종 "블랙박스"처럼 작동하여 그 내부 작동 방식을 해석하기 어렵습니다. Model-Agnostic 방법은 모델의 내부 구조나 특정 알고리즘에 의존하지 않고, 어떤 머신러닝 모델의 예측 결과를 해석할 수 있는 도구를 제공합니다. 이번에는 Model-Agnostic 방법이 무엇인지, 왜 중요한지, 그리고 대표적인 두 가지 기법인 LIME과 SHAP을 자세히 살펴보겠습니다.CHAPTER 1. 'Model-Agnostic' 방법 CHAPTER 2. 'LIME (Local Interpretable Model-agnostic.. 2024. 8. 15.
[Transformer] padding_side (패딩 방향)과 pad_token 해설, 정리, 요약 안녕하세요, HELLO 오늘은 transformer를 사용하여 language 모델, LLM 모델을 추론 (inference) 시 input token size를 맞춰주기 위해 padding을 진행할 때, padding_side는 어떻게 설정하고, 왜 pad_token을 eos_token으로 설정하는지에 대해서 살펴보고자 합니다. 우선 토큰화(Tokenization)와 transformer의 input_id, attention_maks에 대해서 살펴보고, 본격적으로 padding_side와 pad_token에 대해서 살펴보겠습니다.CHAPTER 1. '토큰화(Tokenization)' 선행 지식  CHAPTER 2. 'Transformer' 개념 정리   CHAPTER 3. ' Transformer In.. 2024. 2. 24.
[딥러닝] 규제 (Regularization) 해설, 정리, 요약 안녕하세요, HELLO 딥러닝은 어떤 현상에 대해서 가장 자세히 설명하기 위한 모델 함수를 찾는 것이 목적입니다. 모델을 찾을 때, 실제 정답과 모델이 예측한 결과 간의 오차가 발생하고, 정답 y와 모델이 예측값 y^과의 차이를 손실 함수 (Loss function, Cost function)이라고 합니다. 딥러닝 모델의 성능을 올리기 위해서는 손실 함수를 최소화해야 합니다. 모델에 훈련 데이터의 특징, 패턴 등이 과하게 적용되어, 손실 함수가 필요 이상으로 작아지게 되는 경우를 과적합 (Overfitting)이라고 합니다. Overfitting이 발생하게 되면 학습에 사용된 데이터에 대해서만 잘 설명하고, 다른 데이터에 대해서는 설명이 부족해지는 일반화 능력 (Generalization)이 부족해집니다.. 2023. 11. 5.
[딥러닝] 차원의 저주 (Curse of dimensionality) 해설, 정리, 요약 안녕하세요, HELLO 차원의 저주는 고차원 공간에서 데이터 포인트의 밀도가 극단적으로 희박해지는 현상을 가리킵니다. 이는 고차원 데이터를 처리하거나 분석할 때 발생하는 문제로, 학습 및 예측의 정확도를 저하시키는 원인이 됩니다. 오늘은 차원의 저주 (Curse of dimensionality)에 대해서 정리해 보겠습니다. CHAPTER 1. '차원의 저주 (Curse of dimensionality)' 개요 CHAPTER 2. '차원의 저주 (Curse of dimensionality)' 문제점 CHAPTER 3. '차원의 저주 (Curse of dimensionality)' 예시 CHAPTER 1. '차원의 저주 (Curse of dimensionality)' 개요 차원의 저주는 고차원 데이터를 다룰.. 2023. 10. 31.
[딥러닝] 음성 신호 처리 (Audio Signal Processing) 기본 용어 해설, 정리, 요약 안녕하세요, HELLO 오늘은 음성 신호 처리 (Audio Signal Processing)에서 기본 개념인 파형, 주파수, 진폭 등에 대해서 정리하려고 합니다.CHAPTER 1. '파형 (Waveform)' 정리 CHAPTER 2. '주파수 (Frequency), 진폭 (Amplitude), 강도 (Intensity)' 정리 CHAPTER 3. '위상 (Phase), 음색 (Timbre)' 정리  CHAPTER 1. '파형 (Waveform)' 정리 ◼︎ 파형 (Waveform)이란? 파형은 시간에 따른 신호의 진폭을 보여주는 오디오 신호의 그래픽 표현입니다. 파형은 가로축의 시간에 대한 세로축의 신호 전압 또는 압력 값을 가로축에 표시한 그림입니다.파형은 주파수, 진폭, 위상 및 파형 모양과 같은 오.. 2023. 4. 2.
[딥러닝] 데이터 거버넌스 (Data Governance) 해설, 정리, 요약 안녕하세요, HELLO 데이터 거버넌스 Data Governance는 조직이 데이터 자산을 관리하는 방법을 정의하는 일련의 프로세스, 정책, 표준 및 지침입니다. 데이터 거버넌스의 목적은 데이터가 정확하고, 신뢰할 수 있으며, 안전하고, 관련 법률과 규정을 준수하도록 보장하는 것입니다. 오늘은 데이터 거버넌스에 대해서 정리해 보겠습니다. CHAPTER 1. '데이터 거버넌스 Data Governance' 정의 CHAPTER 2. '데이터 거버넌스 Data Governance' 책임 CHAPTER 1. '데이터 거버넌스 Data Governance' 정의 데이터 거버넌스 Data Governance는 조직이 데이터 자산을 관리하는 방법을 정의하는 일련의 프로세스, 정책, 표준 및 지침입니다. 데이터 거버넌.. 2023. 3. 27.
[딥러닝] 소프트맥스 함수 (Softmax Activation Function) 해설, 정리, 요약 안녕하세요, HELLO 소프트맥스 함수, softmax activiation function는 분류 작업을 위해 신경망에서 널리 사용되는 함수입니다. 이 함수는 임의의 실수 벡터를 확률 분포로 변환하며, 벡터의 각 요소는 특정 클래스의 확률을 나타내기 때문에 유용합니다. 오늘은 소프트맥스 함수에 대해서 정리하려고 합니다. CHAPTER 1. '소프트맥스 활성화 함수 (Softmax Activation Function)' 선행 지식 CHAPTER 2. '소프트맥스 함수 (Softmax Function), 최대 함수 (Max Function)' 차이점 CHAPTER 1. '소프트맥스 활성화 함수 (Softmax Activation Function)' 선행 지식 소프트맥스 활성화 함수는 분류 작업을 위해 신경.. 2023. 3. 19.
[딥러닝] End to End model (E2E model) 해설, 정리, 요약 안녕하세요, HELLO End to End model은 수동 피처 엔지니어링 (manual feature engineering)이나 중간 처리 단계 없이 입력 데이터에서 출력 데이터로 직접 작업을 수행하는 방법을 학습하는 일종의 머신러닝 모델입니다. 즉, 수작업으로 만든 특징이나 전처리 단계에 의존하지 않고 원시 데이터를 입력으로 받아 원하는 출력을 직접 생성합니다. 오늘은 end to end, e2e model에 대해서 살펴보고자 합니다. CHAPTER 1. 'End to End model' 선행 지식 CHAPTER 2. 'Non End to End model과 End to End model 차이점' CHAPTER 1. 'End to End model' 선행 지식 End to End model은 아래와.. 2023. 2. 24.
[딥러닝] 레벤슈타인 거리 Levenshtein Distance 해설, 정리, 요약 안녕하세요, HELLO Edit Distance라고도 하는 Levenshtein Distance는 두 문자열 간의 차이를 측정하는 데 사용되는 방법입니다. 이는 한 문자열을 다른 문자열로 변환하는 데, 필요한 단일 문자 편집(삽입, 삭제 또는 대체)의 최소 수를 의미합니다. Levenshtein Distance는 1965년 알고리즘을 처음 소개한 러시아 수학자 Vladimir Levenshtein의 이름을 따서 명명되었습니다. 오늘은 Levenshtein distance에 대해서 정리하고자 합니다. CHAPTER 1. 'Levenshtein Distance' 개요 CHAPTER 2. 'Levenshtein Distance' 사용 CHAPTER 1. 'Levenshtein Distance' 개요 두 문자열.. 2023. 2. 21.
반응형

티스토리툴바