티스토리

운동하는 공대생

검색하기

블로그 홈

운동하는 공대생

seungwoni.tistory.com/m

운동하는 공대생 님의 블로그입니다.

구독자: 4

방명록 방문하기

주요 글 목록

[Machine Learning] 머신러닝에서 딥러닝까지 이론 정리 (5) - Perceptron, Backpropagation 1. Intro 이제는 머신러닝에서 넘어와서 딥러닝에 대하여 정리를 해보겠다. 딥러닝 분야에서의 기본이 되는 개념은 뉴런이다. 뉴런은 사람의 뇌에 존재하는 뉴런을 모방한 기술로서 전기적인 신호를 가지고 뉴런끼리의 정보 전달의 역할을 모방했다. 그래서 Artificial neurons은 input을 받아들이고 output에서는 다음 뉴런으로 그 신호를 보낼지 말지를 결정한다. 이런 뉴런들을 모아서 모델을 구성한것을 Perceptron이라고 칭하며 Perceptron 여러 Layer를 구성하게 되고 다양한 방식으로 변형되면서 지금의 딥러닝의 모델들이 탄생했다. 2. Perceptron Perceptron의 기본적인 구조는 위에 있는 그림과 같습니다. 먼저 input으로 vector형식의 데이터가 들어온다면 .. 공감수 0 댓글수 0 2024. 4. 8.
[Machine Learning] 머신러닝에서 딥러닝까지 이론 정리 (4) - Bias-Variance & Multiclass Classification 1. Bias-Variance Tradeoff Bias-Variance 문제를 이야기하기에 앞서 먼저 Underfitting, Overfitting 에 대하여 이야기를 먼저 해보겠다. 그림에서 보이는 것처럼 Overfitting 은 데이터를 설명하는 모델이 너무 데이터 편향적으로 학습을 진행하면서 발생하며 훈련 과정에서는 Loss 가 적지만 Test 하면서 모델의 성능이 떨어지는 문제가 발생합니다. Underfitting 은 데이터를 설명하는 모델이 충분히 데이터를 설명하지 못하며 보통 훈련하는 데이터의 양이 적거나 모델이 단순하면 발생합니다. 수학적 해석 Expected Loss 정답을 나타내는 y 값에서 모델이 예측하는 값의 차이로 계산이 된다. 여기서 식을 전개를 해본다면 결국에는 Variance,.. 공감수 0 댓글수 0 2024. 3. 25.
[Machine Learning] 머신러닝에서 딥러닝까지 이론 정리 (3) - Logistic Regression & Training 1. Logistic Regression Linear Regression 모델을 이제까지는 알아봤는데 여기서 Regression이라는 태스크는 연속적인 데이터를 예측하는 문제이고 Classifiction이라는 태스크로 넘어가면서 이제는 더 이상 연속적인 값을 예측하는 문제가 아닌 카테고리를 분류하는 문제로 바뀐다. 여기서 이제 일반적인 Linear 모델의 구성 방식으로는 Classification 문제를 해결하기란 쉽지 않다. 왜냐하면 Classification 문제로 넘어가면서 결괏값이 0, 1 같은 이런 값으로 떨어지게 되는데 Linear모델을 활용하면 카테고리를 분류하기가 쉽지 않다. 이로 인하여 Classification 문제를 푸는 문제에서 처음으로 제시되는 방법이 Sigmoid 함수를 활용한 .. 공감수 0 댓글수 0 2024. 3. 18.
[Machine Learning] 머신러닝에서 딥러닝까지 이론 정리 (2) 1. How to Update the Parameter 이전까지 모델의 Error를 구하고 모델이 가지고 있는 변수들의 의미를 알아보았다. 하지만 여기서 이제는 그럼 파라미터를 업데이트하는 학습의 과정은 어떻게 이루어지는지를 설명을 해보도록 하겠다. 예시를 들어 설명을 하자면 위와 같은 데이터가 있다고 가정해보자. 그리고 h(x)라는 basis 모델이 있다고 가정을 해보겠다. 여기서 파라미터의 값을 gradient descent 방식으로 업데이트를 한다고 가정하면 파라미터 값을 임의의 값으로 초기화를 시켜주고 데이터를 대입하여 error를 계산하고 그 값을 통해서 파라미터를 업데이트하는 방식으로 적용이 된다. 위의 식에서 처럼 LSE 방식을 활용하여서 전체 데이터와 정답인 y값의 차이를 활용하여서 err.. 공감수 0 댓글수 0 2024. 3. 13.
[Machine Learning] 머신러닝에서 딥러닝까지 이론 정리 (1) 이번 이론 정리는 혼자 머신러닝 이론에 대한 총정리를 하기 위해서 작성하였습니다. 1. Introduction Traditional Programming vs Machine Learning 기본적으로 우리가 알고 있는 프로그래밍은 프로그램을 개발하는 개발자가 프로그램에 대한 룰을 정하여 일정 데이터와 프로그램을 이용하여 결과를 도출하는 방식을 말한다. 하지만 머신러닝은 개발자가 데이터를 기반으로 데이터에 대한 패턴을 학습하여서 새로운 데이터가 입력되었을 때 결과를 도출하는 방식으로 이루어진다. 이런 머신러닝에서 데이터를 설명하는 학습 방식에는 두가지가 존재한다. Supervised Learning vs Unsupervised Learning Supervised Learning 은 한국어로 지도학습 이라고.. 공감수 0 댓글수 0 2024. 3. 4.
[Machine Learning]PCA 0. Intro 데이터는 보통 여러 차원(High-dimensional)으로 구성이 되어 있다. 이런 여러 고차원 데이터는 데이터를 분석하는 과정에서 시각화를 하거나 데이터에 대한 분석을 진행하기에 어려움이 존재한다. 그래서 이런 고차원의 데이터를 차원 축소 방식 PCA를 통해서 표현한다. 1. PCA PCA 의 추론 과정의 아이디어는 차원을 축소하는 axis 를 잡고 데이터와 axis 축의 projection을 구한다음 그 projection들의 값들의 분산이 최소가 되도록한다면 데이터들이 축소된 차원에서 분산이 가장 큰 특성을 가진 방향으로 축이 만들어진다는 아이디어이다. 더 자세하게 설명을 아래에서 해보겠다. 1.1 Maximum variance formulation PCA는 결국 차원을 축소하여.. 공감수 1 댓글수 1 2023. 8. 2.
[Clustering]Maximum Likelihood Estimation-최대우도법 1. What is Maximum Likelihood Estimation(MLE) MLE 의 정의는 확률밀도함수 P(x|θ) 에서 관측되는 표본 데이터 x 를 통해서 θ 를 추정하는 방식이다. 5개의 데이터가 있다고 가정을 해보자. x={1,4,5,6,9} 이중에서 데이터의 분포가 어떤 곡선이 더 데이터에 맞는 분포인지를 수학적으로 풀이한게 MLE 방식이라고 이야기한다. 2. Likelihood function 그렇다면 각 데이터의 분포를 측정하기 위해서 후보 분포들 중에서 데이터와 가장 맞는 분포인지를 수치적으로 환산하는 방식이 있어야 하는데 이것을 Likelihood funcion을 통해서 가능도를 수치화 한다. 식을 해석하자면 k 가 1 에서부터 n 까지 있다고 가정하면 이것의 데이터의 확률 밀도값.. 공감수 0 댓글수 0 2023. 7. 25.
Automated Machine Learning (AutoML) 1. Intro 이번에 새로운 프로젝트로 AutoML에 대한 인프라를 구축하는 프로젝트를 시작하게 되었습니다. 그래서 이번에 프로젝트를 들어가기 이전에 내용을 한번 정리하고 AutoML에 대하여 간단하게 설명하겠습니다. 2. What is AutoML AutoML은 "Automated Machine Learning"의 약어로, 기계 학습 모델을 자동으로 만들고 최적화하는 기술을 말합니다. 이 기술은 인공지능 모델을 개발하는 데 필요한 일련의 과정을 자동화하여, 개발자가 더 적은 노력으로 더 나은 결과물을 얻을 수 있도록 합니다. AutoML은 전통적인 기계 학습 모델 개발 방법의 몇 가지 한계를 극복할 수 있습니다. 기존에는 데이터 전처리, 특징 추출, 모델 선택 및 하이퍼파라미터 튜닝 등 다양한 작업을.. 공감수 0 댓글수 0 2023. 5. 12.
[Data Preprocessing] 교차검증(K-Fold, Stratified K-Fold, GridSearchCV) 교차 검증 모델을 학습하면서 교차 검증을 하는 이유는 무엇일까. 이유는 바로 과적합(Overfitting)의 문제를 보안하기 위해서 이다. 과적합 문제는 모델학습 과정에서 항상 주의를 해야 하는 문제로 훈련 데이터에만 모델이 치중하여 학습을 하면 실제 데이터를 가지고 예측을 하였을 때 성능이 떨어지는 문제를 말한다. 그렇다면 교차 검증 방식은 어떻게 작용할까? 교차 검증 방식은 데이터 편중을 막기 위해서 학습 데이터 세트를 가지고 학습 데이터와 검증 데이터 세트를 또한번 나눠서 실제 학습을 하기 이전에 1차 평가를 하는 방식이다. 그렇게 된다면 최종 학습을 하기 위해서 모델의 최적화를 학습 이전에 가능하다. K-Fold K-Fold 교차 검증 방식은 가장 보편적으로 사용되는 교차 검증 기법이다. K-Fo.. 공감수 0 댓글수 0 2022. 12. 28.
Data Preprocessing(데이터 전처리)-Label encoding(레이블 인코딩),One-Hot encoding(원-핫 인코딩) Label encoding(레이블 인코딩) 데이터 예측 모델을 훈련 하가 위해서 많은 머신러닝 알고리즘은 문자열 데이터 형식을 지원하지 않는다. 그래서 모든 문자열 값은 인코딩 돼서 숫자 형으로 변황이 되어야 한다. 문자의 종류는 연속적인 값인 수치형 데이터와 범주형 데이터가 있다. 범주형 데이터들은 예측값과 연관성을 분석해보면 예측하려 하는 컬럼과 연관성이 있다면 수치형으로 바꾸는 레이블 인코딩 방식을 사용하여 데이터를 바꿔 주어야 하지만 범주형 데이터에서도 식별자의 특징을 띄는 범주형 데이터는 오히려 예측 성능을 덜어 뜨리기도 한다. 식별자의 특징을 가지는 범주형 데이터는 예를 들어 주민번호, 아이디 같은 한 행이 다른 행과 다른 것을 식별이 가능한 테이터를 말한다. from sklearn.prepr.. 공감수 0 댓글수 0 2022. 11. 22.
Regression(회귀)-다항 회귀와 과적합/과소적합 이해 파이썬 머신러닝 완벽 가이드(개정 2판) 책 내용을 정리한 내용입니다. 다항 회귀 이해 이전 공부한 내용까지는 단순 회귀에 관하여 설명했지만 이번에는 현실 상황에서 더 자주 있는 독립변수의 단항식이 아닌 2차, 3차 이상의 다항식일 경우에 해당하는 다항 회귀에 대햐여 이야기를 해보겠다. 다항 회귀는 단순회귀의 일차원 직선과 다르게 곡선형의 모양을 띄고 있다. 그래서 어떤 데이터에서는 선형 모델이 더 좋은 정확도를 보일 수도 있지만 일반적인 경우에는 다항 회귀 모델이 더 높은 정확도를 나타낸다. 다항 회귀를 이용한 과소적합 및 과적합 이해 과적합 다항 회귀 모델을 사용하는것이 항상 좋은 경우만 있는 것은 아니다. 이유는 항상 과소 적합과 과적 합의 오류를 신경을 써야 한다. 일단 과적합(overfittin.. 공감수 0 댓글수 0 2022. 11. 15.
Regression(회귀) - Gradient Descent(경사 하강법) What is Gradient Descent 이전 글에서 이야기했지만 회귀 분야에서 예측값과 실제값의 차이, 즉 비용을 최소화해주는 게 가장 중요하다. 이때 이 비용 값을 최소화해주는 방식이 Gradient Descent(경사 하강법)이다. 이 이론이 등장한 배경은 직관적인 단순 선형 회귀가 아닌 함수상으로 생각하기 어려운 다중으로 종속변수가 존재하는 상황에서는 RSS 비용 값을 최소화하기 위해서 데이터를 기반으로 알고리즘을 학습하는 이 방식이 등장하게 되었다. 수학 공식은..... 생략..ㅎㅎ 출처: https://angeloyeo.github.io/2020/08/16/gradient_descent.html 위의 동영상을 참조하면 처음 초기 값에서 RSS 비용 함수의 비용 값이 큰 상황의 함수가 있다... 공감수 0 댓글수 0 2022. 11. 4.
Regression(회귀) Theory 1.What is Regression 회귀(regression)는 머신러닝 분야에서 가장 일반적이고 흔한 이론이다. 통계학에서는 '회귀는 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법을 통 친한다.'라고 표현한다. 이걸 수학적 공식으로 생각을 해보자면 y=W1*X1+W2*X2+....+WnXn라고 한다면 여기서 각각의 미지수 X는 독립변수 Y는 종속 변수라고 이야기한다. 그리고 여기서 W는 독립변수 X에 영향을 미치는 회귀 계수이다. 독립변수 개수 회귀 계수의 결합 1개: 단일 회귀 선형: 선형 회귀 여러 개: 다중 회귀 비선형: 비선형 회귀 이렇게 독립변수의 개수가 한 개인지 여러 개인지에 따라 단일 회귀, 다중 회귀로 구분한다. 이제 이전에 글을 올렸던 분류(Classific.. 공감수 0 댓글수 0 2022. 11. 4.
MLOps 이란? Intro ML 프로젝트 진행 중에 지속적으로 나왔던 MLOps 이론에 대하여 정리의 필요성을 느끼고 내용을 한번 공부하고 정리하는 차원에서 글을 작성을 하겠다. 먼저 MLOps 라는 개념이 언급되었던 이유는 ML 분야에서 데이터를 정제하고 모델을 학습시키고 그리고 그 모델을 평가, 배포하는 이런 일련의 과정이 생각보다 많은 분야이 사람들과 그리고 시간, 인력 등 많은 작업들을 필요로 한다. 그래서 이런 과정들을 하나의 파이프라인을 구조화하여 빠르고 단순하게 ML을 구현이 가능할까? 하는 물음에서 이 개념이 언급이 되었다. MLOps란 이전에 미리 존재하는 DevOps(Software Devdlopment and IT Operation)이론과 비슷한 개념으로 MLOps(Machine Learning Op.. 공감수 1 댓글수 0 2022. 10. 26.
Synthetic Data(합성 데이터) What is Synthetic Data 머신러닝 모델을 만들고 적용을 시켜 예측을 하다 보니 데이터의 양이 너무 적어서 예측의 정확도가 좋지 않은 경우가 생각보다 많이 있었다. 이런 상황에서 예측의 정확도를 높이기 위해서 모델의 최적의 파라미터를 찾거나 전처리를 잘하여 정확도를 높이는 방법이 있지만 절대적인 데이터의 양이 부족하다면 정확도를 높이는 게 한계가 있다. 그래서 정확도를 높이기 위한 방식을 찾아보다가 Synthetic Data(합성 데이터)라는 이론에 대하여 알게 되었다. Synthetic Data(합성 데이터)가 등장하게된 배경으로는 양질의 데이터를 대량으로 얻기 어려운 상황과 그리고 요즘 딥러닝에서 이슈가 되고 있는 데이터에 대한 개인정보보호 때문에 데이터를 얻는데 시간과 제한들 때문에 .. 공감수 1 댓글수 0 2022. 10. 14.
LightGBM Theory 1.Intro Xgboost는 최근 까지도 매우 각광받는 부스팅 알고리즘 방식이다. 하지만 여전히 많은 학습 시간을 필요로 한다. 그래서 조금 더 성능을 좋가 하기 위해서 LightGBM 알고리즘이 나왔다. 먼저 가장 비교되는 큰 장점은 학습 시간이 훨씬 적다 는 점이다. 또한 사용하는 메모리 양도 적다. 그러면서 Xgboost와 성능 차이도 많이 나지 않는다. 2. LightGBM LightGBM은 일반적인 균형 트리 분할(Level Wise) 방식과는 차이를 가지고 있다. 여기서는 리프 중심 트리 분할(Leaf Wise) 방식을 사용한다. 균형 트리 분할방식은 오버피팅을 줄여주는 효과적인 방식이지만 시간이 많이 걸리는 단점이 있다. 그 이유는 균형을 유지하면서 분할을 하므로 균형을 맞춰주는 시간을 반.. 공감수 1 댓글수 0 2022. 9. 22.
XGBoost Theory XGBoost 기법은 Decision Tree (결정트리)방식을 기반으로 한 알고리즘 방식이다. 현존하는 모델중에서 현업니다 대회에서 가장 많이 사용되어지고 있는 모델이다. XGBoost 기법을 설명하기 이전에 먼저 Boosting 이라는 앙상블 기법에 대하여 설명을 먼저 하도록 하겠다. 앙상블 기법이란 여러가지 예측 모델을 설정하고 결합하여 예측값의 정확도를 높이는 방식이다. 앙상블 기법에는 크게 Voting, Bagging, Boosting 이렇게 3가지로 나뉜다. Voting과 Bagging 은 이후 앙상블 이론을 다룰때 설명을 다시 하도록 하겠다. -Boosting Boosting 기법이란 여러가지 분류 모델들을 순차적으로 실행하고 결과값에서 Error(예측이 틀린값)에 가중치를 두어서 다음 예측.. 공감수 2 댓글수 0 2022. 8. 20.
Time Series Analysis(시계열 분석) 1. 정의 시계열이란 이름 그대로 시간의 흐름에 따라 기록 또는 저장되어있는 데이터를 분석하는 것이다. 예로 들자면 보통 기상분석 데이터, 주식, 금융 등 다양하게 활용되고 있다. 예측 모델에서는 시간을 독립변수로 생각하고 종속변수인 데이터를 예측하는 방식으로 데이터를 예측한다. 2. 시계열 데이터 정상성(Stationary) -정상 시계열 정상 시계열이란 위 그림처럼 시간에 따른 시계열의 평균과 그리고 데이터의 분산들이 일정하고 변화되는 추세가 없어야한다. 한마디로 정의하자면 시간에 종속되지 않고 추세가 없는 데이터형이다. 3. ARIMA ARIMA모델은 정상 시계열 데이터가 아닌 비정상 시계열( 변화의 추세를 보이는 데이터를 말한다. )를 예측하는 방식이다. 그러나 이 “자동”이라는 단어 때문에 단순.. 공감수 2 댓글수 0 2022. 8. 18.
K-Mean Clustering ( K- 평균 군집화) 정의 k-평균 알고리즘(K-means clustering algorithm)은 먼저 데이터를 분류하는 군집화 방식중 하나로 간단하게 군집화가 가능한 방식이다. Clustring 하고 싶은 군집화의 수에 따라 중심점을 지정하고 그 중심점들(Centroids)에서 데이터들 사이의 평균 거리를 이용하는 방식이다. 이후 군집화 수에 따라 데이터를 분류하고 분류된 군집에서 다시 중심점을 정하는 방식으로 알고리즘을 수행한다. 위의 알고리즘 공식처럼 데이터(x) 와 중심점(u) 의 분산(v) 를 최소화 시키는 것이 이 알고리즘의 방식이다. 구현 순서 군집화 수 정하기 K-Mean 군집화 방식을 사용하려면 자신이 분류하고자 하는 군집의 수를 지정을 해주어야한다. -Elbow method 이전에 설명했던 분산과 군집의 .. 공감수 1 댓글수 0 2022. 8. 16.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.