운동하는 공대생

https://arxiv.org/abs/1503.02406 Deep Learning and the Information Bottleneck Principle Deep Neural Networks (DNNs) are analyzed via the theoretical framework of the information bottleneck (IB) principle. We first show that any DNN can be quantified by the mutual information between the layers and the input and output variables. Using this re arxiv.org 1. Introduction 논문에서는 현재 많이 사용하고 있는 딥러닝 분야에..

1. CNN(Convolution Neural Network) 합성곱 신경망(CNN, Convolutional Neural Network)은 컴퓨터 비전 작업을 위해 특히 유용한 딥 러닝 모델 중 하나입니다. 아래에서 CNN의 기본 개념과 작동 방식을 설명하겠습니다. 1. 컨볼루션(Convolution): CNN은 주로 이미지 처리에 사용되며, 이러한 이미지는 2D 그리드로 표현됩니다. 컨볼루션은 이러한 이미지에 필터(또는 커널)를 적용하여 특징을 추출하는 과정입니다. 각 필터는 입력 이미지에서 작은 영역을 선택하고 가중치를 적용하여 출력 특징 맵을 생성 합니다. 필터를 이동하면서 이미지 전체를 훑어가면서 특징을 추출합니다. 2. 필터(커널): 필터는 작은 가중치 행렬로, 입력 이미지에서 특정한 특징을 ..

1. Neural 퍼셉트론은 인공신경망의 초기 형태로, 인간의 뉴런 구조를 모방하여 설계된 방식입니다. 기본적으로는 생물학적 뉴런이 전기적 신호를 받아들이고 일정 임계값을 넘어가면 다음 뉴런으로 신호를 전달하는 원리를 따르고 있습니다. 퍼셉트론에서는 각 노드가 이전 노드에서 전달받은 입력값에 가중치를 곱하여 계산하고, 이를 활성화 함수를 통해 처리한 후 다음 노드로 전달합니다. 이와 같은 구조는 뇌의 뉴런 간의 상호 작용을 모방함으로써 기계 학습 및 패턴 인식 등의 과제에 응용됩니다. 퍼셉트론은 입력값을 적절한 가중치와 활성화 함수를 활용하여 출력값을 생성하는데, 이를 통해 모델이 학습하고 판단할 수 있는 능력을 갖추게 됩니다. 이러한 퍼셉트론의 개념은 후에 다양한 인공신경망 모델의 기초가 되었습니다. ..

1. 회귀 모델 회귀 모델이란 이전에서 설명했던 분류 모델과는 다르게 범주형 데이터를 예측하는 게 아니라 연속값을 예측하는 방식입니다. 모델을 구성하는 파라미터를 최적화 하기 위한 방식은 무엇이 있을까? 2. 회귀 모델 학습 Objective function MSE(Mean Squared Error) RMSE(Mean Squared Error), MAE(Mean Squared Error) 등등... Optimization Gradient Descent(경사 하강법) 3. 실습 LinearRegression을 이용해 보스턴 주택 가격 회귀 구현 page 324 ~ 327 (오늘은 코드 안써준다 ^^ 책 보고 하자) 다항 회귀 page 330 ~ 332 과적합 from sklearn.preprocessing..

1. Intro 기본적인 분류 모델에서 사용되고 있는 이론들에 대하여 정리하고 직접 실습까지 진행하는 방식으로 진행하겠습니다. 2. Definition 2.1 결정 트리 규칙 노드 : 표시된 노드는 규칙 조건이 된다. 리프 노드 : 분류된 값 서브 트리 : 전체 트리가 아닌 일부분 => 하지만 트리 구조에서 깊이가 깊어질수록 결정 트리의 예측 성능이 저하될 가능성이 높다. 그래서 정확도를 높게 가지려면 최대한 많은 데이터 세트가 분류에 속하도록 특징으로는 직관적이라 룰이 명확하고 스케일링이나 정규화 작업이 필요하지 않는다. 하지만 결정 트리 모델의 단점은 과적합으로 정확도가 떨어진다. 실습 from sklearn.tree import DecisionTreeClassifier, export_graphviz..

1. Data https://www.kaggle.com/competitions/titanic/data Titanic - Machine Learning from Disaster | Kaggle www.kaggle.com 2. 수업 내용 머신러닝의 실습 과정에서 필요한 과정을 설명을 하겠습니다. 먼저 실습하는 과정에서는 제가 자주 사용하는 방식을 순서대로 설명을 하겠습니다. Data Preprocessing - 데이터 분석 import pandas as pd df=pd.read_csv('train.csv') df['Survived'].value_counts() df 데이터 전처리 과정에서는 먼저 데이터에 대한 분석을 진행을 해야 한다. 훈련을 위한 데이터와 예측을 하려는 데이터에 대하여 데이터의 분포(tar..

이전까지 이제 hypothesis function을 구성하는 parameter들을 MSE(Mean Squared Error)를 통해서 Error를 구하고 Cost Function 또 구성하는 parameter를 Least Square 방식을 통해서 구하는 거에 대하여 공부했다. 이번에는 Gradient Descent 방식을 통해서 구하는 것에 대하여 정리하겠다. 1. Gradient Descent 기본적인 프로세스는 cost function에서 일정 파라미터에 대하여 특정 시작점을 지정하고 점점 이동하면서 목표로 하는 지점까지 이동하는 방식이다. 한국어로 해석하면 경사하강법이라고 이야기를 한다. 식을 통해서 알 수 있듯이 파라미터의 값을 일정 gradient 값과 알파 값을 곱한 값을 빼서 파라미터를 업..

Linear Regression에서 기본적인 프로세스는 1. Hypothesis를 지정 2. Model train 3. 예측 이렇게 구성이 된다. 모델에 대한 함수를 지정하고 데이터를 기반으로 함수에 대한 파라미터를 정해나가는 방식이라고 생각할 수 있다. 1. 용어 정리 먼저 데이터의 구성이 1차원이라고 가정을 한다면 x : input feature(입력 데이터) y : target variable(목표 변수) (x, y) : 훈련 데이터 (x(i), y(i)) : i번째 훈련 데이터 2. Error Error 란 모델이 예측한 값과 실제값의 차이를 Error 혹은 Cost라고 한다. 그리서 이런 값들을 최소화하는 게 모델 훈련의 목적이라고 이야기를 할 수 있다. 그렇다면 이런 Error를 구하는 방식은..