운동하는 공대생

1. Mode switch User -> KernelInterrupts: 외부의 hardware에 대하여 발생한다.Exceptions: 프로그램에서 예상하지 못한 상황에서 발생한다. 예를 들어 외부 침입자 같은 상황System calls: process에서 kernel에 요청을 줄때  Kernel -> User- Return from interrupt, exception, system call : 이전에 User에서 Kernel 상태가 끝이 나고 돌아올 때- User-level upcall(UNIX signal) : 비동기적 사용자 프로그램의 처리 2. Data Transfer Modes PIO(programmed IO)CPU가 I/O 디바이스와 memory 사이에서 데이터를 전송하는 일에 관련되어 있다..

1. Bias-Variance Tradeoff Bias-Variance 문제를 이야기하기에 앞서 먼저 Underfitting, Overfitting 에 대하여 이야기를 먼저 해보겠다. 그림에서 보이는 것처럼 Overfitting 은 데이터를 설명하는 모델이 너무 데이터 편향적으로 학습을 진행하면서 발생하며 훈련 과정에서는 Loss 가 적지만 Test 하면서 모델의 성능이 떨어지는 문제가 발생합니다. Underfitting 은 데이터를 설명하는 모델이 충분히 데이터를 설명하지 못하며 보통 훈련하는 데이터의 양이 적거나 모델이 단순하면 발생합니다. 수학적 해석 Expected Loss 정답을 나타내는 y 값에서 모델이 예측하는 값의 차이로 계산이 된다. 여기서 식을 전개를 해본다면 결국에는 Variance,..

1. How to Update the Parameter 이전까지 모델의 Error를 구하고 모델이 가지고 있는 변수들의 의미를 알아보았다. 하지만 여기서 이제는 그럼 파라미터를 업데이트하는 학습의 과정은 어떻게 이루어지는지를 설명을 해보도록 하겠다. 예시를 들어 설명을 하자면 위와 같은 데이터가 있다고 가정해보자. 그리고 h(x)라는 basis 모델이 있다고 가정을 해보겠다. 여기서 파라미터의 값을 gradient descent 방식으로 업데이트를 한다고 가정하면 파라미터 값을 임의의 값으로 초기화를 시켜주고 데이터를 대입하여 error를 계산하고 그 값을 통해서 파라미터를 업데이트하는 방식으로 적용이 된다. 위의 식에서 처럼 LSE 방식을 활용하여서 전체 데이터와 정답인 y값의 차이를 활용하여서 err..

1. 회귀 모델 회귀 모델이란 이전에서 설명했던 분류 모델과는 다르게 범주형 데이터를 예측하는 게 아니라 연속값을 예측하는 방식입니다. 모델을 구성하는 파라미터를 최적화 하기 위한 방식은 무엇이 있을까? 2. 회귀 모델 학습 Objective function MSE(Mean Squared Error) RMSE(Mean Squared Error), MAE(Mean Squared Error) 등등... Optimization Gradient Descent(경사 하강법) 3. 실습 LinearRegression을 이용해 보스턴 주택 가격 회귀 구현 page 324 ~ 327 (오늘은 코드 안써준다 ^^ 책 보고 하자) 다항 회귀 page 330 ~ 332 과적합 from sklearn.preprocessing..

What is TF-IDF TF-IDF는 NLP 분야에 거 가장 흔하게 사용하는 방식으로 텍스트들이 나열되어있는 데이터에서 단어의 빈도수를 기준으로 하여서 한 단어가 그 문장에서 얼마나 수학적으로 중요한지 가중치를 나타내는 방식이다. 한 문장에서 한 단어의 빈도가 높으면 높을수록 이 TF 값은 커지고 여러 문장에서 한 단어의 빈도수가 높아면 IDF 값이 줄어드는 형식으로 이 두 값 TF, IDF를 곱한 것을 결과로 도출한다. 즉 한 문장에서 자주 사용되는 단어는 중요하다 판단하지만 다른 문장에서도 흔하게 사용하면 중요하지 않다고 단어를 판단하는 알고리즘이다. Mathematical Formula of TF-IDF 단어의 빈도를 나타내는 이 알고리즘은 결과값을 여러 가지 방식으로 산출한다. 먼저 총빈도수를..