운동하는 공대생

양자화에 대한 개념은 LLM 모델의 크기가 커짐에 따라서 당연하게 크기를 줄이는 방향으로 연구가 진행되면서 최근에 기본적으로 사용되는 이론이다.양자화에 대한 개념을 말하기 전에 데이터에 대한 표현 방식을 먼저 이야기를 해보자면 integer는3 → 1112 → 1100 4bit integer3 → 001112 → 1100 데이터에 대한 표현은 0과 1로 이루어져 있기 때문에 비트에 대한 제한을 준다면 4비트 int 같은 경우에는 0에서 15까지의 표현이 가능하다. 실제 우리가 사용되는 숫자의 표현은 int만이 사용되지 않고 실수를 많이 사용한다. 그렇다는 건 이것을 표현하기 위해서는 float 표현을 통해서 우리가 아는 실수를 모두 컴퓨터에서 표시를 한다.float는 32, 16,8 등으로 표현이 가능하..

드디어 어제 걱정했던 발표가 끝났음.... 사실 이 발표도 아슬아슬했음...  마지막에 발표를 해서 시간이 없는 상황에서 발표를 해서 교수님의 태클이 들어오지 않았음. 사실 한 부분은 이야기가 너무 길어지는 느낌이라 좀 빼먹고 갔는데 역시... 교수님 귀신같이 바로 수업 끝나고 물어보심 (교수님 앞에서 거짓말은 할 생각을 하지 말자) 그래도 무사히 넘기고 나서 이제 당장 당일에 있는 미팅을 준비해야 했음 사실 이것도 이전에 준비를 한다고 했지만  너무나 빈틈 투성.... ㅋㅋㅋㅋㅋㅋㅋㅋ내가 봐도 좀 아니다 싶었음 그래서 발표 안 하려다가 용기를 내서 했지만 ㅋㅋㅋ 빠꾸 먹음 인생... 사실 내가 아니다 싶으면 안하는게 맞는거 같음 사실 오늘도 어제와 같이 바쁜거 하다보니 9시고 운동을 다녀오니 11시라 ..

이번에 챌린지 시작하면서 그냥 하루에 논문 하나씩 읽어서 올려야지~  계획을 했지만 개같이 실패....뭐 그 다음으로 시작을 해보자 한 게 일기를 쓰기로 했음 사실 일기를 써본게 언제인지 생각이 안 날 정도로 일기를 쓴 기억이 별로 없음 군대에서 하루에 한 페이지씩 매일 일하면서 일기를 써본 기억은 있지만 그때의 추억을 살려서 한번 하기로 생각함 오늘 아침에 일어나서 며칠째 고생하고 있던 문을 고칠 기회가 생김  이건 진짜 고치고 싶었는데 막상 해보니까 너무 어려움 문이 녹슬었다면 미리 미리....바꾸자...  그래서 당근에 이제 살려달라고 올림 그러니 구원자가 왔음 (사실 돈을 달라고 그래서 많이는 안 고마움) 문을 고치고 나니까 이제 11시가 넘어 밥 먹고 연구실 출발    날씨 진짜 미친놈임  11..

1. Relocation프로세스가 물리적 메모리에 저장이 되기 위해서는 0에서 바로 시작하는 것이 아니라 메모리의 어딘가에 저장을 해야 한다. 이런 가상의 주소에서 물리적 메모리의 주소로 변환하는 과정을 relocation이라고 한다. Static Relocation소프트웨어를 기반으로 메모리에 할당을 하는 방식이다. 여기서는 메모리에 로딩할때 OS가 각각의 프로그램에 할당한다. 즉 모든 프로세스에 대한 주소를 다시 작성을 하는 것이라고 할 수 있다. 그래서 이런 방식은 하드웨어에 대한 도움이 필요하지 않지만 메모리에 직접적으로 접근하기 때문에 보안에 취약하다. 또한 메모리를 한번 할당하면 주소를 이동하는 게 힘들다. Dynamic Relocation이 방식은 하드웨어를 기반으로 작동하는 방식이다. CP..

이번 이론 정리는 혼자 머신러닝 이론에 대한 총정리를 하기 위해서 작성하였습니다. 1. Introduction Traditional Programming vs Machine Learning 기본적으로 우리가 알고 있는 프로그래밍은 프로그램을 개발하는 개발자가 프로그램에 대한 룰을 정하여 일정 데이터와 프로그램을 이용하여 결과를 도출하는 방식을 말한다. 하지만 머신러닝은 개발자가 데이터를 기반으로 데이터에 대한 패턴을 학습하여서 새로운 데이터가 입력되었을 때 결과를 도출하는 방식으로 이루어진다. 이런 머신러닝에서 데이터를 설명하는 학습 방식에는 두가지가 존재한다. Supervised Learning vs Unsupervised Learning Supervised Learning 은 한국어로 지도학습 이라고..