운동하는 공대생

양자화에 대한 개념은 LLM 모델의 크기가 커짐에 따라서 당연하게 크기를 줄이는 방향으로 연구가 진행되면서 최근에 기본적으로 사용되는 이론이다.양자화에 대한 개념을 말하기 전에 데이터에 대한 표현 방식을 먼저 이야기를 해보자면 integer는3 → 1112 → 1100 4bit integer3 → 001112 → 1100 데이터에 대한 표현은 0과 1로 이루어져 있기 때문에 비트에 대한 제한을 준다면 4비트 int 같은 경우에는 0에서 15까지의 표현이 가능하다. 실제 우리가 사용되는 숫자의 표현은 int만이 사용되지 않고 실수를 많이 사용한다. 그렇다는 건 이것을 표현하기 위해서는 float 표현을 통해서 우리가 아는 실수를 모두 컴퓨터에서 표시를 한다.float는 32, 16,8 등으로 표현이 가능하..

안녕 오늘은 주말인데 일기를 쓰는 중임 오늘 아침부터 대학원 구술 면접 도움이? 그런 걸 했는데 내가 왜 긴장이 됐는지... 뭔가 다들 열심히 노력하는 모습을 다시 보니까 나도 자극이 다시 온 느낌임 다들 좋은 결과 있었으면 좋겠네 나도 사실 완전 초반이라 면접을 본 게 생생한데 나도 그 당시에 엄청 떨면서 대기를 했던 기억이 있어서 오늘 뭐가 대기를 하면서 뭘 물어보는 사람이 있으면 더 긴장을 풀라고 이야기를 했음 사실 당사자 입장에서는 그런 조언이 귀에 들어오지는 않겠지만... 아침에는 컴공 대학원 시험이 있었는데 오늘 면접을 보러 온 사람들이 거의 정장을 많이 입고 있어서 놀랐음 사실 나는 면접 때 셔츠 하나만 입고 와서 ㅋㅋㅋㅋㅋ 면접은 3시간? 그 정도 한 거 같고 사실 그 안에서 계속 면접을 ..

오늘은 4일 차 생존 일기다 오늘은 뭐했지 생각도 할 필요도 없이 하루종일 코딩만 하다가 끝난 하루다.. 뭐가 결과가 있는 게 아니지만.... 그래도 하루가 잘 지나감 코딩을 하면 그렇지만 하루가 어떻게 지나갔는지 모르게 하루가 정말 빨리 가는 듯 함 오늘은 또 교수님과 둘이 점심에 식사 데이트를 했음 사실 아직 교수님이 조금 어려워서 무슨 말을 했는지도 잘 모르겠음 교수님 눈을 한 3초 이상 보기가 아직은 힘듬...그래도 막 너무 어색하지는 않았음 나름 뭐 오늘도 사진을 찍어둔 게 없어서 올릴 게 없지만 그래도 내일은 하는 일을 마무리했으면 좋겠음이번주에 다음학기 입학 면접이 있다고 함 나도 면접을 봤지만 벌써 이렇게 시간이  지난게 좀 신기함 빨리 나도 무언갈 해야지.. 그럼~ 수고~

오늘도 돌아온 생존일기 3편 사실 오늘은 어제와 비교를 하더라도 더욱 별게 없는 하루다 사실 이렇게 생각을 다시 하면서 적고 있지만 눈뜨고 감으려고 하니 지금임 오늘 한일은 그냥 잡다한 일을 다 마무리하고 조교 일 시작함 조교 일을 하는건 사실 바쁜 와중에 하는 거라 생각보다 손이 많이 가지만  그래도 이번 과제를 만들면서 약간의 내 연구 분야를 사용하는 느낌이라 그래도 좀 의미가 있다고 생각함 그래서 교수님이 시킨것 같기도 하고 나름 재미있게 하고있음 앞으로 이제 사진을 좀 찍고 하루를 기록을 하던가 해야지 너무 내용이 없긴 함  하지만 오늘 먹은 저녁은 있음 ㅎㅎ 여기 최근에 찾은 마라탕 집인데 다른 메뉴도 맛있어서 자주감 근데 양이 좀 적은 느낌이긴 했음  내일은 좀 더 적어보자.

드디어 어제 걱정했던 발표가 끝났음.... 사실 이 발표도 아슬아슬했음...  마지막에 발표를 해서 시간이 없는 상황에서 발표를 해서 교수님의 태클이 들어오지 않았음. 사실 한 부분은 이야기가 너무 길어지는 느낌이라 좀 빼먹고 갔는데 역시... 교수님 귀신같이 바로 수업 끝나고 물어보심 (교수님 앞에서 거짓말은 할 생각을 하지 말자) 그래도 무사히 넘기고 나서 이제 당장 당일에 있는 미팅을 준비해야 했음 사실 이것도 이전에 준비를 한다고 했지만  너무나 빈틈 투성.... ㅋㅋㅋㅋㅋㅋㅋㅋ내가 봐도 좀 아니다 싶었음 그래서 발표 안 하려다가 용기를 내서 했지만 ㅋㅋㅋ 빠꾸 먹음 인생... 사실 내가 아니다 싶으면 안하는게 맞는거 같음 사실 오늘도 어제와 같이 바쁜거 하다보니 9시고 운동을 다녀오니 11시라 ..

이번에 챌린지 시작하면서 그냥 하루에 논문 하나씩 읽어서 올려야지~  계획을 했지만 개같이 실패....뭐 그 다음으로 시작을 해보자 한 게 일기를 쓰기로 했음 사실 일기를 써본게 언제인지 생각이 안 날 정도로 일기를 쓴 기억이 별로 없음 군대에서 하루에 한 페이지씩 매일 일하면서 일기를 써본 기억은 있지만 그때의 추억을 살려서 한번 하기로 생각함 오늘 아침에 일어나서 며칠째 고생하고 있던 문을 고칠 기회가 생김  이건 진짜 고치고 싶었는데 막상 해보니까 너무 어려움 문이 녹슬었다면 미리 미리....바꾸자...  그래서 당근에 이제 살려달라고 올림 그러니 구원자가 왔음 (사실 돈을 달라고 그래서 많이는 안 고마움) 문을 고치고 나니까 이제 11시가 넘어 밥 먹고 연구실 출발    날씨 진짜 미친놈임  11..

1. Idea프로그램이 작동할 때 프로세스나 많은 작업들이 리소스를 사용하는데 여기서 동시에 작동하는 thread에서 공유된 자원을 활용하기에 앞서 여러 문제들이 발생한다. 그래서 이런 문제를 해결하고자 lock이라는 방식을 사용하며 이런 공유 자원들을 여러 thread에서 접근을 한다고 한다면 이를 충돌을 막기 위해 lock이 활용되는 부분을 critical section이라 한다. 동일한 리소스를 접근하는 critical section의 예시는 아래와 같다. 공유 변수 또는 데이터 구조 : 두 개의 스레드가 동시에 동일한 변수를 증가시키는 경우메모리 공유(Shared Memory)파일 시스템: 여러 프로세스가 동시에 동일한 파일에 쓰기를 하는 경우2. Lockslock은 데이터에 대한 mutual e..

1. Problem 이전에서 설명을 했지만 VA에서 PA로 주소를 변환하는 과정이 굉장히 많은 비용이 발생한다. 그래서 이런 방식은 시간이 많이 걸리고 또한 linear 한 단순한 방식이 아닌 multi-level page table 방식 같은 경우에는 더 많은 시간이 소요된다.2. TLB (Translation Lookaside Buffer)문제에서 이야기를 했듯이 translation 시간을 빠르게 하기 위해서 MMU안에 TLB라는 cache 하드웨어가 존재한다. 위에 나온 사진을 보면 먼저 offset이 4비트로 표현된 16 bytes의 크기의 page로 구성이 되어진다고 할 때 페이지의 주소를 PA로 변환하면 page table에 의하여 변환이 될 것이다. 하지만 여기서 VPN은 같고 offset..