운동하는 공대생

먼저 개발자 모드로 휴대폰 변경 필수이니 미리 변경하고 실행을 해야 한다. 사전 준비1. Termux 설치Termux는 안드로이드에서 리눅스 터미널 환경을 제공하는 앱이으로, 리눅스 명령어 실행, 패키지 설치, 개발 작업 등을 모바일에서 할 수 있다. https://play.google.com/store/apps/details?id=com.termux&hl=ko Termux - Google Play 앱터미널 에뮬레이터 및 리눅스 환경을 제공합니다.play.google.com  실행먼저 Termux를 실행하면 아래와 같이 화면이 나온다.Termux는 unix  기반의 안드로이드 장치에서 리눅스 환경을 제공합니다. 하지만 sudo 같은 관리자 권한은 없고 디바이스에 따라서 다르게 적용됩니다.(최신 사양의 휴..

양자화에 대한 개념은 LLM 모델의 크기가 커짐에 따라서 당연하게 크기를 줄이는 방향으로 연구가 진행되면서 최근에 기본적으로 사용되는 이론이다.양자화에 대한 개념을 말하기 전에 데이터에 대한 표현 방식을 먼저 이야기를 해보자면 integer는3 → 1112 → 1100 4bit integer3 → 001112 → 1100 데이터에 대한 표현은 0과 1로 이루어져 있기 때문에 비트에 대한 제한을 준다면 4비트 int 같은 경우에는 0에서 15까지의 표현이 가능하다. 실제 우리가 사용되는 숫자의 표현은 int만이 사용되지 않고 실수를 많이 사용한다. 그렇다는 건 이것을 표현하기 위해서는 float 표현을 통해서 우리가 아는 실수를 모두 컴퓨터에서 표시를 한다.float는 32, 16,8 등으로 표현이 가능하..

안녕 오늘은 주말인데 일기를 쓰는 중임 오늘 아침부터 대학원 구술 면접 도움이? 그런 걸 했는데 내가 왜 긴장이 됐는지... 뭔가 다들 열심히 노력하는 모습을 다시 보니까 나도 자극이 다시 온 느낌임 다들 좋은 결과 있었으면 좋겠네 나도 사실 완전 초반이라 면접을 본 게 생생한데 나도 그 당시에 엄청 떨면서 대기를 했던 기억이 있어서 오늘 뭐가 대기를 하면서 뭘 물어보는 사람이 있으면 더 긴장을 풀라고 이야기를 했음 사실 당사자 입장에서는 그런 조언이 귀에 들어오지는 않겠지만... 아침에는 컴공 대학원 시험이 있었는데 오늘 면접을 보러 온 사람들이 거의 정장을 많이 입고 있어서 놀랐음 사실 나는 면접 때 셔츠 하나만 입고 와서 ㅋㅋㅋㅋㅋ 면접은 3시간? 그 정도 한 거 같고 사실 그 안에서 계속 면접을 ..

드디어 어제 걱정했던 발표가 끝났음.... 사실 이 발표도 아슬아슬했음...  마지막에 발표를 해서 시간이 없는 상황에서 발표를 해서 교수님의 태클이 들어오지 않았음. 사실 한 부분은 이야기가 너무 길어지는 느낌이라 좀 빼먹고 갔는데 역시... 교수님 귀신같이 바로 수업 끝나고 물어보심 (교수님 앞에서 거짓말은 할 생각을 하지 말자) 그래도 무사히 넘기고 나서 이제 당장 당일에 있는 미팅을 준비해야 했음 사실 이것도 이전에 준비를 한다고 했지만  너무나 빈틈 투성.... ㅋㅋㅋㅋㅋㅋㅋㅋ내가 봐도 좀 아니다 싶었음 그래서 발표 안 하려다가 용기를 내서 했지만 ㅋㅋㅋ 빠꾸 먹음 인생... 사실 내가 아니다 싶으면 안하는게 맞는거 같음 사실 오늘도 어제와 같이 바쁜거 하다보니 9시고 운동을 다녀오니 11시라 ..

이번에 챌린지 시작하면서 그냥 하루에 논문 하나씩 읽어서 올려야지~  계획을 했지만 개같이 실패....뭐 그 다음으로 시작을 해보자 한 게 일기를 쓰기로 했음 사실 일기를 써본게 언제인지 생각이 안 날 정도로 일기를 쓴 기억이 별로 없음 군대에서 하루에 한 페이지씩 매일 일하면서 일기를 써본 기억은 있지만 그때의 추억을 살려서 한번 하기로 생각함 오늘 아침에 일어나서 며칠째 고생하고 있던 문을 고칠 기회가 생김  이건 진짜 고치고 싶었는데 막상 해보니까 너무 어려움 문이 녹슬었다면 미리 미리....바꾸자...  그래서 당근에 이제 살려달라고 올림 그러니 구원자가 왔음 (사실 돈을 달라고 그래서 많이는 안 고마움) 문을 고치고 나니까 이제 11시가 넘어 밥 먹고 연구실 출발    날씨 진짜 미친놈임  11..

1. Mode switch User -> KernelInterrupts: 외부의 hardware에 대하여 발생한다.Exceptions: 프로그램에서 예상하지 못한 상황에서 발생한다. 예를 들어 외부 침입자 같은 상황System calls: process에서 kernel에 요청을 줄때  Kernel -> User- Return from interrupt, exception, system call : 이전에 User에서 Kernel 상태가 끝이 나고 돌아올 때- User-level upcall(UNIX signal) : 비동기적 사용자 프로그램의 처리 2. Data Transfer Modes PIO(programmed IO)CPU가 I/O 디바이스와 memory 사이에서 데이터를 전송하는 일에 관련되어 있다..

논문https://arxiv.org/abs/2403.02310 Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-ServeEach LLM serving request goes through two phases. The first is prefill which processes the entire input prompt and produces the first output token and the second is decode which generates the rest of output tokens, one-at-a-time. Prefill iterations have hiarxiv.org1. Introduction본 논문에서는 기존의 L..

1. 운영체제의 정의운영체제란 시스템 소프트웨어로 컴퓨터의 자원을 관리하는 역할을 한다. 즉 컴퓨터의 자원을 관리하거나 사용자가 내린 명령을 해석하는 두 가지 역할을 수행합니다. Application view실행 환경을 제공하며 컴퓨터의 하드웨어를 추상화한다. System view컴퓨터의 여러 자원을 관리한다. Implementation view 동시 다발적으로 발생하는 이벤트에 대한 처리를 담당한다.  역할하드웨어의 추상화보안 및 분리자원 공유2. 커널 모드, 사용자 모드운영체제가 하드웨어를 제어를 한다고 했는데 여기서 프로그램이 하드웨어에 접근하는 것을 막을 필요가 있다. 이것을 수행하기 위해서 2가지 모드가 존재한다.커널 모드하드웨어를 직접 제어할 수 있는 CPU의 명령어를 사용 가능자원 관리사용자..