운동하는 대학원생

LLM base basic modelzero-shot generation모든 코드 생성 모델의 기반이 되었으며 프롬프트를 단순히 output을 도출하는 방식으로 진행됨GPT3모델의 성능에 의존을 하기 때문에 결과에 대한 정확도가 낮음In-context learning (NeurIPS 2020, GPT-3)입력 프롬프트에 코드 실행에 대한 예시와 정답을 주고 학습을 시켜서 모델이 더 학습을 정확하게 하는 방식Reasoning (NeurIPS 2020, GPT-3)Chain of ThoughtLet’s think step by step처럼 프롬프트에 외부적인 시그널을 통해서 문제를 자체적으로 단계를 구분하고 지속적으로 생각 혹은 추론을 하게 해주는 방식 After agent (ReAct ICLR 2023..

개인적인 공부 정리 Prompt의 입력 사람이 입력하는 단어를 자연어 형태에서 데이터 형태로 표현을 해야 한다.가장 단순한 방식은 모든 단어에 대하여 사전을 만들어서 일대일로 매핑 시키는 방식이다.하지만 여기서의 문제는 과연 컴퓨터가 인식을 함에 있어서 단어의 기준을 어떻게 잡을 것 인가 혹은 합성어와 같이 어떤 단위로 단어를 구분해야 할지 많은 연구와 모델들이 존재한다.SentencePiece (32,000 vocab)단어를 사전에 가지고 있던 데이터의 빈도, 확률을 기반으로 단어를 분리한다.시작을 나타내는 단어와 공백을 나타내는 단어를 포함하며 사전에 없는 단어는 UTF-8 바이트 단위로 강제로 분해한다.실행 화면o200k_harmony(200,000 vocab)다국어 멀티모달GPT-3/4에서 주로..

Intro실제로 KVcache에 대한 재연산을 줄이기 위해서 메모리를 많이 사용하여 메모리 간 통신이 증가되는 현상을 보인다.Mooncake에서 제시하는 방식은 글로벌 스케줄러가 3가지 스텝으로 prefill과 decoding을 수행한다. ( pair를 선택)가능한 한 최대한 많은 재사용 가능한 KVCache를 prefill에서 선택청크/레이어 단위로 prefill을 완료하고 KVCache를 해당 디코딩 인스턴스로 지속적으로 스트리밍 한다.KVCache를 로드하고 요청을 디코딩 인스턴스의 지속적인 배치 프로세스에 추가함방식은 간단하지만 제약조건이 많다. prefill에서는 latency문제 때문에 제약이 걸린다.→ Conductor가 이것을 제어함 (hot 한 블록은 여러 서버 노드에 복제하고 cold ..

미국에서의 첫 금요일을 알차게 보내기 위하여 수업시간에 열심히 고민을 하던 중 쉬는 시간에 교수님께서 말씀해 주신 LACMA의 재즈 공연을 보기로 했음 https://www.lacma.org/event-calendar-by-day?event_hub=Jazz+at+LACMA Events & Programs | LACMACelebrate L.A.’s finest jazz musicians with Jazz at LACMA, presented Friday evenings from May through October. This week, join us for a concert with Trevor Ware & Positive People featuring Sidney Jacobs... Smidt Welcome..

이제 드디어 관광을 하는 모습 그리피스는 학교 바로 앞에서 타고 들어가는데 생각보다 오래 걸림 우리는 일몰 시간에 맞추기 위해서 6시쯤 출발 ">버스 기다리면서 사이버 트럭도 한번 보고 학교 주변에만 있어서 몰랐지만 버스를 타고 가는 길에 생각보다 위험한 거리가 많으니 밤에는 우버를 추천 그리피스 올라가는 버스에서 내리면 바로 이런 모습이 나옴 날씨가 좋아서 할리우드 사인도 잘 보이고 드디어 관광의 시작 이제 같이 올라간 일행이랑 200개의 사진을 찍고 구경이 끝났음 사실 그리피스 천문대에 올라가면 사진을 어디서 찍어도 잘 찍히는 느낌이라 스팟 이런 건 많이 없었음 일몰을 보고 해가 지면 이제 야경도 보이고 달도 보이기 시작함 저녁에는 산이라 그런지 좀 추워서 옷을 챙기는 걸 추천 유명한 ..

이번에 학교에서 USC 2주 프로그램으로 미국을 보내줌 앞으로 열심히 작성을 해보겠음 출발 전날에 가방을 싸는 이슈가 있어서 전날부터 열심히 지친 상태로 비행기에서 출발너무 힘들어요.. 그래도 같이 가는 형 덕분에 라운지도 써보고 좋았음 비행기에서 맥주만 거의 4캔 먹어주고 영화 6개 정도 보니까 도착함 미국 입성 입국 심사는 많은 질문을 하지는 않았고 목적과 얼마나 있을 건지 그거만 물어보고 끝남 생각보다 별거 없었음 공항에 딱 내려서 인앤아웃을 찾기 위한 여정을 떠남 역시 미국답게 너무 넓음인앤아웃 딱대 인앤아웃 맛은 일단 빵이 진짜 맛있고 감튀가 별로임 감튀가 생각보다 퍽퍽했음 다 먹고 이제 우버 타고 긱사 도착 생각보다 긱사 시설은 좋았음 첫날이라 다들 피곤해서 어디 갈 생각은 못하고 장보..

먼저 개발자 모드로 휴대폰 변경 필수이니 미리 변경하고 실행을 해야 한다. 사전 준비1. Termux 설치Termux는 안드로이드에서 리눅스 터미널 환경을 제공하는 앱이으로, 리눅스 명령어 실행, 패키지 설치, 개발 작업 등을 모바일에서 할 수 있다. https://play.google.com/store/apps/details?id=com.termux&hl=ko Termux - Google Play 앱터미널 에뮬레이터 및 리눅스 환경을 제공합니다.play.google.com  실행먼저 Termux를 실행하면 아래와 같이 화면이 나온다.Termux는 unix  기반의 안드로이드 장치에서 리눅스 환경을 제공합니다. 하지만 sudo 같은 관리자 권한은 없고 디바이스에 따라서 다르게 적용됩니다.(최신 사양의 휴..

논문https://ieeexplore.ieee.org/document/6925999 PALLOC: DRAM bank-aware memory allocator for performance isolation on multicore platformsDRAM consists of multiple resources called banks that can be accessed in parallel and independently maintain state information. In Commercial Off-The-Shelf (COTS) multicore platforms, banks are typically shared among all cores, even though programs runningieeexp..