운동하는 대학원생

LLM base basic modelzero-shot generation모든 코드 생성 모델의 기반이 되었으며 프롬프트를 단순히 output을 도출하는 방식으로 진행됨GPT3모델의 성능에 의존을 하기 때문에 결과에 대한 정확도가 낮음In-context learning (NeurIPS 2020, GPT-3)입력 프롬프트에 코드 실행에 대한 예시와 정답을 주고 학습을 시켜서 모델이 더 학습을 정확하게 하는 방식Reasoning (NeurIPS 2020, GPT-3)Chain of ThoughtLet’s think step by step처럼 프롬프트에 외부적인 시그널을 통해서 문제를 자체적으로 단계를 구분하고 지속적으로 생각 혹은 추론을 하게 해주는 방식 After agent (ReAct ICLR 2023..

개인적인 공부 정리 Prompt의 입력 사람이 입력하는 단어를 자연어 형태에서 데이터 형태로 표현을 해야 한다.가장 단순한 방식은 모든 단어에 대하여 사전을 만들어서 일대일로 매핑 시키는 방식이다.하지만 여기서의 문제는 과연 컴퓨터가 인식을 함에 있어서 단어의 기준을 어떻게 잡을 것 인가 혹은 합성어와 같이 어떤 단위로 단어를 구분해야 할지 많은 연구와 모델들이 존재한다.SentencePiece (32,000 vocab)단어를 사전에 가지고 있던 데이터의 빈도, 확률을 기반으로 단어를 분리한다.시작을 나타내는 단어와 공백을 나타내는 단어를 포함하며 사전에 없는 단어는 UTF-8 바이트 단위로 강제로 분해한다.실행 화면o200k_harmony(200,000 vocab)다국어 멀티모달GPT-3/4에서 주로..

먼저 개발자 모드로 휴대폰 변경 필수이니 미리 변경하고 실행을 해야 한다. 사전 준비1. Termux 설치Termux는 안드로이드에서 리눅스 터미널 환경을 제공하는 앱이으로, 리눅스 명령어 실행, 패키지 설치, 개발 작업 등을 모바일에서 할 수 있다. https://play.google.com/store/apps/details?id=com.termux&hl=ko Termux - Google Play 앱터미널 에뮬레이터 및 리눅스 환경을 제공합니다.play.google.com  실행먼저 Termux를 실행하면 아래와 같이 화면이 나온다.Termux는 unix  기반의 안드로이드 장치에서 리눅스 환경을 제공합니다. 하지만 sudo 같은 관리자 권한은 없고 디바이스에 따라서 다르게 적용됩니다.(최신 사양의 휴..

양자화에 대한 개념은 LLM 모델의 크기가 커짐에 따라서 당연하게 크기를 줄이는 방향으로 연구가 진행되면서 최근에 기본적으로 사용되는 이론이다.양자화에 대한 개념을 말하기 전에 데이터에 대한 표현 방식을 먼저 이야기를 해보자면 integer는3 → 1112 → 1100 4bit integer3 → 001112 → 1100 데이터에 대한 표현은 0과 1로 이루어져 있기 때문에 비트에 대한 제한을 준다면 4비트 int 같은 경우에는 0에서 15까지의 표현이 가능하다. 실제 우리가 사용되는 숫자의 표현은 int만이 사용되지 않고 실수를 많이 사용한다. 그렇다는 건 이것을 표현하기 위해서는 float 표현을 통해서 우리가 아는 실수를 모두 컴퓨터에서 표시를 한다.float는 32, 16,8 등으로 표현이 가능하..

(논문을 작성하는 과정에서 개인적으로 시간이 많이 걸린 부분인데 이것을 정리하기 위해서 작성하였습니다.) 아래의 두 개의 이미지는 Imagenet data에서 가지고 온 사진이다.  여기서 두개의두 개의 이미지 데이터를 활용하여 segmentation 분야에서 두 개의 이미지를 겹치게 이미지를 편집하는 방법을 하고 싶었다. image ( 원본 이미지)  mask ( segmentation의 mask) 결과 이렇게 두 개의 이미지를 겹쳐서 cv에서 모델이 얼마나 경확도를 유지하는지를 보고 싶었다. 퍼센트를 설정값으로 겹치는 정도를 나타냈으며 0~1 사이의 값을 설정하고 1이 완전히 겹치는 상황을 가정하였다. 0.7 퍼센트  0.4 퍼센트 코드 def find_contours(self, mask): ..

0. Introduction 먼저 3차원 물체에 대한 영상에서 2차원으로 카메라가 정보를 습득하는 거처럼 3차원 영상을 2차원으로 변환을 진행을 하는 것을 투영변환(projective transformation)이라고 한다. 이때 3차원 영상이 2차원으로 투영 변환한 두 2차원 영상에 대하여 대응점을 매칭시키는 방식 중 하나가 호모그래피라고 한다. 사진을 예로 들면 X'를 표시하는 2차원 영상에서의 두 점을 매칭하는 것이다. 1. Homography 호모그래피는 3*3 행렬로 표현되며 대응점들의 행렬곱으로 표현이 가능하다. 아래의 식을 참고하면 2차원 공간상에서의 영상에서 특정 지점이 x, y로 표현이 된다면 서로 다른 두 영상에서 좌표를 매칭하는 행렬 즉 호모그래피가 존재하게 된다. 이제 이렇게 두 2..

지역 특징에서 매칭은 이전까지 영상에서 찾았던 특징점들을 서로 다른 영상에서 짝지어 주는 방식에 대하여 이야기를 하겠다. 1. 매칭 전략 각각 다른 영상에서 추출한 기술자들의 집합을 A, B 가 있다고 가정하면 여기서 가장 간단한 방법은 각 집합들의 모든 요소들의 거리를 계산하여 일정 임계치보다 작으면 매칭을 시키는 방식이 있다. 하지만 이런 방식에서는 매칭된 쌍과 같은 곳인데 매칭에 실패하는 경우, 같은 곳이 아닌데 매칭되는 경우의 문제가 자주 발생한다. 보통 거리 계산을 할 때는 유클리디안 거리를 사용한다. 이렇게 추출한 기술자들을 서로 다른 영상에서 매칭을 시키는 작업은 3가지 정도가 있다. 1. 두 기술자의 거리가 임곗값보다 작으면 매칭 보통 가장 기초적인 방식으로 임곗값보다 거리가 작으면 매칭되..

이전까지는 영역에 대한 분할을 자동적으로 영상 전체에서 진행을 하였다. 하지만 이런 분할을 사용자가 원하는 분할을 하지 못하는 문제가 있었고 이런 문제를 해결하기 위해서 대화식 분할의 아이디어가 되었다. 1. 대화식 분할 1.1 능동 외곽선 능동 외곽선의 원리는 초기 곡선에서 시작해서 최적의 상태를 능동적으로 찾아가는 방식이다. - 수식 E(internal) = 내부 에너지로 곡선이 매끄러운 모양이 되도록 유도 E(image) = 영상 에너지는 물체의 경계에 에지가 나타난다는 사실에 기반하여 곡선이 에지에 위치하도록 유도 E(domain) = 도메인 에너지는 분할하려는 특정 물체의 모양 정보를 잘 유지하도록 유도 이렇게 에너지들의 총합들을 계산하고 이것을 최소가 되도록 하여 최적화를 진행한다. 1.2 G..