[Computer Vision] 컴퓨터 비전과 딥러닝 5장- 호모그래피 추정

0. Introduction

 

먼저 3차원 물체에 대한 영상에서 2차원으로 카메라가 정보를 습득하는 거처럼 3차원 영상을 2차원으로 변환을 진행을 하는 것을 투영변환(projective transformation)이라고 한다. 이때 3차원 영상이 2차원으로 투영 변환한 두 2차원 영상에 대하여 대응점을 매칭시키는 방식 중 하나가  호모그래피라고 한다. 사진을 예로 들면 X'를 표시하는 2차원 영상에서의 두 점을 매칭하는 것이다.

 

1. Homography

호모그래피는 3*3 행렬로 표현되며 대응점들의 행렬곱으로 표현이 가능하다. 아래의 식을 참고하면 2차원 공간상에서의 영상에서 특정 지점이 x, y로 표현이 된다면 서로 다른 두 영상에서 좌표를 매칭하는 행렬 즉 호모그래피가 존재하게 된다. 이제 이렇게 두 2차원 이미지를 동치쌍을 매칭하는 행렬이 있다는 걸 알았다면 이 호모그래피를 찾는 방법에 대하여 설명하겠다.

 

 

추가로 h9번과 좌표들의 마지막 값이 1인 이유가 있는데 이것을 2차원에서 표현을 하기 때문이다.  매칭하는 쌍이 늘어나면 곱 연산하는 행렬의 열들이 추가로 늘어난다. 

 

2. 호모그래피 추정

 

매칭 쌍이 각각 서로 다른 영상에서 n 개 있다고 가정하면 (a1, b1) , (a2, b2) , (a3, b3), (a4, b4)....(an, bn) a를 구성하는 행렬 A , b를 구성하는 행렬 B 가 있다면 호모그래피는B=HA라고 표현하는 게 가능한다.

 

가장 다 순한 방식은 LMSE: Least Mean Square Error 방식을 이용하는 방법이다. 한 영상에서 매칭하는 쌍으로 이루어진 행렬에 곱 연산을 하여 다른 영상에서 추정한 위치와 다른 영상에서 실재 위치의 차이데 대한 평균을 계산하는 방식이다. 하지만 여기서 단순하게 모든 쌍에서 같은 방식으로 오차 계산을 적용하면 전체적인 성능의 저하가 발생한다. 그래서 전체의 평균의 정확도를 낮추는 아웃라이어 이상치를 걸러내야 하나도. 그래고 이 값을 찾기 위해서 중앙값(median)을 이용하여 계산하는 방식인 RANSAC 방식을 이용한다.

 

 

3. RANSAC(Random sample consensus)

 

이 방식은 threshold 값을 지정해서 오차를 계산중 threshold의 값보다 이하인 경우에 정상치로 간주하고 정상치 대응쌍만을 이용하여서 homography를 재추정한다. 

이렇게 추정된 매칭 쌍알을 활용한다면 여러 가지 이미지를 합쳐서 하나의 이미지로 생성하는 파라노마 방식이나 영상 왜곡 하방영상 등등 영상에 대한 변환이나 합성이 가능해진다.