Computational Approach for Obstruction-Free Photography

Computational Approach for Obstruction-Free Photography

사진을 촬영할때 존재하는 여러 시각적 장애요소들(유리창에 반사되는 물체, 동물원 울타리)은 단지 카메라를 촬영하는 위치나 평면을 바꾼다고 해결할 수 없다.

이를 해결하기 위해서 사용되는 알고리즘은 다음과 같다.

Visual obstructions(반사되거나, 방해되는 평면들)은 일반적으로 카메라와 main scene 사이에 위치하며, 결과적으로 사용자가 촬영하고자하는 main scene과 depth가 다르다는 사실을 이용한다.

찍고자하는 scene을, 카메라를 약감 움직이면서 짧은 영상 sequence를 찍게 한다. 움직이면서 촬영된 이미지들은, visual parallax, 시각적 시차로 인한 layer's motions 층의 움직임의 차이를 기초로하여 시공간의 정보를 통합한 후 2가지의 이미지를 생성한다.

1. main scene의 배경 이미지(찍고자한 이미지)

2. main scene의 reflected or occluding content(찍고자한 이미지 앞에 있는 방해 요소들)

Motion Parallax를 이용한 layer decomposition은 새로운 방법은 아니다. 현재 설명하고자하는 논문은 새로운 알고리즘을 소개하고자 한다.

1) A pixel-wise flow field motion representation for each layer, which, in contrast to many previous image decomposition algorithms that use parametric motion models (affine or homography), is able to handle depth variation as well as small motions within each layer

2) An “edgeflow” method that produces a robust initial estimation of the motion of each layer in the presence of visual obstructions, as edges are less affected by the blending of the two layers

Occlusion removal

이미지나 영상에서, 사용자가 지우고자하는 부분을 표시하고, inpainting 알고리즘으로 그 표시된 부분을 제거하고, 구멍난 부분들은, 주변 다른 부분들의 정보를 통해서 propagating(채워넣어야) 한다.

이를 이용한 시각적 장애요소인 울타리는, 카메라를 움직이면서 촬영하며, 얻을 수 있는 visual parallax를 기반으로, 울타리의 패턴을 탐지하고,  움직이면서 촬영하며 얻어낸 다른 프레임 이미지를 통해서 가려진 내용을 가져오면서, 이미지에서 울타리를 제거하면서, 이미지나 비디오를 복원시킬 수 있다.

reference: SIGGRAPH2015 MIT 

https://people.csail.mit.edu/mrub/papers/ObstructionFreePhotography_SIGGRAPH2015.pdf