HDR 영상 취득 기법 - 복수의 영상에서의 동적 범위 추정을 통한 방법

HDR 이미지를 획득하는 방법

1. Dynamic range가 넓은 HDR카메라를 사용

2. 일반 카메라로 노출을 달리해서 영상을 여러 장 찍어 합성하는 방법

 

2번째 방식을 사용하는 방법은 Debevec, Malik, Mitsunaga, Nayar 그리고 Robertson 등이 HDR 영상을 얻는 것에 관한 방법을 제안했다.

 

위 사람들 모두 노출이 다른 여러 사진을 찍고, 이 영상을 합성하여 HDR 영상을 획득한다.

노출시간을 2배 차이로 해서 보통 10장 이상의 사진을 찍으며, 이는 찍은 장면의 Dynamic range가 어느 정도 되는지 알기가 어렵기 때문에, 충분히 넓은 범위를 포함하기 위해서 여러 개의 노출 범위를 가진 사진이 필요한 것이다.

 

 

카메라 특성 곡선

일반 디지털 카메라는 노출 등의 단계를 거치면서 실제 장면의 밝기인 radiance(밝기를 실수로 나타낸다.)와 최종으로 얻어진 그레이레벨과의 관계가 선형적이지 않다. 이런 비선형적인 관계를 카메라 특성 곡선 또는 응답 곡선이라 한다.

이런 비선형적인 관계를 추정하기 위해 많은 연구가 진행되어 왔다.

                      

카메라 특성 곡선

 

radiance와 노출 시간의 곱을 그레이레벨과 관계로 표현한 식

r · t = f(z)

 

r: 밝기를 실수로 나타내는 radiance를 나타냄

t: 노출 시간

z: 그레이레벨

f: 카메라 특성 곡선

 

HDR 영상은 일반 영상 포맷의 24비트의 RGB 체계와 달리 32비트 이상으로 디지털 값이 아닌 실수 값을 저장하면서 넓은 범위의 정보를 포함한다. 이 때 픽셀의 값을 실수로 표현하기 위해서 카메라 특성 곡선을 사용하는데, 노출 시간과 그레이 레벨을 통해 radiance를 추정하는 것이다.

 

카메라 특성 곡선을 통해서 각 픽셀마다 radiance를 추정하고, 노출이 다른 여러 영상을 한 장의 영상으로 합성시킨다.

 

다음 식을 통해 노출이 다른 여러 영상을 한 장의 영상으로 합성한다.

 

 

 

 

w: 그레이레벨에 따른 가중치

r: 밝기를 실수로 나타내는 radiance를 나타냄

i: 픽셀

z: 그레이레벨

 

 

 

∴ 픽셀의 그레이레벨에 따라 가중치를 두어 한 픽셀에 대해 여러 영상의 값을 평균하여 하나의 영상으로 만든다.

 

이 w 가중치를 구할 때마다 논문마다 조금씩 다른 방식을 사용해온다.

• Debevec는 그레이레벨 128에서 최고이며, 128을 중심으로 가중치가 선형적으로 작아지게 했다.
• Robertson은 128을 중심으로 가우시안 모양으로 가중치가 작아지도록 했다.
• Mitsunaga와 Nayar는 카메라 특성 곡선을 카메라 특성 곡선의 도함수로 나눈 것을 가중치하였다.

이는 카메라 특성 곡선의 기울기가 완만할 때에는 그레이레벨에 대해 radiance 추정이 정밀하지만, 기울기가 급할 때에는 그레이레벨에 대해 radiance 추정 오차가 크다는 것을 이용한 것이다.

 

여러 이미지를 합성하여 한 장의 HDR 영상을 만드는 이미지

이런식으로 여러 영상을 합성하여 radiance 정보를 가지는 한 장의 HDR 영상을 얻을 수 있다. 하지만 노출이 다른 여러 영상을 사용할 경우 그림에서 볼 수 있듯이 중복되는 Dynamic range가 많이 존재한다.

 

 

 

reference:

박대근, 박기현, 하영호, “다중 노출 복수 영상에서 장면의 다이내믹 레인지 추정을 통한 HDR 영상 획득,” 전자공학회논문지-SP, vol. 45, no. 2, pp. 10-20, 2008년 3월.