영상처리 2019. 5. 14. 18:27

Dynamic range란 사진에서 밝기가 가장 밝은 부분과 가장 어두운 부분의 밝기의 비율(Ratio)을 의미한다. 실 세계의 동적 범위는 사람의 시각이 감지할 수 있는 범위와 모니터에 표시되거나 인쇄되는 이미지의 범위보다 훨씬 넓다. 하지만 사람의 눈이 많은 종류의 서로 다른 명도 레벨을 수용할 수 있는 반면, 대부분의 카메라와 컴퓨터 모니터가 재현할 수 있는 동적 범위는 이보다 훨씬 적은 수로 제한되어 있다. 하지만 HDR이미지를 사용하여 실 세계의 Dynamic range의 전 영역을 표현할 수 있다.

 

High Dynamic Range (HDR) 이미지는 한 노출에 대하여 일반 카메라로 촬영해서 얻을 수 있는 Dynamic Range보다 더 큰 범위를 가지는 이미지이다. 또한 실세계의 모든 광도 값에 정확히 비례하여 표현되고, 이 정보를 저장하기 때문에 실세계의 장면을 촬영할 때 노출을 조정하는 것처럼 HDR이미지의 노출을 조절할 수 있다. 쉽게 표현하면 흰색은 더욱 흰색으로, 검정색은 더욱 검게 표시하며, 이 두 색상 사이에 존재하는 다양한 색상을 모두 사용하게 한다.

 

밝은 영역은 세부 묘사가 포함되지만 어두운 영역이 보이지 않는 이미지
어두운 영역은 세부 묘사가 포함되지만 밝은 영역은 보이지 않는 이미지
위의 두 사진을 합성한 HDR이미지

이처럼 카메라가 촬영을 할때, 밝아서 보이지 않는 부분과, 어두워서 보이지 않는 부분을 모두 보이게 촬영할 수 없기때문에 위의 2개의 이미지를 합쳐서 모든 동적범위가 포함된 HDR이미지를 만들어 낼 수 있다.

 

 

실세계에서 가지고 있는 밝기의 범위는 약 108cd/m2정도

사람의 눈이 한번에 수용할 수 있는 밝기의 범위는 약 105cd/m2

일반 디지털 카메라의 센서에서 받아들이는 밝기의 범위 약 102cd/m2

 

일반 이미지는 채널당 8비트로 총 24비트의 RGB포맷으로 밝기를 포함하며, 이를 통해서 실세계의 밝기 정보를 쉽게 HDR 이미지를 얻을 수 있는 방법은, 서로 다른 노출로 촬영한 여러 개의 이미지를 하나로 합쳐서 만들 수 있다.

광원효과와 심도 효과를 얻기 위해서는, 같은 피사체를 다양한 셔터 스피드를 통해 조리개의 값을 달리해서 여러 번 촬영 해야 한다.

 

일반적으로 HDR이미지는 채널당 32 bits이며 넓은 범위에서 색상과 밝기의 정보가 포함되어 있다.

따라서 실세계의 색을 표현하기 위해서는 각 채널이 실수 정보를 표현할 수 있어야 한다. 

 

reference 

1. 박대근, 박기현, 하영호, “다중 노출 복수 영상에서 장면의 다이내믹 레인지 추정을 통한 HDR 영상 획득,” 전자공학회논문지-SP, vol. 45, no. 2,pp. 10-20, 2008년 3월.

2. https://m.post.naver.com/viewer/postView.nhn?volumeNo=10051871&memberNo=34130352

3. https://translate.google.com/translate?hl=ko&sl=en&u=https://www.dummies.com/photography/digital-photography/types-of-photography/what-are-hdr-images-and-hdr-files/&prev=search

4. https://helpx.adobe.com/kr/photoshop/using/high-dynamic-range-images.html

5. https://www.acer.com/ac/ko/KR/content/hdr

posted by 마스터박 MasterPark

댓글을 달아 주세요

영상처리 2019. 3. 28. 18:58

HDR 이미지를 획득하는 방법

1. Dynamic range가 넓은 HDR카메라를 사용

2. 일반 카메라로 노출을 달리해서 영상을 여러 장 찍어 합성하는 방법

 

2번째 방식을 사용하는 방법은 Debevec, Malik, Mitsunaga, Nayar 그리고 Robertson 등이 HDR 영상을 얻는 것에 관한 방법을 제안했다.

 

위 사람들 모두 노출이 다른 여러 사진을 찍고, 이 영상을 합성하여 HDR 영상을 획득한다.

노출시간을 2배 차이로 해서 보통 10장 이상의 사진을 찍으며, 이는 찍은 장면의 Dynamic range가 어느 정도 되는지 알기가 어렵기 때문에, 충분히 넓은 범위를 포함하기 위해서 여러 개의 노출 범위를 가진 사진이 필요한 것이다.

 

 

카메라 특성 곡선

일반 디지털 카메라는 노출 등의 단계를 거치면서 실제 장면의 밝기인 radiance(밝기를 실수로 나타낸다.)와 최종으로 얻어진 그레이레벨과의 관계가 선형적이지 않다. 이런 비선형적인 관계를 카메라 특성 곡선 또는 응답 곡선이라 한다.

이런 비선형적인 관계를 추정하기 위해 많은 연구가 진행되어 왔다.

                      

카메라 특성 곡선

 

radiance와 노출 시간의 곱을 그레이레벨과 관계로 표현한 식

r · t = f(z)

 

r: 밝기를 실수로 나타내는 radiance를 나타냄

t: 노출 시간

z: 그레이레벨

f: 카메라 특성 곡선

 

HDR 영상은 일반 영상 포맷의 24비트의 RGB 체계와 달리 32비트 이상으로 디지털 값이 아닌 실수 값을 저장하면서 넓은 범위의 정보를 포함한다. 이 때 픽셀의 값을 실수로 표현하기 위해서 카메라 특성 곡선을 사용하는데, 노출 시간과 그레이 레벨을 통해 radiance를 추정하는 것이다.

 

카메라 특성 곡선을 통해서 각 픽셀마다 radiance를 추정하고, 노출이 다른 여러 영상을 한 장의 영상으로 합성시킨다.

 

다음 식을 통해 노출이 다른 여러 영상을 한 장의 영상으로 합성한다.

 

 

 

 

w: 그레이레벨에 따른 가중치

r: 밝기를 실수로 나타내는 radiance를 나타냄

i: 픽셀

z: 그레이레벨

 

 

 

∴ 픽셀의 그레이레벨에 따라 가중치를 두어 한 픽셀에 대해 여러 영상의 값을 평균하여 하나의 영상으로 만든다.

 

이 w 가중치를 구할 때마다 논문마다 조금씩 다른 방식을 사용해온다.

  • Debevec는 그레이레벨 128에서 최고이며, 128을 중심으로 가중치가 선형적으로 작아지게 했다.
  • Robertson은 128을 중심으로 가우시안 모양으로 가중치가 작아지도록 했다.
  • Mitsunaga와 Nayar는 카메라 특성 곡선을 카메라 특성 곡선의 도함수로 나눈 것을 가중치하였다.

이는 카메라 특성 곡선의 기울기가 완만할 때에는 그레이레벨에 대해 radiance 추정이 정밀하지만, 기울기가 급할 때에는 그레이레벨에 대해 radiance 추정 오차가 크다는 것을 이용한 것이다.

 

여러 이미지를 합성하여 한 장의 HDR 영상을 만드는 이미지

이런식으로 여러 영상을 합성하여 radiance 정보를 가지는 한 장의 HDR 영상을 얻을 수 있다. 하지만 노출이 다른 여러 영상을 사용할 경우 그림에서 볼 수 있듯이 중복되는 Dynamic range가 많이 존재한다.

 

 

 

reference:

박대근, 박기현, 하영호, “다중 노출 복수 영상에서 장면의 다이내믹 레인지 추정을 통한 HDR 영상 획득,” 전자공학회논문지-SP, vol. 45, no. 2, pp. 10-20, 2008년 3월.

posted by 마스터박 MasterPark

댓글을 달아 주세요

영상처리 2019. 3. 27. 20:21

사진(photography)은 빛으로 그린 그림이라는 뜻을 가진다.

빛을 얼마나 주는지가 중요하며 이를 노출이라고 부른다. 노출은 조리개와 셔터를 주체로 하여 감광재료의

감광면에 빛을 주는 것을 의미하며, 조리개와 셔터를 이용해서 다양한 사진적 효과를 넣을 수 있다.

 

노출에 영향을 주는 3가지

1. 렌즈를 통과하는 빛의 양을 조절하는 조리개

2. 필름이나 CCD에 빛을 비추어 주는 시간을 조절하는 셔터

3. 필름과 CCD의 빛에 민감도를 조절하는 감도 

 

 

조리개 (Aperture)

렌즈의 통과하는 빛을 조절하는 장치

조리개의 크기는 f-stop으로 측정된다.

 

조리개의 표준화된 수치

[ f2.8  f4  f5.6  f8  f11  f16  f22 ]   f4정도가 가장 적당한 노출이다.

 

작은 숫자의 f-stop일수록 렌즈의 조리개가 커져서 많은 빛이 들어온다. 

큰 숫자일수록 조리개가 작아져 적은 빛이 들어온다.

각 단계는 전 단계보다 2배 정도의 빛이 통과된다.

 

 

셔터 (Shutter)

렌즈를 통해 들어오는 빛의 양을 조절하는 요소이며 빛이 통과하는 시간을 제한시키는 장치이다. 

셔터를 누르기 전 감광재료에 빛이 들어가지 못하게 차단하는 역할을 하지만 셔터를 누르는 순간

빠른 속도로 열리고 닫힌다.

 

셔터의 표준화 된 수치

[  Bulb, 1초, 1/2, 1/4, 1/8, 1/15, 1/30, 1/60, 1/125, 1/250, 1/500, 1/1000 ]

긴노출은 Bulb기능을 사용. 셔터막이 계속 열려있는 상태이다.

 

셔터 속도가 느릴수록, 빛이 더 많이 들어오게 되며, 사진이 밝아진다.

셔터 속도가 빠를수록, 빛이 적게 들어오며, 사진이 어두워진다.

ex) 1/125는 1/250보다 2배 속도가 느리며, 2배 많은 빛을 통과시킨다.

 

 

감도 (ISO, Internatinal Standards Organizaiton)

빛에 대해 느끼는 속도를 나타낸다. 빛에 대한 필름이나 CCD의 민감도를 나타낸다.

 

필름은 자기 고유의 ISO를 가지며, 감도의 수치는 다음과 같다.

[ 25, 50, 100, 200, 400, 800, 1600, 3200]

 

ISO가 높아질수록 빛에 대해 민감해진다. 

ex) ISO 200필름은 100필름보다 2배 민감하여, 1/2의 빛을 받아도 같은 노출이 된다.

ISO는 노출 조절 외에도 입자의 크기와 노이즈도 조절한다. ISO가 커질수록 입자의 크기가 커지며

노이즈가 증가한다. 반대로 ISO가 작아지면, 입자의 크기가 작아지며 노이지가 사라진다.

 

 

 

이미지 노출 정보확인 

https://mainia.tistory.com/1380

스마트폰에서 노출정보확인

http://monthly.appstory.co.kr/howto10706

 

reference: https://m.blog.naver.com/PostView.nhn?blogId=photonphoto&logNo=140104352576&proxyReferer=&proxyReferer=https%3A%2F%2Fwww.google.com%2F

posted by 마스터박 MasterPark

댓글을 달아 주세요

영상처리 2019. 3. 27. 15:07

두 장의 LDR 영상을 이용한 HDR 영상 취득 기법


두 장의 초기 입력 LDR(Low Dynamic Range) 영상을 이용하여 장면의 밝기에 대한 노출 곡선을 초기 추정한 후, 장면 밝기 변화에 따른

최적의 셔터 속도를 시간 변화에 따라 지속적으로 추정하는 기법을 사용함. 이를 통해서 HDR 이미지를 취득


카메라의 CCD(빛의 세기를 전기적 신호로 변환)나 CMOS 센서를 통해서 실세계 장면의 밝기 범위를 모두 표현할 수 없다.


이런 카메라의 제한된 동적범위를 향상시키기 위해 HDR 영상 취득 연구가 진행중이다. 


대표적인 기법

1. 여러 장의 LDR 영상을 취득 후 각 영상의 복사량(radiance) 맵을 생성한 후, 각 복사량의 맵을 결합시켜 한 장의 HDR 영상을 생성시킨다.

2. 영상의 화소값과 장면의 방사량(irradiance)의 관계를 이용하여 HDR 영상을 생성하는 방법도 존재한다.


이런 기법들은 노출이 다른 여러 장의 LDR 영상을 취득해야 한 장의 HDR 영상을 만들기 때문에 많은 시간이 소요된다.

또한 주변광의 밝기가 변하는 환경이나 움직이는 물체에 대해서는 적용이 어렵다.



위 문제의 해결책

Meylan 등은 Retinex 이론에 근거하여 한 장의 LDR 영상의 명암 대비도를 향상시키며 후광효과를 보완한 

HDR 영상을 생성하는 방법을 제안하였다. 

-> BUT 후광효과를 보완하는 대신 에지의 디테일 보존이 어렵다.


박대근 등은 장면의 밝기 값에 대한 두 장의 셔터 속도를 얻기 위해 노출 이 다른 3장의 입력 영상을 이용한다.

따라서 한 장의 HDR 영상을 취득하기 위해 총 5장의 영상을 필요로 하므 로 고속 HDR 취득이 어려운 단점을 가진다.


Barakat 등은 장면의 최대/최소 방사량을 이용하여 최적의 노출 집합을 취득


Hirakawa 등은 영상의 화소와 방사량의 관계를 확률 모델을 이용하여 최적의 노출 집합을 취득하였다.



특정한 비율을 가지는 서로 다른 두 개의 셔터 속도에 의해 취득된 영상의 화소와 장면에서 카메라 센서에 

단위면적당 입사하는 방사도의 관계를 정의한다. 이를 바탕으로 화소와 각 화소간의 노출 증가량의 관계를

정의하는 카메라 노출 곡선을 추정한다.


추정된 노출 곡선을 이용하여 장면의 평균 밝기의 변화에 따라 적응적으로 최적의 셔터 속도를 가진 두 장의 LDR 영상을

취득하는 알고리즘을 제안한다.



기술적인 내용

1. 두 장의 초기 영상만을 이용하여 영상의 각 화소값 사이의 상대적인 노출 비율을 나타내는 노출 곡선을 추정한다. 

2. 추정된 노출 곡선을 이용하여 주어진 장면의 밝기에 가장 바람직한 두 장의 셔터 속도를 구함으로써 최적에 근사하는 LDR 영상 2장을 선별한다. 

3. HDR 영상을 생성한다

(핵심은 언제 찍을지 최적의 셔터 속도를 찾음으로  최적의 LDR영상 2장을 생성해야함)

주변광의 밝기가 연 속적으로 변하는 환경에서도 이전 평균 밝기 값과 현재 평균 밝기 값 사이의 상대적인 노출 비율을 이용하여 지속적으로 

최적의 LDR 영상을 취득함으로써 HDR 비디오 취득이 가능하다.



reference: http://image.inha.ac.kr/paper/HDR.pdf


posted by 마스터박 MasterPark

댓글을 달아 주세요

영상처리 2019. 3. 11. 12:18


Computational Approach for Obstruction-Free Photography


사진을 촬영할때 존재하는 여러 시각적 장애요소들(유리창에 반사되는 물체, 동물원 울타리)은 단지 카메라를 촬영하는 위치나 평면을 바꾼다고 해결할 수 없다.


이를 해결하기 위해서 사용되는 알고리즘은 다음과 같다.


Visual obstructions(반사되거나, 방해되는 평면들)은 일반적으로 카메라와 main scene 사이에 위치하며, 결과적으로 사용자가 촬영하고자하는 main scene과 depth가 다르다는 사실을 이용한다.


찍고자하는 scene을, 카메라를 약감 움직이면서 짧은 영상 sequence를 찍게 한다. 움직이면서 촬영된 이미지들은, visual parallax, 시각적 시차로 인한 layer's motions 층의 움직임의 차이를 기초로하여 시공간의 정보를 통합한 후 2가지의 이미지를 생성한다.


1. main scene의 배경 이미지(찍고자한 이미지)

2. main scene의 reflected or occluding content(찍고자한 이미지 앞에 있는 방해 요소들)


Motion Parallax를 이용한 layer decomposition은 새로운 방법은 아니다. 현재 설명하고자하는 논문은 새로운 알고리즘을 소개하고자 한다.


1) A pixel-wise flow field motion representation for each layer, which, in contrast to many previous image decomposition algorithms that use parametric motion models (affine or homography), is able to handle depth variation as well as small motions within each layer


2) An “edgeflow” method that produces a robust initial estimation of the motion of each layer in the presence of visual obstructions, as edges are less affected by the blending of the two layers



Occlusion removal

이미지나 영상에서, 사용자가 지우고자하는 부분을 표시하고, inpainting 알고리즘으로 그 표시된 부분을 제거하고, 구멍난 부분들은, 주변 다른 부분들의 정보를 통해서 propagating(채워넣어야) 한다.


이를 이용한 시각적 장애요소인 울타리는, 카메라를 움직이면서 촬영하며, 얻을 수 있는 visual parallax를 기반으로, 울타리의 패턴을 탐지하고,  움직이면서 촬영하며 얻어낸 다른 프레임 이미지를 통해서 가려진 내용을 가져오면서, 이미지에서 울타리를 제거하면서, 이미지나 비디오를 복원시킬 수 있다.




reference: SIGGRAPH2015 MIT 

https://people.csail.mit.edu/mrub/papers/ObstructionFreePhotography_SIGGRAPH2015.pdf

posted by 마스터박 MasterPark

댓글을 달아 주세요