본문 바로가기
Computer vision

[Computer vision] 02. 카메라 모델 / 영상 처리

by @__100.s 2021. 9. 1.
반응형

카메라와 눈의 비교

  • 각막
    • 카메라의 가장 바깥쪽에서 카메라 렌즈를 보호하는 보호 렌즈에 비교할 수 있다. 우리 눈에서 가장 처음 빛이 닿는 부위고 가장 빛의 굴절을 많이 일으키는 부분이다.
  • 수정체
    • 카메라의 렌즈에 해당한다. 카메라의 핵심 부위인 것처럼 우리 눈에서도 포커스를 맞춰주는 중요한 부분이다.
  • 홍채
    • 수정체 앞에 가운데가 비어있는 덮개 같은 조직이다. 이는 카메라의 조리개와 같이 넓어졌다 줄어들었다 하며 들어오는 빛의 양을 조절하는 부분이다. 동공의 크기가 변한다고 말한다.
    • 카메라의 홍채라고 할 수 있는 조리개는 카메라에 들어가는 빛의 양을 조절하는 렌즈 개구부이다. 이 조리개로 들어온 빛이 얼마만큼 쌓여있는 가를 0~255로 표현한 것을 흑백 영상이라고 할 수 있다.
  • 망막
    • 이는 카메라의 핵심중 하나인 필름 (CCD 센서)에 해당한다. 맥락막 아래 노랗게 안쪽을 둘러쌓고 있는 조직이다.
    • CCD 란 디지털 카메라에서 빛을 전기적 신호로 바꾸어 주는 광센서 반도체이다.
  • 포비아
    • 상이 맺히지 않는 부분이다.

 

망막세포 Cones, Rods

  • 망막을 자세히 보면 두가지 종류의 세포가 존재한다.
    • Cones ) 빨강, 녹색, 파랑 (RGB) 과 같은 색상 정보를 인식하는 세포
    • Rods ) 빛이 얼마나 밝은지 어두운지를 인식하는 세포

 

전자기 스펙트럼 Electromagnetic spectrum

  • 태양으로부터 나오는 빛의 주파수는 굉장히 넓다. 그 중 사람이 볼 수 있는 주파수를 가시광선이라고 한다.

 

광자의 인생 선택 A photon's life choices

 

기본 복사 관계 Fundamental radiometric relation

  • 태양에서 빛이 여러뱡향으로 방출하면 그 빛은 특정 물체에 투영, 빛이 받은 것과 동시에 동일한 각도로 모든 에너지를 똑같이 방출(Reflection)한다.
  • 빛이 렌즈에 통과한 뒤 CCD나 필름에 맺히는 상을 P'라고 하자.
  • 3차원에 존재하는 P (x,y,z)의 좌표가 2차원 영상 평면 P' (x, y)로 어떻게 투영되는가?

L : Radiance emitted from P toward P' (사물에 맺히는 에너지의 양)

E : Irradiance falling on P' from the lens (영상평면에 맺히는 에너지의 양)

a : 각도가 작아질수록 영상평면에 상이 더 잘 맺힌다.

  • cos : 각이 작아질 수록 상이 잘 맺힌다. (cos0 = 1 , cos90 = 0)

d : 렌즈의 지름이 클 수록 3차원 공간 상에 있는 빛은 영상 평면에 더 잘 투영된다.

f : 영상평면과 카메라 렌즈와의 거리가 가까울수록 영상 평면에 상이 더 잘 맺힌다. (심도가 깊어진다.)

  • 초점거리가 길 수록 멀리 있는 물체를 찍을 수 있다. 스포츠 경기나 모터쇼 등에서 대포 카메라를 사용하는 이유이다.

z : 카메라 렌즈의 중심과 사물과의 거리가 가까울 수록 영상 평면에 상이 잘 맺힌다.

 

광선에서 픽셀값으로 From light rays to pixel values

  • 사람이 사물에서 반사되어 들어오는 빛의 양을 L이라고 정의한다.
  • 카메라의 조리개를 열어놓으면 CCD 나 Simons Sensor에 빛이 들어온다.
  • 센서에 빛이 계속해서 쌓여 누적이 된다. → E
  • 셔터를 누르면 조리개가 닫힌다.
  • 각각의 이미지 플레인에 그 시간 동안 각각의 CCD나 Simons Sensor에 빛이 얼마만큼 투영되었는가를 계산하게 된다.
  • 특정 빛 이상 많이 쌓이면 포화상태가 된다. 빛이 아무리 많이 쌓여도 특정 값 이상 쌓이면 하얗게 보인다.
  • 아날로그 데이터로 들어온 값을 0~255의 디지털 값으로 변환시킨다.

→ 우리가 보는 흑백영상은 CCD나 Simons Sensor에 들어오는 빛의 양을 0~255 단계로 나누어서 흑백 영상으로 표현하여 나타낸 Z값이다. (빛이 반사된 값이 많으면 하얗게, 적으면 까맣게 보인다.)

 

투시 투영 Perspective projection

  • 3차원의 물체가 일대일로 투영되는 것이 아니라 사람의 렌즈, 눈의 수정체, 또는 핀홀카메라 등 에서 한 점을 통과하여 투영된다. (한 곳에 모아지면서 투영된다)

  • 카메라의 단점
    • 3차원 공간상의 정보가 2차원의 영상 평면으로 투영되기 때문에, 카메라와 물체 간의 거리가 얼만큼인지 등의 거리 정보를 잃어버리게 된다.
    • 기찻길을 볼 때 가까운 철길은 넓게, 먼 철길은 좁게 보여 원래는 평행한 기찻길이 소실점을 만들어낸다. 이와 같이 평행 정보를 잃어버리게 된다.

 

Modeling projection

  • 3차원 공간상에서의 P(x, y, z)는 2차원 영상 평면에서 P'(x, y)로 투영된다.
  • → P와 P'의 상관관계를 나타낼 수 있는 방법이 필요하다.
  • 카메라 렌즈의 중심 Optical center (o)을 삼차원 공간상의 원점이라고 한다.

 

Perspective projection matrix

  • 앞의 관계를 행렬로 표현하였다.
  • 3차원 공간 상에 있는 x, y,z 를 2차원 공간 상의 x,y 가 어떤 관계가 있는지를 나타내는 행렬이다.
  • Perspective projection matrix의 모양과 값에 따라서 투영되는 범위나 양이 달라진다.
  • Perspective projection matrix는 1/f에 따라 값이 변한다.

 

선 투영 Projection of a line

  • 3차원 상에 공간에 있는 점이 focal length의 중심으로 투영되면서 하나의 방향으로 모여지게 된다. 평행한 선이라고 하더라도, 투영되면서 소실점(vanishing point)이 만들어진다.

 

수평선 The horizon

  • 수평선에 대한 내용들이 카메라의 센터와 평행하게 촬영된다면 소실점이 만들어지지 않는다.

 

원근법 단서 The perspective cues

  • 두 사람의 크기는 똑같지만 다르게 보인다.
  • 똑같은 물체라고 하더라도 perspective line에 의해서 2차원 영상으로 하여금 3차원 공간감을 준다. perspective line 에 의해 오른쪽의 사람이 왼쪽 사람에 비해 멀리 있다고 느껴지기 때문에 오른쪽 사람이 더 크다고 느껴진다.

 

샘플링과 양자화

  • 2차원 영상 공간을 MN으로 샘플링 (MN을 해상도라고 부름. M*N pixel)
  • 명암을 L단계로 양자화 (L을 명암 단계라 부름, 즉 명암은 [0~L-1] 사이 분포)
  • 예 ) M = 12, N=12, L =10 인 경우

 

영상 좌표계

  • 화소 위치는 X=(j, i) 또는 x = (y, x)로 표기
  • 영상은 f(x) 또는 f(j, i), 0≤j≤M-1, 0≤j <N-1로 표기
  • M은 세로, N은 가로를 지칭함.

  • 컬러 영상은 fr(x), fg(x), fb(x) 세 영상 평면의 조합으로 하나의 픽셀을 나타낸다.
  • 흑백 영상은 하나의 영상 평면으로 하나의 픽셀을 나타낸다.

 

참고

반응형