에지 검출

미분과 그래디언트

• 영상에서 에지(edge)란 한쪽 방향으로 픽셀 값이 급격하게 바뀌는 부분을 의미
  • 일반적으로 객체와 배경의 경계, 객체와 다른 객체의 경계에서 에지가 발생한다.
  • 그러므로 영상에서 에지를 찾아내는 작업은 객체의 윤곽을 알아낼 수 있는 방법이며, 다양한 컴퓨터 비전 시스템에서 객체 판별을 위한 전처리로 에지 검출이 사용됨.
• 영상에서 에지를 찾아내려면 픽셀 값의 변화율을 측정하여 변화율이 큰 픽셀을 선택한다.
  • 수학에서 함수 또는 데이터의 변화율을 미분(derivative)라고 한다.

• 1차원 연속 함수 의 값 변화에 따른 미분 는 아래 그림과 같다.
  • (미분 내용 설명 생략)

• 영상은 2차원 평면 위에 픽셀 값이 정형화 되지 않은 상태로 나열되어 있는 형태이므로 미분 공식을 사용할 수 없다.
  • 영상으로부터 미분을 계산하려면 두 가지 특징을 고려해야 하는데, 하나는 영상이 2차원 평면에서 정의된 함수라는 점이고, 두 번째는 영상이 정수 단위 좌표에 픽셀이 나열되어 있는 이산함수라는 점이다.
• 영상과 같이 일련의 데이터가 순서대로 나열되어 있는 경우에는 미분 근사화 방법을 이용하여 변화량을 측정할 수 있다. 미분 근사는 다음 세 가지 방법을 주로 사용한다.
  • 전진 차분 (forward difference)
    • 
  • 후진 차분 (backward difference)
    • 
  • 중앙 차분 (centered difference)
    • 
• 위 수식에서 는 1차원 이산함수이고, 는 이산 값의 간격을 의미한다.
  • 미분 근사 방법을 영상에 적용할 경우, 는 픽셀의 간격이라 생각할 수 있으며 보통 픽셀 간격의 최소단위인 1을 값으로 사용한다.
  • 즉, 전진 차분 수식은 로 정리되며, 이는 자기 자신 바로 앞에 있는 픽셀에서 자기 자신 픽셀 값을 뺀 형태이다.
  • 후진 차분은 로 정리되며, 이는 자기 자신 픽셀에서 바로 뒤에 있는 픽셀 값을 뺀 형태이다.
  • 마지막으로 중앙 차분은 로 정리되며,로 정리되며 자기 자신을 제외하고 바로 앞과 뒤의 픽셀값을 이용하는 미분 근사 방법이다.
  • 세 가지 방법 중 중간값 차이를 이용하는 방법이 이론적으로 근사화 오류가 가장 적으며, 실제 영상에서 미분을 계산할 때도 널리 쓰이고 있다.
• 영상은 2차원 평면에서 정의된 함수이기 때문에 영상에서 에지를 찾기 위해서는 영상을 가로 방향과 세로 방향으로 각각 미분해야 한다.
  • 2차원 영상 를 가로 방향으로 미분한다는 것은 y좌표는 고정한 상태에서 x축 방향으로만 미분 근사를 계산하는 것을 의미하며, 이러한 연산을 x축 방향으로의 편미분(partial derivative)라고 한다.
  • x축 방향의 편미분은 또는 로 표기한다.
  • 이와 유사하게 y축 방향으로의 편미분은  또는 라고 표기하고, x 좌표를 고정한 상태에서 y축 방향으로 미분 근사를 수행하여 구할 수 있다.
• 2차원 영상 에 대하여 x축과 y축 방향에 대한 각각의 편미분을 중앙 차분 방법으로 근사화하면 다음과 같다.

• 중앙 차분을 이용한 영상의 미분 근사는 마스크 연산을 이용하여 쉽게 구현할 수 있다.
  • 2차원 영상을 x축과 y축 방향에 대해 편미분을 수행하는 필터 마스크를 아래 그림에 나타냈다.
  • 왼쪽 그림은 x축 방향으로 편미분하는 필터 마스크이고, 오른쪽 그림은 y축 방향으로 편미분하는 필터 마스크이다.
  • 앞서 설명한 편미분 근사 수식을 그대로 적용하려면 필터 마스크 값에 1/2을 곱해야 하지만, 보통 미분 값의 상대적 크기를 중요시 하기 때문에 단순화 시킨 마스크를 주로 사용한다.
  • 아래 마스크를 이용하여 영상을 각각 필터링하면 영상을 가로 방향과 세로 방향으로 편미분한 정보를 담고 있는 행렬을 얻을 수 있다.

• 실제 영상에 대해 x축 방향과 y축 방향으로 편미분한 결과는 아래 이미지와 같다.
  • 원래 영상의 미분은 부호가 있는 실수로 계산되지만, 아래 그림은 미분 결과를 시각적으로 분석하기 위해 128을 더한 후 0-255 사이의 정수로 변환하여 그레이스케일 영상 형태로 나타낸 것이다.

• 2차원 공간에서 정의된 영상에서 에지를 찾으려면 x축 방향과 y축 방향의 편미분을 모두 사용해야 한다.
  • 2차원 공간에서 정의된 함수 가 있을 때, 이 함수의 x축 방향 미분과 y축 방향 미분을 한꺼번에 벡터로 표현한 것을 그래디언트(gradient)라고 하고 다음과 같이 표기한다.

• 그래디언트는 벡터이기 때문에 크기(magnitude)와 방향(phase) 성분으로 표현할 수 있다.
  • 그래디언트 벡터의 방향은 변화 정도가 가장 큰 방향을 나타내고, 그래디언트 벡터의 크기는 변화율 세기를 나타내는 척도로 생각할 수 있다.
  • 그래디언트 크기는 보통 로 표기하고 다음과 같이 구한다.

• 그래디언트 방향 는 다음 수식으로 구할 수 있다.

• 그래디언트 벡터의 크기와 방향을 제대로 이해하기 위해 실제 영상에서 그래디언트를 구한 예를 아래 그림에 나타냈다.
  • 아래 그림에 나타난 영상은 어두운 배경에 밝기가 다른 두 개의 객체가 있는 영상이다.
  • 이 영상에서 객체와 배경 경계상의 세 점 a, b, c를 선택하고, 각 점에서의 그래디언트 벡터를 빨간색 화살표로 나타냈다.
  • 빨간색 화살표의 길이는 그래디언트 크기를 나타내고, 화살표 방향은 그래디언트 벡터의 방향을 나타낸다.
  • 그래디언트 벡터의 크기는 밝기 차이가 클수록 크게 나타나므로 점 a, b의 화살표보다 점 c에서 화살표 길이가 더 길게 나타난다.
  • 그래디언트 벡터의 방향은 해당 위치에서 밝기가 가장 밝아지는 방향을 가리킨다.
  • 점 c에 대해서는 특별히 x축 방향으로의 편미분 와 y축 방향으로의 편미분 성분을 함께 표시하였으며, 이 두 성분을 이용하여 빨간색 화살표를 그릴 수 있다.
  • 참고로 아래 그림에서 노란색으로 표시된 화살표는 그래디언트 벡터와 수직인 방향을 표시한 것이며, 이를 에지의 방향이라고 부른다.

• 2차원 영상에서 에지를 찾는 기본적인 방법은 그래디언트 크기가 특정 값보다 큰 위치를 찾는 것이다.
  • 여기서 에지 여부를 판단하기 위해 기준이 되는 값을 임계값(threshold) 또는 문턱치라고 한다.
  • 임계값은 영상의 특성에 따라 다르게 설정해야 하며, 보통 사용자의 경험에 의해 결정된다.
  • 일반적으로 임계값을 높게 설정하면 밝기 차이가 급격하게 변하는 에지 픽셀만 검출되고, 낮게 설정하면 약한 에지 성분도 검출된다.

마스크 기반 에지 검출

• 앞서 영상을 x축 방향과 y축 방향으로 편미분 하는 1×3, 3×1 크기의 마스크에 대해 알아봤는데, 대부분의 영상에는 잡음이 포함되어 있어서 1×3 또는 3×1 마스크를 이용하여 미분을 구할 경우 다소 부정확한 결과가 생성될 수 있다.
  • 그러므로 실제 영상에 미분을 구할 때는 잡음의 영향을 줄일 수 있도록 좀 더 큰 크기의 마스크를 이용한다.
  • 여러 방법의 미분 근사 마스크가 개발되었지만, 가장 널리 사용되는 것은 소벨 필터(Sobel filter) 마스크이다.
• 영상을 가로 방향과 세로 방향으로 미분하는 3×3 크기의 소벨 필터 마스크를 아래 그림에 나타냈다.
  • 아래 그림의 (a)는 x축 방향으로 편미분을 구하는 소벨 마스크이고, (b)는 y축 방향으로 편미분을 구하는 소벨 마스크이다.
  • (a)에 나타난 x축 방향 미분 마스크는 현재 행에 대한 중앙 차분 연산을 2회 수행하고, 이전 행과 다음 행에 대해서도 중앙 차분 연산을 1회씩 수행한다.
  • 이러한 연산은 현재 행과 이웃 행에서의 픽셀 값 변화가 유사하다는 점을 이용하여 잡음의 영향을 줄이기 위함이며, 특히 현재 행에서 두 번의 중앙 차분 연산을 수행하는 것은 현재 행의 중앙 차분 근사에 더 큰 가중치를 주기 위함이다. y축 방향 미분도 같은 방식으로 설계 되었다.

• OpenCV는 소벨 마스크를 이용하여 영상을 미분하는 Sobel() 함수를 제공한다. Sobel() 함수는 3×3 소벨 마스크 또는 확장된 형태의 큰 마스크를 이용하여 영상을 미분한다.
• Sobel() 함수는 입력 영상 src를 편미분한 결과를 dst에 저장한다.
  • 결과 영상의 자료형은 ddepth 인자를 통해 명시적으로 지정해야 하고, ddepth에 -1을 지정하면 src와 같은 타입을 사용하는 dst 영상을 생성한다.
  • dx와 dy 인자는 각각 x 방향과 y 방향으로의 편미분 차수를 의미하며, Sobel() 함수에 의해 계산되는 결과 행렬 dst는 다음 수식과 같은 의미를 갖는다.

• ksize 이후의 인자는 모두 기본값을 가지고 있으므로 실제 함수 호출시에는 생략할 수 있다.
  • ksize 인자에 1을 지정하면 3×1 또는 1×3 커널을 사용하고, 기본값인 3을 지정하면 3×3 소벨 마스크를 사용한다.
• Sobel() 함수는 x방향과 y방향으로의 고차 미분을 계산할 수 있지만 대부분의 경우 x방향 또는 y 방향으로의 1차 미분을 구하는 용도로 사용된다.
  • 예컨대 그레이스케일 레나 영상을 x방향으로 편미분한 결과를 dx 행렬에, y방향으로 편미분한 결과를 dy 행렬에 저장하려면 다음과 같이 코드를 작성하면 된다.

Mat src = imread("lenna.bmp", IMREAD_GRAYSCALE);

Mat dx, dy;
Sobel(src, dx, CV_32FC1, 1, 0);
Sobel(src, dy, CV_32FC1, 0, 1);

• OpenCV는 소벨 마스크 외에도 샤르 필터(Scharr filter) 마스크를 이용한 미분 연산도 지원한다.
  • 샤르 필터는 3×3 소벨 마스크보다 정확한 미분 계산을 수행하는 것으로 알려져 있다.
  • 샤르 필터 마스크는 아래 그림과 같다.

• 샤르 필터 마스크를 이용하여 영상을 미분하려면 Scharr() 함수를 사용하면 된다.
  • 샤르 필터를 이용한 영상의 미분은 Sobel() 함수를 이용하여 구할 수도 있다. Sobel() 함수의 ksize 인자에 FILTER_SCHARR 또는 -1을 지정하면 3×3 샤르 마스크를 사용하여 영상을 미분한다.
• Sobel() 또는 Scharr() 함수를 이용하여 x 방향으로 미분과 y 방향으로 미분을 각각 계산하여 행렬에 저장한 후, 두 미분 행렬을 이용하여 그래디언트 크기를 계산할 수 있다.
  • OpenCV는 2차원 벡터의 x 방향 좌표와 y 방향 좌표를 이용하여 벡터의 크기를 계산하는 magnitude() 함수를 제공한다.
  • magnitude() 함수의 입력으로 사용되는 x와 y는 CV_32F 또는 CV_64F 깊이를 사용하는 행렬 또는 벡터여야 한다. magnitude() 함수의 출력 magnitude를 구성하는 원소 값은 다음 수식에 의해 계산된다.

• 만약 x 방향으로 미분과 y 방향으로 미분이 저장된 두 개의 행렬이 있을 때, 그래디언트의 방향을 계산하고 싶다면 phase() 함수를 사용할 수 있다.
  • phase() 함수에서 x, y는 입력이고 angle은 출력이다. angle의 각 원소는 다음 수식에 의해 계산된다.

• Sobel() 함수를 이용하여 영상으로부터 그래디언트를 계산하고, 그래디언트 크기를 이용하여 에지를 검출하는 예제 코드는 아래와 같다.

void sobel_edge()
{
  Mat src = imread("lenna.bmp", IMREAD_GRAYSCALE);

  if (src.empty())
  {
    cerr << "Image load failed!" << endl;
    return;
  }

  Mat dx, dy;
  Sobel(src, dx, CV_32FC1, 1, 0);
  Sobel(src, dy, CV_32FC1, 0, 1);

  Mat fmag, mag;
  magnitude(dx, dy, fmag);
  fmag.convertTo(mag, CV_8UC1);

  Mat edge = mag > 150;

  imshow("src", src);
  imshow("mag", mag);
  imshow("edge", edge);

  waitKey();
  destroyAllWindows();
}

• 아래 이미지는 위 예제 코드를 이용한 결과이다.

캐니 에지 검출기

• 소벨 마스크 기반 에지 검출은 구현이 간단하고 빠르기 때문에 아직도 많은 컴퓨터 비전 시스템에서 사용되고 있으나, 그래디언트 크기만을 기준으로 에지 픽셀을 검출하기 때문에 임계값에 민감하고 에지 픽셀이 두껍게 표현되는 문제점이 있다.
• 1986년 캐니(J. Canny)는 에지 검출을 최적화 문제 관점으로 접근함으로써 소벨 에지 검출 방법의 단점을 해결할 수 있는 방법을 제시하였다. 캐니는 자신의 논문에서 다음 세 가지 항목을 좋은 에지 검출기의 조건으로 제시하였다.
  • 정확한 검출(good detection): 에지를 검출하지 못하거나 에지가 아닌데 에지로 검출하는 확률을 최소화해야 한다.
  • 정확한 위치(good localization): 실제 에지의 중심을 찾아야 한다.
  • 단일 에지(single edge): 하나의 에지는 하나의 점으로 표현되어야 한다.
• 캐니는 이러한 조건을 만족하는 새로운 형태의 에지 검출방법을 제시하였으며 이를 캐니 에지 검출기(canny edge detector)라고 한다.
  • 소벨 에지 검출 방법이 단순히 그래디언트 크기만을 이용하여 에지를 찾는 방법이라면, 캐니 에지 검출기는 그래디언트의 크기와 방향을 모두 고려하여 좀 더 정확한 에지 위치를 찾을 수 있다.
  • 또한 에지는 서로 연결되어 있는 가능성이 높다는 점을 고려하여 그래디언트 크기가 다소 약하게 나타나는 에지도 놓치지 않고 찾을 수 있다.
  • 캐니 에지 검출기는 내부적으로 네 개의 연산 과정을 포함한다. 이 네 가지 연산 과정은 아래 이미지에 정리되어 있다.

가우시안 필터링

• 캐니 에지 검출기의 첫 번째 과정은 가우시안 필터링이다.
  • 캐니 에지 검출기의 첫 번째 단계에서 가우시안 필터를 적용하는 이유는 영상에 포함된 잡음을 제거하기 위함이다.
  • 가우시안 필터링에 의해 영상이 부드러워지면서 에지의 세기도 함께 감소할 수 있기 때문에 적절한 표준편차를 선택하여 가우시안 필터링을 수행해야 한다.
  • 영상에 포함된 잡음이 심하지 않다면 가우시안 필터링은 생략할 수 있다.

그래디언트 계산

• 캐니 에지 검출기의 두 번째 과정은 영상의 그래디언트를 구하는 작업이다. 캐니 에지 검출기에서 그래디언트 계산은 보통 3×3 소벨 마스크를 사용한다.
  • 다만 앞서 설명한 소벨 마스크가 그래디언트 크기만 고려했다면 캐니 에지 검출기는 그래디언트 방향도 함께 고려한다.
  • 그러므로 가로 방향과 세로 방향으로 각각 소벨 마스크 필터링을 수행한 후, 그래디언트 크기와 방향을 모두 계산해야 한다.
• 2차원 공간에서 정의된 함수 의 그래디언트를 라고 할 경우,
  • 그래디언트 크기는 로 정의되고 이를 벡터 의 L2 노름(L2 norm)이라고 한다.
  • 그러나 그래디언트 크기를 실제로 계산할 때는 연산 속도 향상을 위해 그래디언트 크기를 형태로 계산하기도 하며, 이를 벡터 의 L1 노름(L1 norm)이라고 한다.
  • 실제로 OpenCV 에 구현되어 있는 캐니 에지 검출기에서도 그래디언트 크기 계산시 기본적으로 L1 노름을 사용한다.

비최대 억제

• 에지 검출을 위해 단순히 그래디언트 크기가 특정 임계값보다 큰 픽셀을 선택할 경우, 에지 근방의 여러 픽셀이 한꺼번에 에지로 선택될 수 있다. 에지가 두껍게 표현되는 현상을 방지하기 위해 캐니 에지 검출기에서는 비최대 억제(non-maximum suppression) 과정을 사용한다.
  • 비최대 억제는 그래디언트 크기가 국지적 최대(local maximum)인 픽셀만을 에지 픽셀로 설정하는 기법이다. 상대적으로 국지적 최대가 아닌 픽셀은 에지 픽셀에서 제외하기 때문에 비최대 억제라는 용어를 사용한다.
• 일반적인 2차원 영상에서 국지적 최대를 찾으려면 특정 픽셀을 둘러싸고 있는 모든 픽셀 값을 검사하여 국지적 최대인지 판별해야 한다.
  • 그러나 캐니 에지 검출기의 비최대 억제 과정에서는 그래디언트 벡터의 방향과 같은 방향에 있는 인접 픽셀끼리만 국지적 최대 검사를 수행한다. 결과적으로 비최대 억제를 수행함으로써 가장 변화율이 큰 위치의 픽셀만 에지로 검색된다.

이중 임계값을 이용한 히스테리시스 에지 트래킹

• 소벨 에지 검출 방법에서는 그래디언트 크기가 특정 임계값보다 크면 에지 픽셀로, 작으면 에지가 아닌 픽셀로 판단했다. 이 경우 조명이 조금 바뀌거나 임계값을 조금만 조절해도 에지 픽셀 판단 결과가 크게 달라질 수 있다.
  • 즉, 하나의 임계값을 사용할 경우 이분법으로 결과가 판단되기 때문에 환경 변화에 민감해질 수 있다. 이러한 문제를 보완하기 위해 캐니 에지 검출기에서는 두 개의 임계값을 사용한다.
• 캐니 에지 검출기에서 사용하는 두 개의 임계값 중에서 높은 임계값을 , 낮은 임계값을 라고 할 때,
  • 만약 그래디언트 크기가 보다 크면 이 픽셀은 최종적으로 에지로 판단하고 그래디언트 크기가 보다 작으면 에지 픽셀이 아니라고 판단한다.
  • 그래디언트 크기가 와 사이인 픽셀은 에지일 수도 있고 에지가 아닐 수도 있다고 판단하며, 이런 픽셀에 대해서는 추가적인 검사를 수행한다.
• 그래디언트 크기가 보다 큰 픽셀을 강한 에지(strong edge)라고 표현하고, 와 사이인 픽셀을 약한 에지(weak edge) 라고 할 때,
  • 캐니 에지 검출기의 마지막 단계에서는 히스테리시스 에지 트래킹(hysteresis edge tracking) 방법을 사용하여 약한 에지 중에서 최종적으로 에지로 판별할 픽셀을 선택한다.
  • 히스테리시스 에지 트래킹 방법은 에지 픽셀이 대체로 상호 연결되어 있다는 점을 이용한다.
  • 만약 약한 에지 픽셀이 강한 에지 픽셀과 서로 연결되어 있다면 이 픽셀은 최종적으로 에지로 판단하고, 강한 에지와 연결되어 있지 않은 픽셀은 최종적으로 에지가 아니라고 판단한다.
  • 아래 그림에서 세 가지 형태의 에지 후보 중 (a)는 강한 에지와 연결되어 있으므로 모든 픽셀이 에지로 판별되고, (b)는 강한 에지와 연결이 없으므로 에지로 판별하지 않는다. (c)는 강한 에지와 연결되어 있으므로 에지로 판별하지만 보다 작은 픽셀은 에지로 판별하지 않는다.

• OpenCV에서 캐니 알고리즘 검출은 Canny() 함수에 구현되어 있다.
  • Canny() 함수는 두 가지 형태로 정의되어 있는데, 하나는 일반 영상을 입력으로 전달하여 에지를 검출할 때 사용하고, 다른 하나는 이미 x 방향과 y 방향의 미분 영상을 가지고 있을 때 사용한다.
  • Canny() 함수를 사용할 때는 두 개의 임계값을 적절하게 지정하는 것이 중요하다.
  • threshold1과 threshold2 인자에 지정하는 두 개의 임계값은 캐니 에지 검출기의 히스테리시스 에지 트래킹 단계에서 사용된다.
  • 보통 threshold1 인자에는 낮은 임계값을 지정하고 threshold2 인자에는 높은 임계값을 지정한다. 낮은 임계값과 높은 임계값은 보통 1:2 또는 1:3의 비율로 지정한다.
• Canny() 함수를 사용하여 에지를 검출하는 예제는 아래와 같다.

void canny_edge()
{
  Mat src = imread("lenna.bmp", IMREAD_GRAYSCALE);

  if (src.empty())
  {
    cerr << "Image load failed!" << endl;
    return;
  }

  Mat dst1, dst2;
  Canny(src, dst1, 50, 100);
  Canny(src, dst2, 50, 150);

  imshow("src", src);
  imshow("dst1", dst1);
  imshow("dst2", dst2);

  waitKey();
  destroyAllWindows();
}

직선 검출과 원 검출

허프 변환 직선 검출

• 직선은 영상에서 찾을 수 있는 많은 특징 중 하나이며 영상을 분석함에 있어 중요한 정보를 제공한다. 
  • 영상에서 직선 성분을 찾기 위해서는 우선 에지를 찾아내고, 에지 픽셀들이 일직선 상에 배열되어 있는지를 확인해야 한다.
• 영상에서 직선을 찾기 위한 용도로 허프 변환(hough transform) 기법이 널리 사용된다.
  • 허프 변환은 2차원 xy 좌표에서 직선의 방정식을 파라미터(parameter) 공간으로 변환하여 직선을 찾는 알고리즘이다.
• 일반적인 2차원 평면에서 직선의 방정식은 다음과 같이 나타낼 수 있다.

• 이 수식에서 a는 기울기(slope)이고, b는 y 절편(y intersection)이다. 이 직선의 방정식은 다음과 같이 바꿔 쓸 수 있다.

• 방정식을 위와 같이 변경하면 마치 ab 좌표 공간에서 기울기가 -x이고 b절편이 y인 직선의 방정식처럼 보인다.
  • 이처럼 xy 공간에서 직선의 방정식을 ab 공간으로 변경하면 재미있는 현상을 발견할 수 있는데, xy 공간에서 직선은 ab 공간에서 한 점으로 표현되고, 반대로 xy 공간에서 한 점은 ab 공간에서 직선의 형태로 나타난다는 점이다.
• 아래 이미지에서 (a)의 파란색 실선은 xy 공간에 정의된 직선 이다.
  • 이 수식에서 와 는 직선의 모양을 결정하는 상수이다.
  • xy 공간에서 직선상의 한 점 를 선택하고 이 점의 좌표를 이용하면 ab 공간에서 빨간색 직선 를 정의할 수 있다.
  • 마찬가지로 xy 공간에서 직선상의 다른 한 점 를 이용하면 ab 공간에서 보라색 직선 를 표현할 수 있다.
  • 이 경우 ab 공간에서 빨간색 직선과 보라색 직선이 서로 교차하는 점의 좌표는 이며 이는 xy 공간에서 직선의 방정식 를 정의하는 두 개의 파라미터로 구성된 좌표이다.
  • 즉, xy 공간에서 파란색 직선상의 점을 이용하여 생성한 ab 공간상의 직선들은 모두 점을 지나간다.

• 허프 변환을 이용해서 직선의 방정식을 찾으려면 xy 공간에서 에지로 판별된 모든 점을 이용하여 ab 파라미터 공간에 직선을 표현하고, 직선이 많이 교차되는 좌표를 모두 찾아야 한다.
  • 이때 직선이 많이 교차하는 점을 찾기 위해 보통 축적 배열(accumulation array)를 사용한다.
  • 축적 배열은 0으로 초기화된 2차원 배열에서 직선이 지나가는 위치의 배열 원소 값을 1씩 증가시켜 생성한다.
• 아래 그림은 허프 변환에서 축적 배열을 구축하는 방법을 보여준다.
  • 그림의 왼쪽 xy 영상 좌표계에서 직선 위 세 개의 점을 선택하였고, 각 점에 대응되는 ab 파라미터 공간에서의 직선을 오른쪽 배열 위에 나타냈다. 그리고 배열 위에서 직선이 지나가는 위치의 원소 값을 1씩 증가시킨 결과를 숫자로 나타냈다.
  • 그림의 오른쪽에 나타난 배열이 축적 배열이며, 축적 배열에서 최댓값을 갖는 위치에 해당하는 ab와 b 값이 xy 공간에 있는 파란색 직선의 방정식 파라미터이다.
  • 아래 그림은 하나의 직선에 대해 허프 변환의 예를 설명하였으며, 여러 개의 직선이 존재하는 영상이라면 축적 배열에서 여러 개의 국지적 최댓값을 찾아서 직선의 방정식 파라미터를 결정할 수 있다.

• 그러나 형태의 직선의 방정식을 사용할 경우 모든 형태의 직선을 표현하기 어렵다는 잔덤이 있다.
  • 대표적으로 수식은 y축과 평행한 수직선을 표현할 수 없다. 수직선을 표현하려면 기울기가 무한대가 되어야 하기 때문이다.
  • 그러므로 실제 허프 변환을 구할 때는 다음과 같이 극좌표계 형식의 직선의 방정식을 사용한다.

• 이 수식에서 는 원점에서 직선까지의 수직 거리를 나타내고 는 원점에서 직선에 수직선을 내렸을 때 x축과 이루는 각도를 의미한다. 
  • 이 경우 xy 공간에서 한 점은 공간에서는 삼각함수 그래프 형태의 곡선으로 표현되고 공간에서 한 점은 xy 공간에서 직선으로 나타나게 된다.
  • 극좌표계 형식의 직선의 방정식을 사용하여 허프 변환을 수행할 경우에도 축적 배열을 사용하고, 축적 배열에서 국지적 최댓값이 발생하는 위치에서의 와 값을 찾아 직선의 방정식을 구할 수 있다.
• 극좌표계 직선의 방정식을 이용한 허프 변환 직선 검출 과정은 아래 그림과 같다.
  • (a)는 입력 영상이 사용하는 2차원 xy 좌표계이며, 파란색 직선은 이다.
  • 이 직선 위의 세 점을 선택하고 각 점에 대응하는 공간에서의 곡선을 (b)에 나타냈다.
  • 공간에서 세곡선은 모두 하나의 점에서 교차하며, 이 점의 좌표 가 (a)의 파란색 직선을 나타내는 파라미터가 된다.

• 와 는 실수 값을 가지기 때문에 C/C++ 코드로 축적 배열을 구현하려면, 와 가 가질 수 있는 값의 범위를 적당한 크기로 나눠서 저장하는 양자화 (quantization) 과정을 거쳐야 한다.
  
  • 예컨대 는 0에서 사이의 실수를 가질 수 있는데, 이 구간을 180단계나 360단계로 나눌 수 있다. 구간을 촘촘하게 나눌 경우 정밀한 직선 검출이 가능하지만 연산 시간이 늘어날 수 있다.
• OpenCV에서는 HoughLines() 함수를 사용하여 허프 변환 직선 검출을 수행할 수 있다.
  • HoughLines() 함수의 첫 번째 인자 image에는 보통 Canny() 함수 등을 이용하여 구한 에지 영상을 지정한다.
  • HoughLines() 함수는 image 영상에서 0이 아닌 픽셀을 이용하여 축적 배열을 구성한다.
  • 직선 파라미터 정보를 받아 올 lines 인자에는 보통 vector<Vec2f> 또는 vector<Vec3f> 자료형의 변수를 지정한다. vector<Vec2f> 자료형을 사용할 경우 와 값이 저장되고, vector<Vec3f> 자료형을 사용할 경우 와 값 외에 축적 배열에서의 누적 값을 함께 얻어 올 수 있다.
  • rho와 theta 인자는 와 값의 해상도를 조정하는 용도로 사용된다. 예컨대 rho에 1을 지정하면 값을 1픽셀 단위로 설정하며, theta에 CV_PI / 180 을 지정하면 를 1도 단위로 구분한다. 결국 rho와 theta는 HoughLines() 함수 내부에서 사용할 축적 배열의 크기를 결정하는 역할을 한다.
  • threshold 인자에는 축적 배열에서 직선으로 판단할 임계값을 지정하며, 이 값이 작으면 더 많은 직선이 검출된다.

void hough_lines()
{
  Mat src = imread("building.jpg", IMREAD_GRAYSCALE);

  if (src.empty())
  {
    cerr << "Image load failed!" << endl;
    return;
  }

  Mat edge;
  Canny(src, edge, 50, 150);

  vector<Vec2f> lines;
  HoughLines(edge, lines, 1, CV_PI / 180, 250);

  // 이하 결과를 화면에 출력하는 코드 생략
}

• OpenCV는 기본적인 허프 변환 직선 검출 방법 외에 확률적 허프 변환(probabilistic Hough transform)에 의한 직선 검출 방법도 제공한다.
  • 확률적 허프 변환 방법은 직선의 방정식 파라미터 와 를 반환하는 것이 아니라 직선의 시작점과 끝점 좌표를 반환한다.
  • 즉, 확률적 허프 변환 방법은 선분을 찾는 방법이다.
• OpenCV에서 확률적 허프 변환 방법은 HoughLinesP() 함수에 구현되어 있다.
  • HoughLinesP() 함수에서 검출된 선분 정보가 저장되는 lines 인자에는 보통 vector<Vec4i> 자료형의 변수를 지정한다. 각각의 선분 정보는 Vec4i 자료형으로 저장되고 하나의 Vec4i 객체에는 선분의 시작 x, y, 끝 x, y 점이 저장된다.
  • rho, theta, threshold 인자의 의미는 HoughLines()와 동일하다.
  • maxLineGap 인자는 일직선상의 직선이 잡암 등 영향으로 끊어져 있을 때 두 직선을 하나의 직선으로 간주하고자 할 때 사용한다.

void hough_lines_segments()
{
  Mat src = imread("building.jpg", IMREAD_GRAYSCALE);

  if (src.empty())
  {
    cerr << "Image load failed!" << endl;
    return;
  }

  Mat edge;
  Canny(src, edge, 50, 150);

  vector<Vec4i> lines;
  HoughLinesP(edge, lines, 1, CV_PI / 180, 160, 50, 5);

  // 이하 결과를 화면에 출력하는 코드 생략
}

허프 변환 원 검출

• 중심 좌표가 (a, b)이고 반지름이 r인 원의 방정식은 다음과 같다.

• 원의 방정식은 세 개의 파라미터를 가지고 있으므로 허프 변환을 그대로 적용하려면 3차원 파라미터 공간에서 축적 배열을 정의하고 가장 누적이 많은 위치를 찾아야 하는데, 이는 너무 많은 메모리와 연산 시간이 필요로 되므로 OpenCV에서는 일반적인 허프 변환 대신 허프 그래디언트 방법(Hough gradient method)을 사용하여 원을 검출한다.
• 허프 그래디언트 방법은 두 가지로 구성된다.
  • 첫 번째 단계에서는 영상에 존재하는 모든 원의 중심 좌표를 찾고, 두 번째 단계에서는 검출된 원의 중심으로부터 원에 적합한 반지름을 구한다.
  • 원의 중심 좌표를 찾는 과정에서 축적 배열이 사용된다. 다만 허프 그래디언트 방법에서 사용하는 축적 배열은 파라미터 공간에서 만드는 것이 아니라 입력 영상과 동일한 xy 좌표 공간에서 2차원 배열로 만든다.
  • 원의 중심을 찾기 위해 허프 그래디언트 방법은 입력 영상의 모든 에지 픽셀에서 그래디언트를 구하고, 그래디언트 방향을 따르는 직선상의 축적 배열 값을 1씩 증가 시킨다.
• 허프 그래디언트 방법을 이용하여 원의 중심을 검출하는 과정은 아래 그림과 같다.
  • 원주 상의 모든 점에 대해 그래디언트 방향의 직선을 그리고, 직선 상의 축적 배열 값을 증가 시키면 결과적으로 원의 중심 위치에서 축적 배열 값이 크게 나타나게 된다.
  • 일단 원의 중심을 찾은 후에는 다양한 반지름의 원에 대해 원주 상에 충분히 많은 에지 픽셀이 존재하는지 확인하여 적절한 반지름을 선택한다.

• OpenCV에서는 HoughCircles() 함수를 사용하여 원을 검출할 수 있다.
  • HoughCircles() 함수의 첫 번째 인자에는 원본 그레이스케일 입력 영상을 전달한다.
  • 직선을 검출하는 HoughLines()와 HoughLinesP() 함수에서는 입력 영상으로 에지 영상을 전달하였지만, HoughCircles() 함수의 입력 영상에는 에지 영상이 아닌 원본 그레이스케일 영상을 전달하면 함수 내부에서 Sobel() 함수와 Canny() 함수를 이용하여 그레디언트와 에지 영상을 계산한 후 허프 그래디언트 방법으로 원을 검출한다.
  • HoughCircles() 함수의 circles 인자에는 vector<Vec3f> 또는 vector<Vec4f> 자료형의 변수를 지정하는데, vector<Vec3f> 자료형을 사용하면 원의 중심 좌표가 (a, b)와 반지름 r이 차례대로 저장되고, vector<Vec4f> 자료형을 사용할 경우 추가적으로 축적 배열 누적 값이 저장된다.
  • dp 인자는 사용할 축적 배열의 크기를 결정하는 용도로 사용된다. 만약 dp 인자를 1로 지정하면 입력 영상과 같은 크기의 축적 배열을 사용하고, 2를 지정하면 입력 영상의 가로와 세로 크기를 2로 나눈 크기의 축적 배열을 사용한다.
  • minDist 인자에는 인접한 원의 최소 거리를 지정한다. 즉, 두 원의 중심점 사이 거리가 minDist 보다 작으면 두 원 중 하나는 검출하지 않는다.
  • param1 인자는 HoughCircles() 함수 내부에서 캐니 에지 검출기를 이용할 때 높은 임계값으로 사용된다. 캐니 에지 검출기의 낮은 임계값은 param1의 절반으로 설정한다. param2는 축적 배열에서 원의 중심을 찾을 때 사용하는 임계값이다.
  • minRadius와 maxRadius 인자에는 검출할 원의 최소 반지름과 최대 반지름을 지정한다. 만약 영상에서 검출할 원의 대략적인 크기를 알고 있다면 minRadius와 maxRadius 를 지정하여 연산 속도를 향상시킬 수 있다.

void hough_circles()
{
  Mat src = imread("coins.png", IMREAD_GRAYSCALE);

  if (src.empty())
  {
    cerr << "Image load failed!" << endl;
    return;
  }

  Mat blurred;
  blur(src, blurred, Size(3, 3));

  vector<Vec3f> circles;
  HoughCircles(blurred, circles, HOUGH_GRADIENT, 1, 50, 150, 30);

  // 이하 결과를 화면에 출력하는 코드 생략
}

어파인 변환

• 영상의 기하학적 변환(geometric transform)은 영상을 구성하는 픽셀의 배치 구조를 변경함으로써 전체 영상의 모양을 바꾸는 작업. 
• 입력 영상에서 좌표의 픽셀을 결과 영상의 좌표로 변환하는 방법은 다음과 같이 고유의 함수 형태로 나타낼 수 있다.

어파인 변환

• 영상의 기하학적 변환 중에서 어파인 변환(affine transformation)은 영상을 평행 이동시키거나 회전, 크기 변환 등을 통해 만들 수 있는 변환을 통칭한다.
  • 또는 영상을 한쪽 방향으로 밀어서 만든 것 같은 전단 변환도 어파인 변환에 포함된다.
  • 영상에 어파인 변환을 적용할 경우 직선은 그대로 직선으로 나타나고, 직선 간의 길이 비율과 평행 관계가 그대로 유지된다.

• 어파인 변환은 모두 여섯 개의 파라미터를 이용한 수식으로 정의할 수 있다.

• 위 수식은 행렬을 이용해서 다음과 같은 수식으로 표현할 수도 있다.

• 즉 입력 영상의 좌표를 나타내는 행렬 앞에 2×2 행렬 을 곱하고 그 뒤에 2×1 행렬 를 더하는 형태로 어파인 변환을 표현한다.
• 수학적 편의를 위해 입력 영상의 좌표 에 가상의 좌표 1을 하나 추가하여 형태로 바꾸면, 행렬 수식을 다음과 같은 하나의 행렬 곱셈 형태로 바꿀 수 있다.

• 위 수식에서 여섯 개의 파라미터로 구성된 2×3 행렬 를 어파인 변환 행렬 (affine transform matrix)이라고 한다. 즉 어파인 변환은 2×3 실수형 행렬 하나로 표현할 수 있는 것이다.
• 입력 영상과 어파인 변환 결과 영상으로부터 어파인 변환 행렬을 구하기 위해서는 최소 세 점의 이동 관계를 알아야 한다.
  • 점 하나의 이동 관계로부터 x좌표와 y좌표에 대한 변환 수식 두 개를 얻을 수 있으므로, 점 세 개의 이동 관계로부터 총 여섯 개의 방정식을 구할 수 있다.
  • 그러므로 점 세 개의 이동 관계를 알고 있다면 여섯 개의 원소로 정의되는 어파인 변환 행렬을 구할 수 있다.
• 아래 그림은 점 세 개의 이동 관계에 의해 결정되는 어파인 변환을 보여준다.
  • 어파인 변환에 의해 직사각형 영상은 평행사변형 형태로 변환될 수 있기 때문에 입력 영상의 좌측 하단 모서리 점이 이동하는 위치는 자동으로 결정된다.
  • 그러므로 어파인 변환은 점 세 개의 이동 관계만으로 정의할 수 있다.

• OpenCV는 어파인 변환 행렬을 구하는 함수와 어파인 변환 행렬을 이용하여 실제 영상을 어파인 변환하는 함수를 모두 제공한다.
  • 어파인 변환 행렬을 구하는 함수 이름은 getAffineTransform()으로, 입력 영상에서 세 점의 좌표와 이점들이 이동한 결과 영상의 좌표 세 개를 입력 받아 2×3 어파인 변환 행렬을 계산한다.
  • 2×3 어파인 변환 행렬을 가지고 있을 때 영상을 어파인 변환한 결과 영상을 생성하려면 warpAffine() 함수를 사용한다. wrapAffine() 함수는 src 영상을 어파인 변환하여 dst 영상을 생성한다.

Mat src = imread("tekapo.bmp");

if (src.empty())
{
  cerr << "Image load failed!" << endl;
  return;
}

Point2f srcPts[3], dstPts[3];
srcPts[0] = Point2f(0, 0);
srcPts[1] = Point2f(src.cols - 1, 0);
srcPts[2] = Point2f(src.cols - 1, src.rows - 1);
dstPts[0] = Point2f(50, 50);
dstPts[1] = Point2f(src.cols - 100, 100);
dstPts[2] = Point2f(src.cols - 50, src.rows - 50);

Mat M = getAffineTransform(srcPts, dstPts);

Mat dst;
warpAffine(src, dst, M, Size());

imshow("src", src);
imshow("dst", dst);

이동 변환

• 영상의 이동 변환(translation transformation)은 영상을 가로 또는 세로 방향으로 일정 크기만큼 이동 시키는 연산을 의미하며, 시프트(shift) 연산이라고도 한다.

• 입력 영상의 모든 좌표를 방향으로 만큼, 방향으로 만큼 이동하는 변환을 수식으로 나타내면 다음과 같다.

• 이 수식에서 는 입력 영상의 픽셀 좌표이고, 는 결과 영상의 픽셀 좌표이다. 앞 수식을 행렬을 이용하면 다음과 같이 하나의 식으로 표현할 수 있다.

• 앞 수식에서 입력 영상의 좌표를 나타내는 행렬 앞의 2×2 행렬과 그 뒤에 더해지는 2×1 행렬을 합쳐서 하나의 2×3 행렬을 구성하면 이동 변환을 나타내는 어파인 변환 행렬을 만들 수 있다.
  • 즉 영상을  방향으로 만큼, 방향으로 만큼 이동하는 어파인 변환 행렬 M은 다음과 같다.

• 그러므로 OpenCV에서 영상을 이동 변환하려면 앞과 같은 형태의 2×3 실수 행렬 M을 만들고 이를 wrapAffine() 함수 인자로 전달해야 한다.

Mat src = imread("tekapo.bmp");

if (src.empty())
{
  cerr << "Image load failed!" << endl;
  return;
}

Mat M = Mat_<double>({2, 3}, {1, 0, 150, 0, 1, 100});

Mat dst;
warpAffine(src, dst, M, Size());

imshow("src", src);
imshow("dst", dst);

전단 변환

• 전단 변환(shear transformation)은 직사각형 형태의 영상을 한쪽 방향으로 밀어서 평행사변형 모양으로 변형되는 변환이며 층밀림 변환이라고도 한다.
  • 전단 변환은 가로 방향 또는 세로 방향으로 각각 정의할 수 있다.

• 좌표가 증가함에 따라 영상을 가로 방향으로 조금씩 밀어서 만드는 전단 변환 수식은 다음과 같다.

또는

• 좌표가 증가함에 따라 영상을 세로 방향으로 조금씩 밀어서 만드는 전단 변환 수식은 다음과 같다.

또는

• 앞의 두 수식에서 와 는 영상으로 각각 가로 방향과 세로 방향으로 밀림 정도는 나타내는 시룻이다. 결국 전단 변환을 나타내는 2×3 어파인 변환 행렬 M은 다음과 같이 나타낼 수 있다.

또는

Mat src = imread("tekapo.bmp");

if (src.empty())
{
  cerr << "Image load failed!" << endl;
  return;
}

double mx = 0.3;
Mat M = Mat_<double>({2, 3}, {1, mx, 0, 0, 1, 0});

Mat dst;
warpAffine(src, dst, M, Size(cvRound(src.cols + src.rows * mx), src.rows));

imshow("src", src);
imshow("dst", dst);

크기 변환

• 영상의 크기 변환(scale transformation)은 영상의 전체적인 크기를 확대 또는 축소하는 변환이다.

• 원본 영상의 가로 픽셀 크기가 이고 결과 영상의 가로 크기가 이기 때문에 가로 방향으로의 크기 변환 비율 는 수식으로 계산할 수 있다. 마찬가지로 방향으로의 크기 변환 비율 는 수식으로 계산된다.
  • 입력 영상 좌표 로부터 크기 변환 결과 영상의 좌표 를 계산하는 수식은 다음과 같다.

또는

• 위 수식에서 또는 가 1보다 크면 영상이 확대되고 1보다 작으면 축소 된다.
• 영상의 크기 변환을 나타내는 어파인 변환 행렬 M은 다음과 같다.

• 그러므로 앞과 같은 어파인 변환 행렬을 생성하고 wrapAffine() 함수를 이용하면 영상의 크기 변환을 수행할 수 있다.
• 그러나 영상의 크기를 변경하는 작업은 실제 영상 처리 시스템에서 매우 빈번하게 사용되기 때문에 OpenCV는 보다 간단하게 크기를 변경할 수 있는 resize() 함수를 제공한다.
• resize() 함수는 src 입력 영상을 dsize 크기로 확대 또는 축소한 dst 영상을 생성한다.
  • 영상의 크기는 dsize 인자를 통해 명시적으로 지정할 수도 있고, 또는 가로 방향 및 세로 방향으로의 크기 변환 비율은 fx와 fy 값을 통해 결정되도록 할 수도 있다.
  • 만약 결과 영상의 크기를 픽셀 단위로 지정하여 크기 변환을 수행하려면 dsize에 0이 아닌 값을 지정하고, fx와 fy는 0으로 설정한다.
  • 만약 입력 영상의 크기를 기준으로 크기 변환 비율을 지정하여 영상을 확대 또는 축소 하려면 dsize 인자에는 Size()를 지정하고 fx와 fy에는 0이 아닌 양의 실수를 지정한다.
  • 이 경우 결과 영상의 크기는 다음과 같이 설정된다.

• resize() 함수의 여섯 번쨰 인자 interpolation에는 보간법 알고리즘을 나타내는 InterpolationFlags 열거형 상수를 지정한다. 
  • 보간법은 결과 영상의 픽셀 값을 결정하기 위해 입력 영상 주변 픽셀 값을 이용하는 방식을 의미한다.
  • INTER_NEAREST 방법은 가장 빠르게 동장하지만 결과 영상 화질이 좋지 않다.
  • INTER_LINEAR 방법읍 연산 속도가 빠르고 화질도 충분히 좋은 편이라서 널리 사용되고 있고, resize() 함수에서 기본값으로 지정되어 있다.
  • INTER_LINEAR 보다 더 좋은 화질을 원한다면 INTER_CUBIC 또는 INTER_LANCZOS4 상수를 사용하는 것이 좋다.
  • 영사을 축소하는 경우 INTER_AREA 방법을 사용하면 무아레(moire) 현상이 적게 발생하며 화질 면에서 유리하다.

InterpolationFlags 열거형 상수	설명
INTER_NEAREST	최근방 이웃 보간법
INTER_LINEAR	양선형 보간법
INTER_CUBIC	3차 보간법
INTER_AREA	픽셀 영역 리샘플링
INTER_LANCZOS4	8×8 이웃 픽셀을 사용하는 란초스(Lanczos 보간법)

Mat src = imread("tekapo.bmp");

if (src.empty())
{
cerr << "Image load failed!" << endl;
return;
}

Mat dst1, dst2, dst3, dst4;
resize(src, dst1, Size(), 4, 4, INTER_NEAREST);
resize(src, dst2, Size(1920, 1280);
resize(src, dst3, Size(1920, 1280), 0, 0, INTER_CUBIC);
resize(src, dst4, Size(1920, 1280), 0, 0, INTER_LANCZOS4);

imshow("src", src);
imshow("dst1", dst1(Rect(400, 500, 400, 400)));
imshow("dst2", dst2(Rect(400, 500, 400, 400)));
imshow("dst3", dst3(Rect(400, 500, 400, 400)));
imshow("dst4", dst4(Rect(400, 500, 400, 400)));

회전 변환

• 영상의 회전 변환(rotation transformation)은 특정 좌표를 기준으로 영상을 원하는 각도만큼 회전하는 변환이다.

• 영상의 회전 변환에 의해 입력 영상의 점 가 이동하는 점의 좌표 는 다음과 같이 삼각함수를 이용하여 구할 수 있다.

또는

• 영상을 반시계 방향으로 만큼 회전하는 어파인 변환 행렬 M은 다음과 같이 정의된다.

• 그러므로 cos() 함수와 sin() 함수를 이용하여 앞과 같은 행렬을 생성하고 warpAffine() 함수를 사용하면 영상을 회전시킬 수 있다. 
• 다만 영상을 회전하는 경우가 많기 떄문에 OpenCV에서는 영상의 회전을 위한 어파인 변환 행렬을 생성하는 getRotationMatrix2D() 함수를 제공한다.
  • 이 함수를 이용하면 영상을 원점이 아닌 특정 좌표를 기준으로 회전시키거나 필요한 경우 크기 변환까지 함께 수행하는 어파인 변환 행렬을 쉽게 만들 수 있다.
• getRotationMatrix2D() 함수는 center 점을 기준으로 반시계 방향으로 angle 각도만큼 회전한 후, scale 크기만큼 확대 또는 축소하는 2×3 어파인 변환 행렬을 반환한다.
  • 만약 영상을 시계 방향으로 회전하는 어파인 변환 행렬을 구하고 싶다면 angle 인자에 음수를 지정한다.
  • getRotationMatrix2D() 함수가 반환하는 어파인 변환 행렬은 다음과 같이 계산된다.

• 이 수식에서 이고, 를 의미한다.

Mat src = imread("tekapo.bmp");

if (src.empty())
{
  cerr << "Image load failed!" << endl;
  return;
}

Point2f cp(src.cols / 2.f, src.rows / 2.f);
Mat M = getRotationMatrix2D(cp, 20, 1);

Mat dst;
warpAffine(src, dst, M, Size());

imshow("src", src);
imshow("dst", dst);

대칭 변환

• 대칭 변환은 입력 영상과 같은 크기의 결과 영상을 생성하며, 입력 영상의 픽셀과 결과 영상의 픽셀이 일대일로 대응되므로 보간법이 필요하지 않다.
• 영상의 좌우 대칭 변환에 의한 좌표 변환 수식은 다음과 같다.

• 이 수식에서 는 입력 영상의 픽셀 좌표이고, 는 결과 영상의 픽셀 좌표이며, 는 입력 영상의 가로 크기이다. 앞 수식을 행렬 형태로 바꿔 쓰면 다음과 같다.

• 앞의 수식을 정리해서 보면 결국 좌우 대칭은 영상을 축 방향으로 -1배 크기 변환한 후 축 방향으로 만큼 이동 변환한 것과 같다. 그러므로 좌우 대칭 변환도 어파인 변환의 일종이다.
• 영상의 상하 대칭 변환도 비슷한 방식으로 생각할 수 있으며 수식으로 정리하면 다음과 같다.

또는

• OpenCV는 영상의 대칭 변환을 수행하는 flip() 함수를 제공한다. flip() 함수는 영상을 가로 방향, 세로 방향, 또는 가로와 세로 양 방향에 대해 대칭 변환한 영상을 생성한다.
  • flip() 함수의 대칭 방법은 flipCode의 인자 부호에 따라 결정된다. 일반적으로 영상을 좌우로 대칭 변환하려면 flipCode에 1을 지정하고, 상하 대칭 변환을 하려면 0을 지정한다. 상하 대칭과 좌우 대칭을 모두 수행하려면 -1을 지정한다.
  • 참고로 상하 대칭과 좌우 대칭을 모두 수행한 결과는 입력 영상을 180도 회전한 것과 같다.
• (예제는 flip() 함수를 사용하는 것이라 생략)

투시 변환

• 영상의 기하학적 변환 중에는 어파인 변환보다 자유도가 높은 투시 변환(perspective transform)이 있다. 투시 변환은 직사각형 형태의 영상을 임의의 볼록 사각형 형태로 변경할 수 있는 변환이다.
  • 투시 변환에 의해 원본 영상에 있던 직선은 결과 영상에서 그대로 직선성이 유도되지만, 두 직선의 평행 관계는 깨어질 수 있다.
• 아래 그림은 점 네 개의 이동 관계에 의해 결정되는 투시 변환을 나타낸다.
  • 투시 변환은 직선의 평행 관계가 유지되지 않기 때문에 결과 영상의 형태가 임의의 사각형으로 나타나게 된다. 
  • 점 하나의 이동 관계로부터 x 좌표에 대한 방정식 하나와 y 좌표에 대한 방정식 하나를 얻을 수 있으므로, 점 네 개의 이동 관계로부터 여덟 개의 방정식을 얻을 수 있다.
  • 이 여덟 개의 방정식으로부터 투시 변환을 표현하는 파라미터 정보를 계산할 수 있다.

• 투시변환은 보통 3×3 크기의 실수 행렬로 표현한다.
  • 투시 변환은 여덟 개의 파라미터로 표현할 수 있지만, 좌표 계산의 편의상 아홉 개의 원소를 갖는 3×3 행렬을 사용한다.
  • 투시 변환을 표현하는 행렬을 라고 하면, 입력 영상의 픽셀 좌표 가 행렬 에 의해 이동하는 결과 영상 픽셀 좌표 는 다음과 같이 계산된다.

• 앞의 행렬 수식에서 입력 좌표와 출력 좌표를 형태로 표현한 것을 동차 좌표계(homogeneous coordinates)라고 하며, 좌표 계산의 편의를 위해 사용하는 방식이다.
  • 여기서 는 결과 영상의 좌표를 표현할 때 사용되는 비례 상수이며 형태로 계산된다. 
  • 그러므로 와 는 다음과 같이 구할 수 있다.

• OpenCV는 투시 변환 행렬을 구하는 함수와 투시 변환 행렬을 이용하여 실제 영상을 투시 변환하는 함수를 모두 제공한다.
  • 투시 변환 행렬을 구하는 함수 이름은 getPerspectiveTransform()으로 입력 영상에서 네 점의 좌표와 이 점들이 이동한 결과 영상의 좌표 네 개를 입력 받아 3×3 투시 변환 행렬을 계산한다.
  • 3×3 투시 변환 행렬을 가지고 있을 때, 영상을 투시 변환한 결과 영상을 생성하려면 warpPerspective() 함수를 사용한다. 이 함수는 투시 변환 행렬 M을 이용하여 src 영상으로부터 dst 영사을 생성한다. 이때 전달되는 투시 변환 행렬 M은 CV_32FC1 또는 CV_64FC1 타입이어야 하고 크기는 3×3 이어야 한다.

Mat src;
Point2f srcQuad[4], dstQuad[4];

void on_mouse(int event, int x, int y, int flags,void* userdata);

int main()
{
  if (src.empty())
  {
    cerr << "Image load failed!" << endl;
    return;
  }

  namedWindow("src");
  setMouseCallback("src", on_mouse);

  imshow("src");
  waitKey(0);

  return 0;
}

void on_mouse(int event, int x, int y, int flags, void*)
{
  static int cnt = 0;

  if (event == EVENT_LBUTTONDOWN)
  {
    if (cnt < 4)
    {
      srcQuad[cnt++] = Point2f(x, y);

      circle(src, Point(x, y), 5, Scalar(0, 0, 255), -1);
      imshow("src", src);

      if (cnt == 4)
      {
        int w = 200, h = 300;

        dstQuad[0] = Point2f(0, 0);
        dstQuad[1] = Point2f(0, 0);
        dstQuad[2] = Point2f(0, 0);
        dstQuad[3] = Point2f(0, 0);

        Mat pers = getPerspectiveTransform(srcQuad, dstQuad);

        Mat dst;
        warpPerspective(src, dst, pers, Size(w, h));

        imshow("dst", dst);
      }
    }
  }
}

• 만일 3×3 투시 변환 행렬을 가지고 있을 때, 일부 점들이 투시 변환에 의해 어느 위치로 이동할 것인지 알고 싶다면 perspectiveTransform() 함수를 사용할 수 있다.

영상의 필터링

필터링 연산 방법

• 영상 처리에서 필터링(filtering)이란 영상에서 원하는 정보만 통과시키고 원치 않는 정보는 걸러 내는 작업.
  • 잡음(noise)를 걸러 내어 영상을 깔금하게 만드는 필터가 있고, 부드러운 느낌의 성분을 제거함으로써 날카로운 느낌이 나도록 할 수도 있다.
• 영상의 필터링은 보통 마스크(mask)라고 부르는 작은 크기의 행렬을 이용한다.
  • 마스크는 필터링의 성격을 정의하는 행렬이며 커널(kernel), 윈도우(window)라고도 부르며 경우에 따라 마스크 자체를 필터라고 하기도 한다.
• 마스크는 다양한 크기와 모양으로 정의할 수 있으며, 마스크 행렬의 원소는 보통 실수로 구성된다.
  • 여러 모양의 필터 마스크 중에 3 x 3 정방형 행렬이 다양한 필터링 연산에서 가장 널리 사용된다.
  • 위 그림에서 필터 마스크의 가운데 위치한 진한 색을 고정점(anchor point)라고 하는데, 고정점은 현재 필터링 작업을 수행하고 있는 기준 픽셀 위치를 나타낸다. 대부분의 경우 마스크 행렬의 정중앙을 고정점으로 사용한다.

• 필터링 연산의 결과는 마스크 행렬의 모양과 원소 값에 의해 결정된다. 
  • 즉, 마스크 행렬을 어떻게 정의하는가에 따라 영상을 부드럽게도, 날카롭게도 할 수 있다.
  • 또는 영상에서 잡음을 제거하거나 에지(edge) 성분만 나타나도록 할 수도 있다.
• 아래 그림은 3 x 3 정방형 마스크를 이용한 필터링 수행 방법이다.
  • 아래 그림에서 m은 마스크 행렬을 나타내고, f와 g는 각각 입력 영상과 출력 영상을 의미한다.
  • 이 그림에서 마스크 행렬 크기가 3 x 3이므로 고정점의 좌표는 중심 좌표인 (1, 1)로 설정했다.
• 마스크를 이용한 필터링은 입력 영상의 모든 픽셀 위로 마스크 행렬을 이동시키면서 마스크 연산을 수행하는 방식으로 이루어진다.

• 마스크 연산이란 마스크 행렬의 모든 원소에 대하여 마스크 행렬 원소 값과 같은 위치에 있는 입력 영상 픽셀 값을 서로 곱한 후, 그 결과를 모두 더하는 연산이다.
  • 그리고 마스크 연산의 결과를 출력 영상에서 고정점 위치에 대응되는 픽셀 값으로 설정한다.
  • 그러므로 마스크 행렬 m의 중심이 입력 영상의 (x, y) 좌표 위에 위치했을 때 필터링 결과 영상의 픽셀 값 g(x, y)는 다음과 같이 계산된다.

• (x, y) 좌표에서 마스크 연산을 통해 결과 영상의 픽셀 값 g(x, y)를 구했으면, 다음에는 마스크를 한 픽셀 옆으로 이동하여 (x+1, y) 좌표에 다시 마스크 연산을 수행하고 그 결과를 g(x+1, y)에 저장한다. 이 과정을 영상 전체 픽셀에 대해 수행하면 필터링이 완료 된다.
• 그런데 영상의 가장 바깥쪽 픽셀에서는 (x, y) 자리에 영상에 존재하지 않는 좌표가 들어오게 된다.
  • 이 식은 계산할 수 없기 때문에 영상의 가장자리 픽셀에 대해 필터링을 수행할 때는 특별한 처리를 해야 한다.
• OpenCV에서는 영상의 필터링을 수행할 때 영상의 가장자리 픽셀을 확장하여 영상 바깥쪽에 가상의 픽셀을 만든다.
  • 이때 바깥쪽 가상의 픽셀 값을 어떻게 설정하는가에 따라 필터링 연산 결과가 달라진다.
• 아래 이미지는 5 x 5 크기의 필터 마스크를 적용하는 예시로서, 노란색으로 표시된 실제 존재하는 영상에 대해 가상의 픽셀을 구성하여 분홍색 픽셀을 만든 이미지이다.
  • 분홍색 픽셀의 영문자는 실제 픽셀의 영문자와 동일한 위치의 픽셀값을 나타낸다.
  • 아래 이미지는 실제 영상의 픽셀 값이 대칭 형태로 나타나도록 설정되어 있는 모습이다.

• 대부분의 OpenCV 필터링 함수는 위와 같은 방식으로 가장자리 픽셀을 확장하지만 다른 방식으로 가상의 픽셀 값을 설정할 수도 있다.
  • 이에 대한 내용은 아래 표 참조

• OpenCV에서 필터 마스크를 사용하는 일반적인 필터링은 filter2D() 함수를 이용하여 수행한다.
  • filter2D() 함수는 src 영상에 kernel 필터를 이용하여 필터링을 수행하고, 그 결과를 dst에 저장한다.
  • 만약 src 인자와 dst 인자에 같은 변수를 지정하면 필터링 결과를 입력 영상에 덮어쓰게 된다.
  • filter2D() 함수가 수행하는 연산을 수식으로 표현하면 다음과 같다.

• filter2D() 함수 인자 중에서 ddepth는 결과 영상의 깊이를 지정하는 용도로 사용하며, 입력 영상 깊이에 따라 지정할 수 있는 ddepth 값은 아래 표와 같다.
  • 만약 ddepth에 -1을 지정하면 출력 영상의 깊이는 입력 영상과 같게 설정된다.

입력 영상의 깊이(src.depth())	지정 가능한 ddepth값
CV_8U	-1/ CV_16S/ CV_32F/ CV_64F
CV_16U/CV_16S	-1/ CV_32F/ CV_64F
CV_32F	-1/ CV_32F/ CV_64F
CV_64F	-1/ CV_64F

 

• Note)
  • 3 x 3 필터 마스크를 이용하여 입력 영상 src와 필터링을 수행하는 수식을 쓰면 다음과 같다.

• 앞 수식은 입력 영상 (x, y) 좌표에 마스크 행렬을 올려놓고, 같은 위치에 있는 마스크 행렬 원소와 입력 영상 픽셀 값을 모두 곱한 후 더하는 연산이다.
  • 이처럼 두 개의 신호가 있을 때 같은 위치에 있는 신호 값을 모두 곱한 후 다시 더하는 연산을 신호 처리 분야에서 코릴레이션(correlation) 또는 상관이라고 한다.
  • 신호 처리에서 코릴레이션은 두 신호의 유사성을 판단하는 기준으로 사용되기도 한다.
• 두 개의 연속 신호 f와 g가 있을 때 두 신호의 코릴레이션을 구하는 수식은 다음과 간다.

• 그런데 영상 필터링을 신호 처리의 컨볼루션(convolution) 연산이라고 말하는 경우가 많다. 컨볼루션은 회선 또는 합성곱이라고도 하며, 두 신호의 컨볼루션은 다음 수식으로 정의된다.

• 컨볼루션은 두 입력 신호 중 하나를 원점 기준 대칭 변환한 후 코릴레이션을 구하는 것과 같다.
  • 그러므로 2차원 마스크 행렬과 입력 영상의 컨볼루션 연산을 정확하게 수행하려면 마스크 행렬을 상하 및 좌우 대칭으로 변환한 후 필터링 연산을 수행해야 한다.
  • 그러나 필터 마스크가 상하 및 좌우 대칭으로 구성되어 있는 경우에는 코릴레이션과 컨볼루션의 결과는 서로 같다.
  • 영상 처리에서 널리 사용되고 있는 많은 필터 마스크가 상하 및 좌우 대칭으로 구성되어 있기 때문에 관용적으로 필터링 연산을 컨볼루션 연산이라고 부르고 있다.

엠보싱 필터링

• 엠보싱이랑 직물이나 종이, 금속판 등에 올록볼록한 형태로 만든 객체의 윤곽 또는 무늬를 뜻하며, 엠보싱 필터는 입력 영상을 엠보싱 느낌이 나도록 변환하는 필터이다.
  • 보통 입력 영상에서 픽셀 값 변화가 적은 평탄한 영역은 회색으로 설정하고, 객체의 경계 부분은 좀 더 밝거나 어둡게 설정하면 엠보싱 느낌이 난다.
• 아래 이미지는 간단한 형태의 엠보싱 필터 마스크의 예이다.
  • 필터 마스크는 대각선 방향으로 +1 또는 -1의 값이 지정되어 있는 3 x 3 행렬이다.
  • 이 필터 마스크를 사용하여 필터링을 수행하면 대각선 방향으로 픽셀 값이 급격하게 변하는 부분에서 결과 영상 픽셀 값이 0보다 훨씬 크거나 0보다 훨씬 작은 값을 가지게 된다.
  • 입력 영상에서 픽셀 값이 크게 바뀌지 않는 평탄한 영역에서는 결과 영상의 픽셀 값이 0에 가까운 값을 갖게 된다.
  • 이렇게 구한 영상을 그대로 화면에 나타내면 음수 값이 포화 연산에 의해 0이 되어 버리기 때문에 결과 영상에 18을 더하는 것이 보기에 좋다.

블러링

• 블러링(blurring)은 초점이 맞지 않는 사진처럼 영상을 부드럽게 만드는 필터링 기법으로 스무딩(smoothing)이라고도 한다.
  • 영상에서 인접한 픽셀 간의 픽셀 값 변화가 크지 않은 경우 부드러운 느낌을 받을 수 있다.
  • 블러링은 거친 느낌의 입력 영상을 부드럽게 만드는 용도로 사용되기도 하고, 입력 영상에 존재하는 잡음의 영향을 제거하는 전처리 과정으로도 사용된다.

평균값 필터

• 평균값 필터(mean filter)는 입력 영상에서 특정 픽셀과 주변 픽셀들의 산술 평균을 결과 영상 픽셀 값으로 설정하는 필터이다.
  • 평균값 필터에 의해 생성되는 결과 영상은 픽셀 값의 급격한 변화가 줄어들어 날카로운 에지가 무뎌지고 잡음의 영향이 크게 사라지는 효과가 있다.
  • 그러나 평균값 필터를 과도하게 사용하면 사물의 경계가 흐릿해지고 사물의 구분이 어려워질 수 있다.
• 아래 이미지는 다양한 크기의 평균값 필터 마스크를 나타낸 것이다.
  • 각각의 행렬은 모두 원소가 1로 설저외더 있고 행렬의 전체 원소 개수로 각 행렬 원소 값을 나누는 형태로 표현되어 있다.
  • 결국 3 x 3 평균값 필터 마스크는 모든 원소가 1/9로 설정된 행렬이고, 5 x 5 평균값 필터는 모든 원소가 1/25로 구성된 행렬이다.
  • 평균값 필터는 마스크의 크기가 커질 수록 부드러운 느낌의 영상을 생성하지만, 연산량이 크게 증가할 수 있다.

• OpenCV에서는 blur() 함수를 이용하여 평균값 필터링을 수행할 수 있다.
  • blur() 함수는 src 영상에 ksize 크기의 평균값 필터 마스크를 사용하여 dst 출력 영상을 생성한다.
  • blur() 함수에서 사용하는 커널은 다음과 같은 형태를 갖고 있다.

• Note)
  • 일반적으로 필터 마스크 행렬은 모든 원소 합이 1 또는 0이 되도록 설계한다. 필터 마스크 행렬의 원소 합이 1이면 필터링 결과와 영상의 평균 밝기가 입력 영상 평균 밝기와 같에 유지되기 때문이다.
  • 만일 필터 마스크 행렬 원소의 합이 1보다 작으면 입력 영상보다 어두운 영상이 되고, 1보다 크면 밝은 결과 영상이 만들어진다.

가우시안 필터

• 가우시안 필터(Gaussian filter)는 가우시안 분포(Gaussian distribution) 함수를 근사하여 생성한 필터 마스크를 사용하는 필터링 기법이다.
• 가우시안 분포는 평균을 중심으로 좌우 대칭의 종 모양(bell shape)을 갖는 확률 분포를 말하며 정규 분포(normal distribution)라고도 한다.
• 가우시안 분포는 평균과 표준 편차에 따라 분포 모양이 결정된다. 다만 영상의 가우시안 필터에서는 주로 평균이 0인 가우시안 분포 함수를 사용한다.
  • 평균이 0이고 표준 편차가 인 1차원 가우시안 분포를 함수식으로 나타내면 다음과 같다.

• 평균이 0이고 표준 편차 가 각각 0.5, 1.0, 2.0인 가우시안 분포 그래프를 그리면 아래와 같다.
  • 세 개의 그래프가 모두 평균이 0이므로 x=0에서 최댓값을 가지며, x가 0에서 멀어질수록 함수 값이 감수한다.
  • 가 작으면 그래프가 뾰족한 형태가 되고, 가 크면 그래프가 넓게 퍼지면서 완만한 형태를 따른다.
  • 가우시안 분포 함수값은 특정 x가 발생할 수 있는 확률의 개념을 가지며, 그래프 면적을 합하면 1이 된다.

• 가우시안 분포를 따르는 2차원 필터 마스크 행렬을 생성하려면 2차원 가우시안 분포 함수를 근사해야 한다.
  • 2차원 가우시안 분포 함수는 x와 y 두 개의 변수를 사용하고, 분포의 모양을 결정하는 평균과 표준 편차도 x축과 y축 방향에 따라 따로 설정한다.
  • 평균이 (0, 0)이고 x축과 y축 방향의 표준 편차가 각각 인 2차원 가우시안 분포 함수는 다음과 같이 정의 된다.

• 평균은 (0, 0)이고 인 2차원 가우시안 분포 함수 그래프를 그리면 아래와 같다.
  • 평균이 (0, 0)이므로 (0, 0)에서 최댓값을 갖고, 평균에서 멀어질수록 함수가 감소한다.
  • 함수 그래프의 부피를 구하면 1이 된다.

• 가우시안 필터는 이러한 2차원 가우시안 분포 함수로부터 구한 마스크 행렬을 사용한다. 가우시안 분포 함수는 연속 함수지만 이산형의 마스크를 만들기 위해 x와 y 값이 정수인 위치에서만 가우시안 분포 함수 값을 추출하며 마스크를 생성한다.
  • 평균이 0이고 표준 편차가 인 가우시안 분포는 x가 부터 사이인 구간에서 그 값의 대부분이 존재하기 때문에 가우시안 필터 마스크의 크기는 보통 로 결정한다.
  • 예컨대 위 그림과 같이 인 가우시안 함수를 사용할 경우, 인 경우에만 가우시안 분포 함수 값을 추출하여 필터 마스크를 생성한다.
  • 이러한 방식으로 추출한 9 x 9 가우시안 필터 마스크가 아래 그림과 같다.

• 위 그림에 나타난 가우시안 필터 마스크 행렬은 중앙부에서 비교적 큰 값을 가지고, 주변부로 갈수록 원소 값이 0에 가까운 작은 값을 가진다.
  • 그러므로 이 필터 마스크를 이용하여 마스크 연산을 수행한다는 것은 필터링 대상 픽셀 근처에는 가중치를 크게 주고, 필터링 대상 필셀과 멀리 떨어져 있는 주변부에는 가중치를 조금만 주어서 가중 평균(weighted average)을 구하는 것과 같다.
  • 즉, 가우시안 필터 마스크가 가중 평균을 구하기 위한 가중치 행렬 역할을 하는 것이다.
• 마스크 연산에 의한 영상 필터링은 마스크 크기가 커짐에 따라 연산량도 함께 증가한다.
  • 9 x 9 행렬의 경우 한 번의 마스크 연산 시 81번의 곱셈 연산이 필요하다. 또한 큰 표준 편차 값을 사용하면 마스크 크기도 함께 커지므로 연산 속도 측면에서 부담이 될 수 있다.
  • 다행히 2차원 가우시안 분포 함수는 1차원 가우시안 분포 함수의 곱으로 분리할 수 있으며, 이러한 특성을 이용하면 가우시안 필터 연산을 크게 줄일 수 있다.
  • 2차원 가우시안 분포 함수 수식은 아래와 같이 분리하여 작성할 수 있다.

• 이처럼 2차원 필터 마스크 생성 함수를 x축 방향으로 함수와 y축 방향으로의 함수로 분리할 수 있을 경우, 입력 영상을 x축 방향으로의 함수와 y축 방향으로의 함수로 각각 1차원 마스크 연산을 수행함으로써 필터링 결과 영상을 얻을 수 있다.
• 예컨대 인 2차원 가우시안 마스크로 영상을 필터링하는 것은 인 1차원 가우시안 마스크를 가로 방향과 세로 방향으로 각각 생성하여 두 번 필터링 하는 것과 같다.
  • 실제로 인 1차원 가우시안 함수로부터 1 x 9 가우시안 마스크 행렬은 다음과 같다.

• 그러므로 행렬 를 이용하여 필터링을 한 번 수행하고, 그 결과를 다시 의 전치 행렬인 를 이용하여 필터링 하는 것은 2차원 가우시안 필터 마스크로 한 번 필터링 하는 것과 같은 결과를 얻을 수 있다.
  • 이 경우 픽셀 하나에 대해 필요한 곱셈 연산 횟수가 18번으로 감소하여 연산량이 크게 줄어든다.
• OpenCV에서 가우시안 필터링을 수행하려면 GaussianBlur() 함수를 사용하면 된다.
  • GaussianBlur() 함수는 src 영상에 가우시안 필터링을 수행하고 그 결과를 dst 영상에 저장한다. x축과 y축 방향으로의 표준 편차 sigmaX와 sigmaY는 서로 다른 값을 지정해도 되지만, 특정한 이유가 없다면 sigmaX와 sigmaY는 같은 값을 사용한다.
  • GaussianBlur() 함수에서 sigmaY인자를 지정하지 않거나 0으로 설정하면 y축 방향에 대해서도 sigmaX와 같은 표준편차를 사용한다.
  • 또한 가우시안 필터의 크기를 지정하는 ksize 인자에도 특별한 이유가 없다면 Size()를 전달하여 적절한 필터 크기를 자동으로 결정하도록 하는 것이 좋다.
• 가우시안 필터링은 x축 방향과 y축 방향으로 각각 1차원 가우시안 필터를 적용하여 수행한다고 설명했는데 실제로 GaussianBlur() 함수 내부에서 가우시안 필터링을 구현할 때에도 x축 방향과 y축 방향에 따라 1차원 가우시안 필터 마스크를 각각 생성하여 필터링을 수행한다.
  • 이때 1차원 가우시안 필터 마스크를 생성하기 위해 OpenCV에서 제공하는 getGaussianKernel() 함수를 사용한다. 이 함수는 사용자가 지정한 표준 편차를 따르는 1차원 가우시안 필터 마스크 행렬을 생성하여 반환한다.
  • getGaussianKernel() 함수는 표준 편차가 sigma인 1차원 가우시안 분포 함수로부터 ksize x 1 크기의 필터 마스크 행렬을 생성하여 반환한다.
  • ksize는 (8 x sigma + 1) 보다 같거나 크게 지정하는 것이 좋다. 
  • 이 행렬의 원소에 저장되는 값은 다음의 수식을 따른다.

• 앞 수식에서 의 범위를 가지며, 는 이 되도록 만드는 상수이다.
•  Note)
  • getGaussianKernel() 함수는 ksize 값이 7보다 같거나 작고 sigma 값이 0 또는 음수인 경우에는 미리 정해 놓은 배열 값을 이용하여 커널 행렬을 생성한다.

샤프닝

언샤프 마스크 필터

• 샤프닝(sharpning)이란 영상을 날카로운 느낌이 나도록 변경하는 필터링 기법.
  • 날카로운 느낌의 영상이란 객체의 윤곽이 뚜렷하게 구분되는 영상을 의미한다.
  • 영상을 초점이 잘 맞은 사진처럼 보이게끔 변경하려면 영상 에지 근방에서 픽셀 값의 명암비가 커지도록 수정해야 한다.
• 샤프닝 기법과 관련하여 흥미로운 사실은 샤프닝을 구현하기 위해 블러링된 영상을 사용한다는 점. 블러링이 적용되어 부드러워진 영상을 활용하여 반대로 날카로운 영상을 생성한다는 것이다.
  • 여기서 블러링이 적용된 영상, 즉 날카롭지 않은 영상을 언샤프(unsharp) 하다고 말하기도 한다.
  • 이처럼 언샤프한 영상을 이용하여 역으로 날카로운 영상을 생성하는 필터를 언샤프 마스크 필터(unsharp mask filter)라고 한다.
• 언샤프 마스크 필터링의 과정을 아래 이미지를 통해 확인할 수 있다.
  • 아래 이미지의 가로축은 픽셀 좌표의 이동을 나타내며, 세로축은 픽셀 값을 나타낸다.
  • (a)는 영상의 에지 부근에서 픽셀 값이 증가하는 모양을 나타낸 것이다.
  • (b)에서 파란색 실선 그래프는 에 블러링을 적용한 결과를 나타내며, 이를 로 표기. 블러링된 결과와 원본 픽셀값 변화를 비교해 볼 수 있도록 (b)에 를 검은색 점선으로 표현하였다.
  • (c)는 입력 영상 에서 블러링된 를 뺀 결과이며, 이를 로 표기. 즉 가 된다.
  • 는 입력 함수 값이 증가하기 시작하는 부분에서 음수 값을 가지고, 입력 함수 값 증가가 멈추는 부근에서 양수 값을 가진다. 그러므로 입력 함수 에 를 더하면 에지가 강조된 함수가 생성된다.
  • (d)에서 가 샤프닝이 적용된 결과 영상이 된다.

• 는 입력 영상에서 블러링된 영상을 뺀 결과이므로, 는 입력 영상에서 오직 날카로운 성분만 가지고 있는 함수라 할 수 있다.
  • 고로 입력 영상 에 를 더함으로써 날카로운 성분이 강조된 최종 영상 가 얻어지는 것으로 해석할 수 있다.
  • 그런데 에 를 단순하게 더하는 것이 아니라 실수 가중치를 곱한 후 더하면 날카로운 정도를 조절할 수 있다.
  • 즉, 샤프닝이 적용된 결과 영상 의 수식을 다음과 같이 정의할 수 있다.

• 위 식에서 에 1보다 작은 값을 지정하면 덜 날카로운 영상을 만들 수 있다.
  
  • 위 식에서 대신 수식을 대입하여 식을 정리하면 다음과 같다.

• OpenCV에서는 언샤프 마스크 필터 함수를 따로 제공하지 않으므로 위 수식을 이용하여 코드를 직접 작성해야 한다.

잡음 제거 필터링

영상과 잡음 모델

• 신호 처리 관점에서 잡음(noise)란 원본 신호에 추가된 원치 않은 신호를 의미한다.
  • 영상에서 잡음은 주로 영상을 획득하는 과정에서 발생하며, 디지털 카메라에서 사진을 촬영하는 경우 광학적 신호를 전기적 신호로 변환하는 센서(sensor)에서 주로 잡음이 추가된다.
• 디지털 카메라에서 카메라 렌즈가 바라보는 장면을 원본 신호 라고 하고, 여기에 추가된 잡음을 라고 한다면, 실제로 카메라에서 획득되는 영상 신호 는 다음과 같이 표현한다.

• 잡음이 생성되는 방식을 잡음 모델(noise model)이라고 하며, 다양한 잡음 모델 중에서 가장 대표적인 잡음 모델은 가우시안 잡음 모델(Gaussian noise model)이다.
  • 가우시안 잡음 모델은 보통 평균이 0인 가우시안 분포를 따르는 잡음을 의미한다.
• 아래 그림은 평균이 0이고 표쥰편차가 10인 1차원 가우시안 분포 그래프이다.
  • 평균이 0이고 표준 편차가 인 가우시안 분포는 x 값이 구간에서 전체 데이터의 67%가 존재하고, 구간에는 95% 구간에는 99.7%가 존재한다.
  • 그러므로 평균이 0이고 표준 편차가 10인 가우시안 분포를 따르는 잡음 모델은 67%의 확률로 -10에서 10 사이의 값이 잡음으로 추가된다. 잡음 값이 -20부터 20 사이일 확률은 95%이며, 그 밖의 값이 잡음으로 추가될 확률은 5%이다.
  • 그러므로 표준편차가 작은 가우시안 잡음 모델일수록 잡음에 의한 픽셀 값 변화가 적다고 생각할 수 있다.

양방향 필터

• 대부분의 영상에는 가우시안 잡음이 포함되어 있으며, 많은 컴퓨터 비전 시스템이 가우시안 잡음을 제거하기 위해 가우시안 필터를 사용한다.
  • 입력 영상에서 픽셀 값이 크게 변하지 않는 평탄한 영역에 가우시안 필터가 적용될 경우, 주변 픽셀 값이 부드럽게 블러링되면서 자음의 영향도 크게 줄어든다.
• 그러나 픽셀 값이 급격하게 변경되는 에지 근방에 동일한 가우시안 필터가 적요오디면 잡음뿐만 아니라 에지 성분까지 함께 감소하게 된다. 즉, 잡음이 줄어들면서 에지도 무뎌지기 때문에 객체의 윤곽이 흐릿하게 바뀌게 된다.
• 이러한 단점을 보완하기 위해 많은 사람들이 에지 정보는 그대로 유지하면서 잡음만 제거하는 에지 보전 잡음 제거 필터(edge-preserving noise removal filter)에 대해 연구하였다.
  • 특히 1998년 토마시(C. Tomasi)가 제안한 양방향 필터(bilateral filter)는 에지 성분은 그대로 유지하면서 가우시안 잡음을 효과적으로 제거하는 알고리즘이다.
  • 양방향 필터 기능은 OpenCV 라이브러리 초기 버전부터 포함되어 있어서 많은 사람들이 사용하고 있다.
  • 양방향 필터는 다음 공식을 사용하여 필터링을 수행한다.

• 위 수식에서 는 입력 영상, 는 출력 영상, 그리고 와 는 픽셀의 좌표를 나타낸다.
  • 와 는 각각 점과 점에서의 입력 영상 픽셀 값이고, 는 점에서의 출력 영상 픽셀 값이다.
  • 와 는 각각 표준 편차가 와 인 가우시안 분포 함수이다.
  • 는 필터 크기를 나타내고, 
  • 는 양방향 필터 마스크 합이 1이 되도록 만드는 정규화 상수이다.
• 양방향 필터 수식은 복잡해 보이지만 가만히 살펴보면 두 개의 가우시안 함수 곱으로 구성된 필터이다.
  • 함수는 두 점 사이의 거리에 대한 가우시안 함수로서 가우시안 필터와 완전히 동일한 의미로 동ㅈ가한다.
  • 반면 함수는 두 점의 픽셀 값 차이에 의한 가우시한 함수이다. 함수는 두 점의 픽셀 밝기 값 차이가 적은 평탄한 영역에서는 큰 가중치를 갖게 만들고 에지를 사이에 두고 있는 두 픽셀 사이에 대해서는 값이 크게 나타나므로 상대적으로 는 거의 0에 가까운 값이 된다.
  • 이로 인해 에지 근방에서는 가우시안 블러링 효과가 거의 나타나지 않고 에지가 보존된다.
• 양방향 필터 수식이 픽셀 값의 차이에 의존적이기 때문에 양방향 필터 마스크는 영상의 모든 픽셀에서 서로 다른 형태를 갖게 된다.
  • 즉 모든 픽셀 위치에서 주변 픽셀과의 밝기 차이에 의한 고유의 필터 마스크 행렬을 만들어서 마스크 연산을 수행해야 한다.
  • 이는 일반적인 가우시안 블러링이 모든 위치에서 일정한 마스크 행렬을 사용하는 것과 차이가 있다. 따라서 양방향 필터는 가우시안 블러링보다 훨씬 많은 연산량을 필요로 한다.
• OpenCV에서는 bilateralFilter() 함수를 이용하여 양방향 필터를 수행할 수 있다.
  • bilateralFilter() 함수에서 sigmaSpace 값은 일반적인 가우시안 필터링에서 사용하는 표준 편차와 같은 개념이다. 즉, 값이 클수록 더 많은 주변 픽셀을 고려하여 블러링을 수행한다.
  • sigmaColor 값은 주변 픽셀과의 밝기 차이에 관한 표준 편차이다. sigmaColor 값을 작게 지정할 경우, 픽셀 값 차이가 큰 주변 픽셀과는 블러링이 적용되지 않는다. 반면 sigmaColor 값을 크게 지정하면 픽셀 값 차이가 조금 크더라도 블러링이 적용된다. 즉, sigmaColor 값을 이용하여 어느 정도 밝기 차를 갖는 에지를 보존할 것인지를 조정할 수 있다.

미디언 필터

• 미디언 필터(median filter)는 인력 영상에서 자기 자신 픽셀과 주변 픽셀 값 중에서 중간값(median)을 선택하여 결과 영상 픽셀 값으로 설정하는 필터링 기법
  • 미디언 필터는 마스크 행렬과 입력 영상 픽셀 값을 서로 곱한 후 모두 더하는 형태의 연산을 사용하지 않는다.
  • 미디언 필터는 주변 픽셀 값들의 중간값을 선택하기 위해 내부에서 픽셀 값 정렬 과정이 사용된다.
  • 미디언 필터는 특히 잡음 픽셀 값이 주변 픽셀값과 큰 차이가 있는 경우에 효과적으로 동작한다.
• 아래 이미지는 3 x 3 정방형 마스크를 사용하는 미디언 필터 동작 방식을 나타낸 것이다.

• OpenCV에서 medianBlur() 함수를 이용하여 미디언 필터링을 수행할 수 있다.
  • medianBlur() 함수는 ksize x ksize 필터 크기를 이용하여 미디언 필터링을 수행한다.
  • 다채널 영상인 경우 각 채널별로 필터링을 수행한다.
  • medianBlur() 함수는 내부적으로 BORDER_REPLICATE 방식으로 가장자리 외곽 픽셀 값을 설정하여 필터링을 수행한다.