目录

0 原理       1 Numpy中的傅里叶变换       2 OpenCV中的傅里叶变换      3 滤波的本质

0 原理

傅里叶变换经常被用来分析不同滤波器的频率特性。我们可以使用 2D 离散傅里叶变换 (DFT) 分析图像的频域特性。实现 DFT 的一个快速算法被称为 快速傅里叶变换（FFT）。关于傅里叶变换的细节知识可以在任意一本图像处 理或信号处理的书中找到。请查看本小节中更多资源部分。

对于一个正弦信号：

它的频率为 f，如果把这个信号转到它的频域表示，我们会在频率 f 中看到一个峰值。如果我们的信号是由采 样产生的离散信号好组成，我们会得到类似的频谱图，只不过前面是连续的， 现在是离散。你可以把图像想象成沿着两个方向采集的信号。所以对图像同时 进行 X 方向和 Y 方向的傅里叶变换，我们就会得到这幅图像的频域表示（频谱 图）。
更直观一点，对于一个正弦信号，如果它的幅度变化非常快，我们可以说他是高频信号，如果变化非常慢，我们称之为低频信号。你可以把这种想法应 用到图像中，图像那里的幅度变化非常大呢？边界点或者噪声。所以我们说边 界和噪声是图像中的高频分量（注意这里的高频是指变化非常快，而非出现的次数多）。如果没有如此大的幅度变化我们称之为低频分量。 现在我们看看怎样进行傅里叶变换。

令f(x, y)表示一幅大小为MxN像素的数字图像，其中x=0,1,2...,M-1，y=0,1,2...,N-1。由F(u, v)表示的f(x, y)的二维离散傅里叶变换（DFT）由下式给出：

式中， u=0,1,2...,M-1，v=0,1,2...,N-1，由u，v定义的MxN矩形区域称为频率矩形，与输入图像大小相同。

离散傅里叶反变换(IDFT)的形式为：

 计算过后

处理过后的直流分量移动到频谱的中央，所以频率矩形的中心为最低频。 另外由于傅里叶变换后值的范围很大（0到420495），所以通过对数变换来解决这一问题。

1 Numpy中的傅里叶变换

首先我们看看如何使用 Numpy 进行傅里叶变换。Numpy 中的 FFT 包可以帮助我们实现快速傅里叶变换。函数 np.fft.fft2() 可以对信号进行频率转 换，输出结果是一个复杂的数组。本函数的第一个参数是输入图像，要求是灰 度格式。第二个参数是可选的, 决定输出数组的大小。输出数组的大小和输入图 像大小一样。如果输出结果比输入图像大，输入图像就需要在进行 FFT 前补 0。如果输出结果比输入图像小的话，输入图像就会被切割。

现在我们得到了结果，频率为 0 的部分（直流分量）在输出图像的左上角。如果想让它（直流分量）在输出图像的中心，我们还需要将结果沿两个方向平移N/2 。函数 np.fft.fftshift() 可以帮助我们实现这一步。（这样更容易分析）。 进行完频率变换之后，我们就可以构建振幅谱了。

最后再用对数变换来压缩范围。

举个例子：

import cv2
import numpy as np
from matplotlib import pyplot as plt

img = cv2.imread('test1.jpg', 0)
# 快速傅里叶变换
f = np.fft.fft2(img)
# 移频 将FFT输出中的直流分量移动到频谱的中央
fshift = np.fft.fftshift(f)
# 对数变换
magnitude_spectrum = 20*np.log(np.abs(fshift))

# 创建掩膜
rows, cols = img.shape
crow, ccol = int(rows/2), int(cols/2)
# 使用掩膜除去低频分量
fshift[crow-30:crow+30, ccol-30:ccol+30] = 0
# 对数变换
magnitude_spectrum1 = 20*np.log(np.abs(fshift))
# 逆移频
f_ishift = np.fft.ifftshift(fshift)
# 逆傅里叶变换
img_back = np.fft.ifft2(f_ishift)
# 取绝对值
img_back = np.abs(img_back)

plt.subplot(231), plt.imshow(img, cmap='gray'),
plt.title('Input Image'), plt.axis('off')
plt.subplot(232), plt.imshow(magnitude_spectrum, cmap='gray'),
plt.title('Magnitude Spectrum'), plt.axis('off')
plt.subplot(233), plt.imshow(magnitude_spectrum1, cmap='gray'),
plt.title('After High-pass Filtering'), plt.axis('off')
plt.subplot(234), plt.imshow(img, cmap='gray'),
plt.title('Input Image'), plt.axis('off')
plt.subplot(235), plt.imshow(img_back, cmap='gray'),
plt.title('Image after HPF'), plt.axis('off')
plt.subplot(236), plt.imshow(img_back),
plt.title('Result in JET'), plt.axis('off')
plt.show()

结果如下：

上图就是使用一个 60x60 的矩形窗口对图像进行掩模操作从而去除低频分量的操作的结果。在频域处理过后然后再使用函数 np.fft.ifftshift() 进行逆平移操作，所以现在直流分量又回到左上角了，左 后使用函数 np.ifft2() 进行 FFT 逆变换。可以看出将低频分量去除实际上是就是高通（高频通过）滤波操作，将图像的边界识别出来。

如果你观察仔细的话，尤其是最后一张 JET 颜色的图像，你会看到一些不自然的东西（如我用红色箭头标出的区域）。

看上图那里有些条带装的结构，这被成为振铃效应。这是由于我们使用矩形窗口做掩模造成的。这个掩模被转换 成正弦形状时就会出现这个问题。所以一般我们不适用矩形窗口滤波。最好的选择是高斯窗口。

2 OpenCV中的傅里叶变换

OpenCV 中相应的函数是 cv2.dft() 和 cv2.idft()。

cv2.dft(src, dst, flags, nonzeroRows)

• src：输入图像，要求是np.float32格式。
• dst：输出图像，双通道（实部虚部），其大小和类型取决于第三个参数flags 
• flags：默认为0，可取值如下：

            DFT_INVERSE: 用一维或二维逆变换取代默认的正向变换 

            DFT_SCALE: 缩放比例标识符，根据数据元素个数平均求出其缩放结果，如有N个元素，则输出结果以1/N缩放输出，常              与DFT_INVERSE搭配使用。 

            DFT_ROWS: 对输入矩阵的每行进行正向或反向的傅里叶变换；此标识符可在处理多种适量的的时候用于减小资源的开                销，这些处理常常是三维或高维变换等复杂操作。 

            DFT_COMPLEX_OUTPUT: 对一维或二维的实数数组进行正向变换，这样的结果虽然是复数阵列，但拥有复数的共轭对              称性（CCS），可以以一个和原数组尺寸大小相同的实数数组进行填充，这是最快的选择也是函数默认的方法。你可能               想要得到一个全尺寸的复数数组（像简单光谱分析等等），通过设置标志位可以使函数生成一个全尺寸的复数输出数组。 

             DFT_REAL_OUTPUT: 对一维二维复数数组进行逆向变换，这样的结果通常是一个尺寸相同的复数矩阵，但是如果输                  入矩阵有复数的共轭对称性（比如是一个带有DFT_COMPLEX_OUTPUT标识符的正变换结果），便会输出实数矩阵。 

• nonzeroRows：默认值为0，当这个参数不为0，函数会假设只有输入数组（没有设置DFT_INVERSE）的第一行或第一个输出数组（设置了DFT_INVERSE）包含非零值。这样的话函数就可以对其他的行进行更高效的处理节省一些时间，这项技术尤其是在采用DFT计算矩阵卷积时非常有效。

cv2.idft(src, dst, flags, nonzeroRows)

• src：输入傅里叶变换后的图像

基本使用方法：

第一步：载入图片

第二步：使用np.float32进行格式转换

第三步：使用cv2.dft进行傅里叶变化

第四步：使用np.fft.shiftfft将低频转移到中间位置

第五步：使用cv2.magnitude将实部和虚部投影到空间域

第六步：进行操作

第七步：使用np.fft.ifftshift将低频部分转移回图像的原先位置

第八步：使用cv2.idft进行傅里叶的反转换

举个例子：

import numpy as np
import cv2
from matplotlib import pyplot as plt

img = cv2.imread('test1.jpg', 0)
# 傅里叶变换
dft = cv2.dft(np.float32(img), flags=cv2.DFT_COMPLEX_OUTPUT)
# 移频
dft_shift = np.fft.fftshift(dft)
magnitude_spectrum = 20 * np.log(cv2.magnitude(dft_shift[:, :, 0], dft_shift[:, :, 1]))

rows, cols = img.shape
crow, ccol = int(rows/2), int(cols/2)
# 创建一个掩膜，中间方形为1，其余为0
mask = np.zeros((rows, cols, 2), np.uint8)
mask[crow-30:crow+30, ccol-30:ccol+30] = 1
# 使用掩膜
fshift = dft_shift*mask
magnitude_spectrum1 = 20 * np.log(cv2.magnitude(fshift[:, :, 0], fshift[:, :, 1]))
# 逆移频
f_ishift = np.fft.ifftshift(fshift)
# 逆傅里叶变换
img_back = cv2.idft(f_ishift)
img_back = cv2.magnitude(img_back[:, :, 0], img_back[:, :, 1])

plt.subplot(221), plt.imshow(img, cmap='gray'),
plt.title('Input Image'), plt.axis('off')
plt.subplot(222), plt.imshow(magnitude_spectrum, cmap='gray'),
plt.title('Magnitude Spectrum')
plt.subplot(223), plt.imshow(img_back, cmap='gray'),
plt.title('Input Image'), plt.axis('off')
plt.subplot(224), plt.imshow(magnitude_spectrum1, cmap='gray'),
plt.title('Magnitude Spectrum')
plt.show()

结果如下：

可以看出低通滤波可以对图像进行模糊操作。

OpenCV 函数的速度是 Numpy 的数倍，所以我们在图像处理时尽量采用OpenCV函数。

3 滤波的本质

前面所学的图像平滑（https://blog.csdn.net/yukinoai/article/details/86762339）

以及图像梯度（https://blog.csdn.net/yukinoai/article/details/87533036）的本质就是对图像傅里叶变换后的频域进行操作的结果，我们可以过下面这个例子理解这些滤波器都是允许哪些频率通过。

import cv2
import numpy as np
from matplotlib import pyplot as plt

# 平均滤波
mean_filter = np.ones((3, 3))
# 高斯滤波
x = cv2.getGaussianKernel(5, 10)
# x.T 为矩阵转置
gaussian = x*x.T
# different edge detecting filters
# scharrx算子
scharr = np.array([[-3, 0, 3], [-10, 0, 10], [-3, 0, 3]])
# sobelx算子
sobel_x = np.array([[-1, 0, 1], [-2, 0, 2], [-1, 0, 1]])
# sobely算子
sobel_y = np.array([[-1, -2, -1], [0, 0, 0], [1, 2, 1]])
# 拉普拉斯算子
laplacian = np.array([[0, 1, 0], [1, -4, 1], [0, 1, 0]])

filters = [mean_filter, gaussian, laplacian, sobel_x, sobel_y, scharr]
filter_name = ['mean_filter', 'gaussian', 'laplacian', 'sobel_x', 'sobel_y', 'scharr_x']
fft_filters = [np.fft.fft2(x) for x in filters]
fft_shift = [np.fft.fftshift(y) for y in fft_filters]
mag_spectrum = [np.log(np.abs(z)+1) for z in fft_shift]
for i in range(6):
    plt.subplot(2, 3, i+1), plt.imshow(mag_spectrum[i], cmap='gray'),
    plt.title(filter_name[i])
plt.show()

结果如下：

可以看出高斯滤波，平均滤波是低通滤波，所以使图像模糊，拉普拉斯算子是高通滤波，所以可以实现边缘检测，sobel_x和scharr_x过滤y方向的图像，sobel_x过滤了x方向的图像。