光电图像处理

作者简介

内容简介

**章 光电图像处理概论
　　1.1 光电图像的基本概念
　　光电图像是指通过光学设备或光电成像传感器采集形成的二维或三维影像，光电图像处理则是对采集得到的影像进行处理分析，从中提取有用的信息，以满足人的视觉心理和实际应用的需求。伴随着数字化、网络化及智能化，新一轮科技革命及新一代信息技术飞速发展，光电图像处理技术已经渗透到了遥感遥测、航空航天、生物医学、自动控制、军事、安防及日常生活的各个方面，已逐步发展成为基于不同光谱范围下成像探测与智能感知领域的核心和关键技术。
　　1.1.1 模拟图像和数字图像
　　图像按成像的不同波段可以分为单波段、多波段和超波段图像。图1-1是电磁波波谱，其中可见光是波长在380～780nm。在不同探测系统下，可采用微波、太赫兹(THz)波、红外、可见光、X射线及伽马( )射线等不同波段成像，以适应不同物理介质、材料和状态的探测需求。单波段图像上每个点只有一个亮度值，多光谱图像上每个点具有多个特性，如彩色图像上每个点有红、绿、蓝三个亮度值，超波段图像上每个点甚至具有几十个或几百个特性。
　　图1-1 电磁波波谱
　　图像按空间坐标和亮度的连续性可以分为模拟图像和数字图像两类。所谓模拟图像是指图像在空间、亮度或色彩方面都是连续的，如人眼所捕捉的蓝天、白云、高山、草原等场景，都是模拟图像，还包括各种图片、海报以及由传统的胶片相机拍摄的照片等。与此相对应的数字图像是以数字格式存放的图像，此类图像的亮度、色彩在空间上都是离散的。由于自然图像都是模拟的，要获得数字图像必须要经过数字化处理，模拟图像经过扫描仪、图像采集卡等数字化设备处理后以数字格式存储在计算机中。如今，我们还可以通过数码相机、数码摄像机直接获得数字图像。
　　同样，图像处理也可分为模拟图像处理和数字图像处理两类。
　　模拟图像处理主要包括光学图像处理方法和照像方法。光学图像处理方法是利用光学系统对图像进行处理的方法，它充分发挥了光运算的高度并行性和光线传播的互不干扰性，能在瞬间完成复杂的运算，如二维傅里叶变换。需要说明的是，光学系统常常会产生强噪声和杂波，且不同系统的噪声和杂波具有特定性，很难有通用的处理方法可以克服；此外，光学系统的结构一旦确定就只能进行特定运算，难以形成通用计算系统。
　　数字图像处理方法最常见的就是通过计算机对图像进行处理，它具有抗干扰性好、易于控制处理效果、处理方法灵活多样的优点。其缺点是处理速度还有待提高，速度瓶颈在三个方面表现得尤为突出，一是图像处理算法本身比较复杂；二是对图像的处理要求高的实时性；三是所处理的图像分辨率和精度要求比较高。在这三种情况下，数字图像处理所需的时间将显著增加。
　　光电图像处理是指在不同观测系统下针对微波、太赫兹波、红外、可见光、紫外、X射线、 射线等不同波段的电磁波进行探测获得的模拟或数字图像。图1-2(a)～(f)是几种不同成像传感器获得的数字图像。
　　图1-2 不同探测系统下的图像
　　若不考虑前端成像系统，仅考虑后端的信号处理，则光电图像处理也即为数字图像处理。
　　1.1.2 数字图像的分类
　　按数字图像信息表示方式的不同，可以将数字图像分为矢量图(vector-based image)和位图(bit-mapped image)。矢量图是用一个系列计算指令来表示一幅图，如画点、画线、画曲线、画矩形等。这种方式实际上是用一个数学表达式来描述一幅图形，然后通过计算机编程来实现。矢量图文件数据量小，图像进行缩小放大时不会失真，很容易做到目标图像的移动、旋转、拉伸和复制。然而对于结构成分复杂的图像，如自然风景等，就很难用数学表达式来描述。位图则是指由一系列像素(pixels)构成的图像，每个像素是由亮度、色度等参数来描述，位图在数字图像处理中的应用十分广泛。矢量图和位图最大的区别在于，矢量图处理的对象是由数学表达式描述的形状，而位图处理的对象是像素。习惯上，我们有时把矢量图称为图形，位图则称为图像。
　　按图像携带的视觉信息类型不同，可以将数字图像分为灰度图像和彩色图像。灰度图像只包含亮度信息而没有色彩信息。灰度图像又可以根据灰度等级的数目划分为单色图和灰度图：单色图的每个像素只用1位(bit)表示，要么为1，要么为0，即图像只有两种颜色；灰度图的每个像素用1个字节(byte)表示，灰度等级为 级。彩色图像除了亮度信息之外，还包括了色彩信息。根据颜色的数目不同，彩色图可分为256色图像和真彩色图像( 种颜色)，用真彩色表示的图像文件很大，需要较大的存储空间和传输空间。
　　1.1.3 数字图像处理的特点
　　数字图像处理的特点可以概括为以下几个方面：
　　(1)数字图像信息量大。图像用数字形式进行存储和处理，在没有压缩的情况下，对存储空间和处理速度的要求都比较高。以黑白图像为例，每个像素的灰度级通常用8bit来表示，那么一幅大小为256×256个像素的图像需要64KB的存储空间，对于具有更高分辨率的图像，如图像像素数为512×512、1024×1024，此时图像的数据量分别为256KB和1MB。彩色图像的数据量就更大了，一幅分辨率为1920×1080的彩色图像需要6075KB (约6MB)的存储空间。对于30帧/秒(fps)1080P的电视图像，则每秒要求大约180MB的数据量。要对这样大信息量的图像或视频进行处理，对计算机的内存、处理速度都提出了挑战。
　　(2)数字图像中各个像素之间的相关性强。在一幅图像中，各个像素不是独立的，很多像素有相同或相近的灰度，通常认为可以用一个像素周围小区域内的多个像素点的灰度对它进行预测。据统计，在电视画面中，同一行中相邻两个像素的相关系数可达0.9以上。同样的，相邻两帧图像之间的差异很小，具有很强的相关性。正是这种像素之间的强相关性，为图像压缩提供了理论基础。
　　(3)数字图像处理占用的频带较宽。与语音信息相比，占用的频带要大几个数量级，所以在成像、传输、存储和处理的各个环节的实现上，技术难度相对较大。
　　(4)数字图像处理系统受人的因素影响较大。尽管深度学习等技术的出现进一步推动了人工智能(AI)的发展，解决了以往很多难以解决的问题。但AI的现有水平距离人脑还相差甚远，因此在图像分析、识别、判断的过程中，还离不开人的决策。实际上，人的视觉系统很复杂，受到环境、情绪、经验、主观意识等多种因素的影响，必然影响到数字图像处理的最终结果。
　　1.2 数字图像处理的起源与发展
　　20世纪20年代，图像处理技术首先应用于信息的远距离传输。当时通过巴特兰电缆图片传输系统从伦敦到纽约传输一幅图片，采用了数字压缩技术。从当时的技术水平来看，传送一幅不压缩的图片大约需要一星期的时间，而经过压缩后仅用了3小时。为了用电缆传输图片，首先使用特殊的打印设备对图片编码，然后在接收端重构这些图片。早期的巴特兰系统可以使用5个不同的灰度级来编码图像。到1929年，这一能力已增大到15级。在这一时期，由于引入了一种使用编码图片纸带调制光束而使底片感光的系统，因而明显地改善了还原过程。
　　数字图像处理的历史与数字计算机的发展密切相关。事实上，数字图像要求非常大的存储和计算能力，因此数字图像处理技术的发展必须依靠数字计算机及数据存储、显示和传输等相关支撑技术的发展。而计算机及相关技术的发展可以归纳为如下几点：①1948年，美国贝尔实验室发明晶体管；②1950～1960年，FORTRAN/COBOL编程语言相继问世；③1958年，美国德州仪器公司发明了集成电路(IC)；④20世纪60年代，早期操作系统诞生；⑤20世纪70年代，早期Intel公司开发了微处理器；⑥1981年，IBM公司推出了个人计算机；⑦自1958年**块集成元件问世以来，元器件的逐渐小型化，大规模集成电路(LSI)、甚大规模集成电路(VLSI)和超大规模集成电路(ULSI)逐渐出现。伴随着这些进展，数字图像处理的两个基本需求——大容量存储和显示系统领域也随之快速发展。
　　20世纪60年代初，世界上**台足以执行有意义的图像处理任务的大型计算机出现，并用于空间探索项目的开发，这标志着数字图像处理走向实用化时代的到来。1964年，美国喷气推进实验室(Jet Propulsion Laboratory，JPL)首次将数字图像处理技术成功应用于探月工程，采用IBM 7049计算机对“徘徊者七号”太空飞船发回的4000多张月球照片进行处理，使用了几何校正、灰度变换、去除噪声等技术，并考虑了太阳位置和月球环境的影响，由计算机成功绘制出月球表面地图，获得了巨大成功。在以后的宇航空间技术领域，如对火星、土星等星球的探测研究中，数字图像处理都得到了广泛的应用。20世纪60年代末和70年代初，计算机层析(CT)、X射线透射成像等图像处理技术也开始应用于医学成像、地球资源探测、遥感遥测和天文学等领域。
　　从20世纪60年代至今，图像处理技术一直在不断向前推进。科学家们通过图像处理来增强对比度或将灰度图像编码为彩色图像，以便应用于工业、生物科技等领域中的X射线和其他图像的解释。在地球科学及遥感领域，学者们使用相同或相似的技术，从航空和卫星成像中研究大气及环境污染模式。在考古学领域，使用图像处理方法也已成功复原了模糊图片。在物理学及其相关领域，通常利用计算机处理和增强如高能等离子和电子显微镜等领域的实验图像。
　　1.3 光电图像处理的主要内容
　　光电图像处理所包括的内容十分广泛。就研究目的而言，大致可以分为图像预处理和图像分析两大类。图像预处理通常是为了改善图像的质量，使图像中的某部分信息更加突出，以满足某种应用的需要；图像分析则是从图像中提取有用信息，满足应用需求的过程。具体包括以下内容：
　　(1)图像增强。由于成像系统是一个高度复杂的系统，图像在产生和传输的过程中总会受到各种干扰而产生畸变和噪声，使得图像质量下降，而图像增强正是为了提高图像的质量，如抑制噪声、提高对比度、边缘锐化等，以便于观察、识别和进一步的分析处理。增强后的图像与原图像不再一致，也许会损失一些有用信息，但如果这些信息是人眼无法感知的，这样的处理就是合理的。
　　(2)图像变换。图像变换的方法包括傅里叶变换、离散余弦变换、沃尔什-哈达玛变换、小波变换等。图像从空间域转换到变换域后，不仅可以减少计算量，而且可以获得更加有效的处理。如小波变换在时频域具有良好的局部化特征，在图像编码、图像融合中获得了广泛而有效的应用。
　　(3)图像复原与重建。大气湍流、摄像机与被摄物体之间的相对运动都会造成图像的模糊。图像复原是指把退化、模糊了的图像尽可能地恢复到原始图像的模样，它要求对图像退化的原因有所了解，建立相应的“退化模型”，再采用某种滤波方法，恢复或重建原来的图像。
　　(4)图像编码与压缩。图像编码与压缩主要是利用图像信号的统计特性和人类视觉的生理学及心理学特性，对图像信号进行编码，有效减少描述图像的冗余数据量，以便于图像传输、存储和处理。图像压缩在我们的日常生活中随处可见，如一些视频文件都采用了MPEG-4 技术进行压缩，在满足一定保真度的前提下，大大减小了存储空间，常见的JPEG 文件也都采取了压缩编码技术，减小了文件的字节数从而有利于图像的传输。
　　(5)图像分割。图像分割是将感兴趣的目标从背景图像中分离出来，便于提取出目标的特征和属性，进行目标识别，为最终的决策提供依据。图像自动分割一直是图像处理领域中的一个难题，尽管人类视觉系统能够将所观察的复杂场景中的对象一一分开，并识别出每个物体，但利用计算机进行图像分割往往还需要人工干预才能有效实现。
　　1.4 图像处理系统及应用
　　1.4.1 数字图像处理系统
　　数字图像处理日益广泛的应用促进了处理系统硬件设备的研制与开发。目前大型的专业化图像处理系统很多，集中在 高等学校信息与通信工程、电子科学与技术、生物医学工程、计算机科学与技术、软件工程及相关专业本科生与研究生，从事光电工程、图像处理、数字视频与通信、计算机应用、机器视觉及人工智能等领域的科技人员