ISP图像处理流程前言ISP图像处理流程总结参考

93 阅读 0 评论 62 点赞

我是靠谱客的博主落寞帅哥，最近开发中收集的这篇文章主要介绍ISP图像处理流程前言ISP图像处理流程总结参考，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

文章目录

前言
ISP图像处理流程
总结
参考

前言

因工作需要，今天看了ISP图像处理的基本流程，为了检验自己的理解情况，这里根据自己的理解写下这篇文章，如有错误，敬请原谅！

ISP图像处理流程

ISP(Image Sensor Process)图像处理流程如下：

DPC(Defect Pixel Correction):坏点矫正，图像中每个pixel在芯片上对应一个点，正常情况下，该点数值与照射到该点的光强成正比关系，我们把不符合前面正常情况的点成为坏点。常见的坏点有亮点，即该点数值比正常数值大；暗点，即该点数值接近0；这两类坏点也可称为静态坏点，与之相对，还存在动态坏点。动态坏点一定条件下是正常的，超过这一条件则变得不正常。对于亮点，我们可以在全黑环境中检测出来，它的值比其它点要高；对于暗点，可以在亮的环境检测出来，它的值比其他点要小。坏点一般是由于芯片制造工艺过程中产生的，通俗点说就是坏点数值异于常值。坏点矫正一般取周围像素的中值或者均值来替代该点值。
BLC(Black level Correction): 黑电平矫正，因为sensor有暗电流，当光线通过lens(镜头）穿过Bayer滤镜照射到sensor上时，sensor会将光信号转换为电信号，这时就会有电压产生，这个电压包含了sensor本身产生暗电流的电压，所以去除该黑电平后才是真正的图像数据。该暗电流不是固定不变的，和sensor本身的温度和增益有关，温度越高或者增益越大，黑电平越高。一般会在芯片上预留位置获取黑电平数据。黑电平可以在RAW域去噪前完成，这样得到图像更加清晰；也可以在RAW域去噪后完成，这样得到的图像噪声更好。另外，黑电平减的多，会造成图像偏绿；黑电平减的少，会造成图像篇紫红；
Denoise: 降噪，噪声一般表现为像素值较周围像素差异很大的孤立点或者区域，比如椒盐噪声，通常降噪方法在去除噪声的同时，会造成边缘模糊，比如均值滤波，高斯滤波等；
LSC(Lens shading Correction): 镜头亮度矫正，因为镜头的关系，一般对应镜头中心轴附近的sensor像素点获得的光照较多，得到的图像亮度较高，远离中心轴的像素点得到的光照较少，因此图像的亮度较暗，最终呈现的图像就是一个圆形图像，中间亮度高，远离中心亮度低。LSC的目的就是均匀光照，使图像中心与远离中心的亮度相同；
AWB(Auto White Balance):自动白平衡，就是在不同光照条件下使本来是白色的物体还是显示出白色。一般在低色温（暖色温）环境下，白色呈现出偏黄色，在高色温（冷色温）环境下，白色呈现偏蓝色。常用的矫正方法包括灰度世界法，完美反射法（还没有研究过这些方法）。
Demosica：颜色插值，我们从bayer滤镜得到每一像素值仅包含单一颜色值，这一步骤的目的就是使一个像素点包含R/G/B三个颜色值，人眼一般对绿色更加敏感，所以绿色像素个数是其它颜色的2倍。
CCM(Color Correction Matrix): 颜色矫正，这里主要是对除白色外其它颜色的矫正，我们人眼获得的颜色信息和sensor直接获得的颜色信息是有差别的，因此需要一个 $3 \times 3$ 的颜色矩阵来进行矫正，据了解，可通过相机拍摄的场景图像和标准场景图像经过计算得到这个颜色矩阵，详细的后面还会继续学习，然后再分享给大家。
Ygamma: 这里指的是gamma亮度矫正，以前显示器端亮度与电流强度是非线性关系，所以引入gamma曲线来矫正亮度，后来显示器端工艺做到了线性关系，但是由于gamma曲线能够较好的显示图像暗区域信息，所以还会在camera中使用gamma矫正来对图像亮度、对比度和动态范围做调整。
EE: 锐化，当图像锐度不够时，一般图像就比较模糊尤其是物体边缘，看不清晰；当锐度过大，很明显看到图像物体边缘有锯齿等。
CSM(Color space Matrix):色彩空间转换，通过该矩阵实现颜色空间的转换，比如RGB到YUV。