昨天,OPPO正式发布首款自研NPU芯片——马里亚纳MariSilicon X,这颗芯片采用台积电6nm工艺和DSA新黄金架构,集成自研的MariNeuro AI计算单元以及MariLumi影像处理单元,在设计之初就将AI和图像处理进行了融合,相比传统的ISP有更高灵活性和更高性能,用计算摄影突破手机影像功能的极限。

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(1)

在此之前,小米和vivo也都推出过自研的ISP芯片。问题来了,为什么现在手机厂商这么热衷于ISP的研发,这个模块对成像来说到底有多重要?

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(2)

简单来说,ISP(Image Signal Process, 图像信号处理器,又称成像引擎)是手机拍照/摄像流程中的核心单元之一。一张照片,一段视频,最终呈现的色彩和细节都取决于它。

ISP所扮演的角色

当你按下手机相机APP的(虚拟)快门进行拍照或录像时,就会自动进入一场“视觉处理的接力赛”。

首先,光线通过镜头进入相机模组内部,经过IR Filter过滤红外光,然后到达CMOS传感器。这个时候,CMOS会将光学信号转换为电信号,再通过内部的ADC电路转换为数字信号,然后传输给ISP进行加工处理,再经历AI单元的一轮智能成像算法优化后,最终才能生成肉眼可见的图片或视频文件。

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(3)

问题来了,镜头和CMOS在将光学信号转化为由0、1、0、1组成的数字信号时可能存在细节上的遗漏和错误,而ISP单元的主要任务就是进行“纠错”、“校验”和“补偿”。

这就好比让你用英文翻译一段中文成语或谚语,需要翻译官具备足够的文学素养,才能用英语准确表达出中文语境的博大精深。没错,此时ISP扮演的就是“翻译官”的角色。

细数ISP的补偿任务

智能手机的镜头是由5片起步的镜片、滤光装置、马达、陀螺仪等部件构成,“透光率”是权衡镜头性能的重要指标。

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(4)

通常手机主摄的镜片数量要多于副摄镜片数量

CMOS更是核心部件,传感器尺寸、像素值大小、RGGB或RYYB滤镜结构、单位像素面积、多像素合一技术等等都会影响它的性能。

换句话说,镜头和传感器本身都存在物理缺陷,从7P→8P的镜头到IMX586→IMX700的CMOS,不断的迭代升级只能无限趋近完美,而这就意味着经由它们转化而来的数字信号的原始数据(raw data)都是不完美的。

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(5)

CMOS传感器尺寸越大,理论上其成像底蕴就越好

另一方面,当我们进行拍照或视频录制时的环境光线条件多种多样,需要镜头和CMOS像人眼瞳孔缩放那般适应环境明暗。

作为翻译官的ISP,其主要任务就是对存在物理缺陷的原始数据进行优化补偿,并还原出最符合我们预期的明暗效果,比如防止逆光时过曝,看清暗光时的画面细节等。ISP是由很多功能模块构成,下面我们就简单介绍一下ISP的功能模块以及需要补偿的部分内容:

BLC:黑电平校正

数字信号对纯黑的原始数据定义为0。但由于CMOS存在“漏电流”的缺陷,将镜头放入一个纯黑的环境时,经过镜头和CMOS输出的原始数据却不为0。此时,就需要ISP内的BLC(BlackLevel Correction)模块登场,通过对所有像素减去特性的矫正值,获得一个矫正成功的结果,这一过程即黑电平校正,让原始数据可以显示纯黑画面。

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(6)

LSC:镜头阴影校正

在拍照/摄像时,通过镜头到达CMOS中间的光通常要比到达CMOS边缘的光多,导致CMOS捕获的图像中间亮度高,周围边缘亮度低,容易形成所谓的“渐晕”问题。此时,ISP内部的LSC(Lens Shade Correction)镜头阴影校正模块就开始插手了,它会检测出图像中间亮度比较均匀的部分,并以此为基准,计算出周围区域需要补偿的因子。

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(7)

Bayer Denoise:降噪模块

除了ADC器件以外,包含模拟部分的CMOS感光器件在信号的传输中也存在一定的噪声,拍摄环境的光线越暗,就越需要放大信号,从而产生更大噪音,落实到成像环节就是照片或视频画面中出现大量彩色雪花状的噪点。ISP内的Bayer Denoise降噪模块可通过多级滤波,显著降低信号中的噪声,减少成像噪点。

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(8)

BPC:坏点校正

CMOS传感器属于物理器件,在长时间使用过程中难免出现坏点。ISP中的BPC(Bad Point Correction)坏点校正模块会自动进行坏点检测,找到坏点后则可通过中值滤波替换原来的值,从而纠正坏点,避免在全黑画面中出现彩点和亮点,抑或在纯白画面出现彩点和黑点。

Demosaic:颜色插值

CMOS传感器本身其实是个“色盲”,如果只靠它输出的照片都是黑白的,想要记录颜色,还需要搭配一个名为Bayer(拜耳)色彩滤波阵列(Bayer Color Filter Array,CFA)的滤光板,并将其覆盖在一个感光板上。Bayer色彩滤波阵列的结构主要以RGBW、RWWB、RGGB和RYYB为主,但由于拜耳阵列中的每一个像素只能采集一个颜色通道信息,另外两种颜色信息需要通过插值算法,结合相邻其他颜色的像素信息才能组成一个完整的色彩,这个有点类似于“去马赛克”的过程,就需要依靠ISP内的Demosaic插值算法模块实现。

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(9)

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(10)

AWB:自动白平衡

人脑的视觉系统可以自我修正,无论是阴天、晴天、室内、室外、白炽灯还是日光灯下都能识别出准确的白色,不会受到光源颜色的影响。但是,CMOS传感器却不具备这一特性,一张白纸在不同光源下输出的颜色存在偏差,比如低色温(如白炽灯)偏黄,高色温(户外阳光)偏蓝。这个时候,ISP中的AWB(Automatic White Balance)自动白平衡模块就能通过检测色温→计算增益→色温矫正这套流程自动校色,从而准确记录不同色温光线下的白色物体。

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(11)

CCM:颜色校正

CMOS传感器各颜色块之间因颜色渗透可能产生颜色误差,因此经CMOS获取的图像与我们期望的颜色之间存在偏差。前面提到的AWB可以矫正白色,而CCM(Color Correction Matrix)颜色矫正模块则可校准除白色以外其他颜色的准确度,比如提升颜色饱和度,让画面色彩更艳丽。

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(12)

AEC:自动曝光

光照强度会因时间和场景出现变化,人眼由于有着一定的自适应能力,可以根据光照变化作出及时的调整,但CMOS传感器却不具备这个能力。为此,就需要使用ISP中的AEC(Automatic Exposure Control)自动曝光模块根据光照强度自动调节曝光时间,并在必要时进行一定的曝光补偿。

HDR:高动态范围

自然界中的光照强度非常宽,但人眼对高亮度和极暗环境下的细节分辨能力却相对较窄,CMOS传感器能记录的范围则更窄,因此经由后者输出的画面极易丢失高亮和极暗部分的细节。ISP中的HDR高动态范围模块就是为此而生,它能通过Tone Mapping(色调映射)的方式,将像素值在特别暗的区域拉高,在特别亮的区域拉低,从而显露出高亮和极暗部分丢失的画面细节。

oppo 最新技术(趁着OPPO发布影像专用NPU的机会)(13)

除了上述功能以外,ISP还包含RGB Gamma(伽玛校正)、RGBToYUV(色彩空间转换)、Color Denoise /Sharpness(色彩去噪/锐化)和Auto Focus(自动对焦)等模块。需要注意的是,上述都仅是ISP的基础功能,不同的ISP(包含独立芯片和SoC集成的ISP模块)可能会引入独有的或更强的特色功能。

虽然高通骁龙和联发科天玑等5G SoC内部已经集成了性能不俗的通用ISP,但它们很难100%匹配手机厂商自家的AI算法,因此通过自研ISP(NPU)来匹配自家的AI算法,自然就成为了手机厂商的突围之路,可以在硬件趋于同质化的当下实现更讨好用户审美的成像效果。

,