一般来说,当用户在按下手机相机快门时进行拍摄时,这时候手机内部的整个成像过程就会相当于是一场“视觉处理的接力赛”。 当外部光线进入到CMOS传感器上并得到原始RAW信息后,SoC中的ISP就会进行解马赛克,通过它邻近的像素把另外两个颜色分量给插值出来,得到一张颜色完整的RGB图片,最后再进行降噪、美颜、虚化等后续的图像增强算法来调整。

手机芯片工作原理及结构(一文细说手机相机的出片原理)(1)

(素材源自@ZEALER)

然而,ISP在当中进行信息转换时,难免会造成一些信息的损失,进而导致最终成像的画面细节有一定的丢失。因此,厂商也对于这一常规的成像步骤也不断地琢磨着优化新方向,希望打造出更为高质量的成像效果。像是OPPO Find X5 Pro就选择了在CMOS与ISP之间加入一枚自研NPU芯片马里亚纳X,直接对原始RAW信息来做降噪、美颜等算法增强,处理完再放入骁龙8的ISP当中进行解马赛克,最终获得一张颜色完整的RGB图片,过程中可以说是有效的减少许多信息损耗。

手机芯片工作原理及结构(一文细说手机相机的出片原理)(2)

(素材源自@ZEALER)

那么,OPPO这枚NPU芯片究竟能给具体的拍摄带来怎样的效果提升呢?就像数码媒体@ZEALER 所说的,马里亚纳X“最大的用处是为了跑一个夜景视频降噪的算法”,为这一极其考验算力水准的环节带来更强的算力支持。毕竟给视频做优化并不像是给照片做单帧处理这么简单,画面帧率会给图像处理带时间的硬限制,超过了就会使得拍摄视频出现掉帧情况。另一方面,夜景视频在降噪时还需要考虑时域的维度,引入前后几帧来让画面看起来更为连贯,否则噪点会出现抖动的现象。

手机芯片工作原理及结构(一文细说手机相机的出片原理)(3)

(素材源自@ZEALER)

所以,这当中就很需要更强的AI算力支持以完成整个信息处理过程,马里亚纳X的AI算力最高可以达到每秒18万亿次AI计算会是一大保障。像是在OPPO Find X5 Pro相机里,4K以及AI增强是可以同时开启,在夜景场景中更能体验到AI高算力对于噪点控制、高光压制的出色效果,足以解决上述所提到的掉帧以及噪点抖动问题,提高夜景视频的成片效果。

手机芯片工作原理及结构(一文细说手机相机的出片原理)(4)

为此,我们不妨从一些实际的夜景视频表现来看,将OPPO Find X5 Pro与iPhone 13 Pro进行对比。能看出,在同样的4K 30帧模式下,iPhone的画面风格趋于真实,而OPPO Find X5 Pro这边的画面噪点会更低一些,画面更加纯净。甚至在极夜环境下,Find X5 Pro画面的亮度优势更大,噪点更低,而且阴影部分的细节也能得到保留,纯净度也同样很出色,这些表现都比iPhone的具体效果要更为出彩,在夜景视频这一块着实带来了很不错的体验升级。

手机芯片工作原理及结构(一文细说手机相机的出片原理)(5)

(素材源自@会长YES )

手机芯片工作原理及结构(一文细说手机相机的出片原理)(6)

(素材源自@会长YES )

除了带来超高的AI算力支持以外,采用6nm先进工艺的马里亚纳X芯片,也足以在功耗上带来很不错的优势,进而帮助手机实现一些本身为了省电而自行限制住的功能,最典型的莫过于第三方App的相机体验效果。一般为了不造成过多耗电,像是微信视频是不会调用所有图像增强算法,这就导致拍出来的画质会颇为糟糕。而马里亚纳X芯片由于在画面进入ISP之前就已经对其做好了增强,在功耗可控的情况下开放一部分增强算法,实现芯片级APP相机增强,足以体验到原生相机的成像质量。

手机芯片工作原理及结构(一文细说手机相机的出片原理)(7)

不得不说,OPPO Find X5 Pro的这枚6nm工艺的NPU芯片马里亚纳X,给手机的成像提升确实是显而易见的,尤其是对夜景视频这种“硬骨头”带来了更为亮眼的AI算力加持,以更好的解决一些常见的夜景视频痛点。由此可见,如今安卓手机通过机内介入算法芯片的硬件级方案确实是可行的,有效地提升自身的垂直整合能力,实际体验中能给到用户正向的反馈,带来了全新的影像思路以及新玩法,很值得继续深化发展!

,