如今的智能手机拍摄,像素数被一再提及:多款机型早已搭载1亿800万像素的影像传感器,开始调教大底的成像;相关专利的曝光也在提醒着消费者,两亿像素的传感器已经在研发中……

骁龙865 前后五摄(像素大战的背后)(1)

更不用说被广泛采用的48MP和64MP传感器,似乎智能手机在用像素数量的堆砌宣示对于传统相机的颠覆。同时伴随着多摄系统的引入,手机在长焦端的实用性大幅提升;多颗摄像头的变焦接力与镜头切换让高像素发挥出效用。

当人们渐渐不再讨论手机能否超越相机的时候,手机成像却发生了翻天覆地的变化。原因就是CMOS尺寸有了巨大提升,客观上高像素具备成像细节层面无可比拟的优势;其次就是软件算法(包括夜景模式)乃至算法的载体硬件从根本上来说,变得不一样了。

驱动高像素的强力引擎——高通骁龙865

其实一亿像素最早出现在小米CC9 Pro系列上,彼时这款试验性质的高像素机型搭载的SoC还是高通骁龙730G,作为处理亿级像素运算量的核心,中端定位的SoC多少有些力不能及。所以不少用户反馈在一亿像素成像直出时,小米CC9 Pro会有转圈的图像处理过程。

骁龙865 前后五摄(像素大战的背后)(2)

而之后推出的三星S20 Ultra以及小米10系列,都鲜有类似的情况发生。并且即使搭载规格相近的主摄硬件模组,一亿像素“后来者”的成像素质都明显更好。从中不难得出结论,处理器的升级使得成像体验发生变化。

秘密就记录在骁龙865 5G移动平台的描述中:

骁龙865 前后五摄(像素大战的背后)(3)

与成像质量关联最大的部分为全新的Spectra 480 ISP,负责完成对感光元件输出的图像数据的传输与处理:打开快门,光线透过镜头、光圈折射并传递到摄像头感光元件(CMOS)上,传感器将数据传递到ISP进行处理。

骁龙865 前后五摄(像素大战的背后)(4)

计算摄影流程

Spectra 480 ISP支持硬件降噪功能,不仅仅是图像上的噪点控制,在视频上同样适用。其中MFNR代表多帧降噪,综合衡量夜景模式下的成像表现;ZSL表示零快门延迟,单镜头在30帧状态下输出64MP的图像。

作为一款“计算机视觉ISP”(CV-ISP),Spectra 480 ISP最高能够拍摄2亿像素静态图片、支持每秒处理20亿个像素,是搭载高像素机型图像处理的背后引擎。强悍的处理性能为运算提供了保障。

骁龙865 前后五摄(像素大战的背后)(5)

包括压缩比更高的HEIF格式在内(骁龙865对HEIF格式提供原生支持,可输出、保存并浏览HEIF格式图片)。Spectra 480 ISP在功耗降低16%的情况下,依旧能够实现画面细节增加高达18%,降噪处理能力提升40%的效果。其强大的算力直接表现在移动端的成像上。

第五代AI引擎加持骁龙865成就移动端成像

运算量上的增益对图像处理来所效果是肉眼可见的。传统的ISP每个时钟周期只能处理一个像素,骁龙865的Spectra 480 ISP每个时钟周期可以处理4个像素,处理速度提升4倍;此外硬件加速的引入,实现四单元CFA(色彩滤镜阵列)的硬件加速,在拍照的时候降低功耗,配合降噪算法,就实现夜景拍摄时的效果提升。

骁龙865 前后五摄(像素大战的背后)(6)

OPPO Find X2 Pro超清夜景3.0算法

高性能ISP搭配算法,曾使OPPO Find X2 Pro凭借双48MP的影像系统问鼎DxO。夜晚中缺乏照明的暗光环境一直都是手机夜景拍摄的难点,OPPO Find X2 Pro拍摄的照片却依旧可以做到良好的曝光度和色彩。在堆叠像素的当下,结合硬件特征的算法提升为手机拍摄指明了另外的迭代方向,而ISP就是背后的支撑。

骁龙865 前后五摄(像素大战的背后)(7)

骁龙865 前后五摄(像素大战的背后)(8)

OPPO Find X2 Pro超清夜景3.0算法

高通骁龙865对影像的增益还体现在对边录边拍的支持上。在影像录制方面已经有机型支持8K视频的录制,其次,Spectra 480 ISP支持在4K视频拍摄的同时能够输出全尺寸64MP的照片,这是业界首创,同时也需要强大的算力作为依托。

骁龙865 前后五摄(像素大战的背后)(9)

此外,骁龙865硬件上还支持4K/120帧的慢动作视频拍摄,并且在720P分辨率下能够无限时输出960FPS慢动作视频。此前,智能手机拍摄的慢动作视频时间是受限的,ISP对拍摄体验的提升不言而喻。

更重要的是,骁龙865搭载第五代AI Engine,AI性能是骁龙855的两倍多,成就了目前诸多旗舰机型在影像体验上的诸多玩法。例如第五代AI Engine下的语义分割,将整个图像或者视频分割为各个语义区域,针对各区域进行进行优化。

骁龙865 前后五摄(像素大战的背后)(10)

图片来源见水印

大家所熟知的小米10系列的魔法换天,就是在场景识别和计算摄影的直接体现。除了可以把一张静态图,变成动态的视频,还可以在天气不好时,直接改变所拍摄场景的天气状态,达到以假乱真的效果。

运用AI辅助进行人像拍摄同样是目前智能手机的拿手好戏,根据面部的状态实时美颜、人眼追焦乃至AI构图,则是能够完成纯“傻瓜式”的拍摄,提升图像体验。

骁龙865 前后五摄(像素大战的背后)(11)

对于日常使用来说,用户所不能察觉却意义重大的提升则是智能手机可以通过AI应用提升摄像头性能,在如今多摄情况下,手机能够完成平滑变焦,不仅仅是照片拍摄,视频的平稳切换镜头才是AI调整的重头戏。

引入AI处理之后,即可以实现左边这样的平滑变焦效果,可以在包括广角、超广角、长焦等多个摄像头之间实现平滑的光学变焦。

能效出众第五代AI引擎和ISP潜力待发掘

在智能手机的发展过程中,手机厂商想要自研独立ISP,对成像噪点、亮度乃至人像肤色进行定向算法优化并不是新鲜事,而目前安卓阵营高通自带的ISP的压倒性占比,原因就在于高通平台算法优化和成像的出色表现。

更重要的是,相较于过往平台对移动端AI算力方面的追求,高通骁龙865已经侧重于AI能效比方面的优化。考虑到移动设备计算能力、电池、存储空间等方面的限制,终端的AI运算,其实更注重运算的能效比。

针对现阶段移动端的AI运算,高通开发了深度学习带宽压缩的全新技术,对海量数据进行高达50%的压缩,而且这是一项完全无损的压缩技术,可以实现所有数据的精度不会有任何损失。作为业界首先搭载LPDDR5内存的移动平台,骁龙865在运行时可以释放更大带宽,将需要进入到芯片处理的数据压缩一半,节省电能、降低功耗。

诸项提升除了目前所能覆盖的移动端拍摄场景,其无损压缩与功耗优化能够支持用户手中的设备实现长久的“发光发热”。Spectra 480 ISP加上第五代AI Engine能够实现的应用,才是骁龙865对用户拍摄体验的提升。

结语

相较于镜头数量以及像素量级的“显性”提升,ISP对成像的增益似乎被忽略了,而且AI对于拍摄的优化也并不被大众熟知,而实际上伴随着高通骁龙865-5G移动平台性能的跃进,与之配套捆绑的“隐性”提升,才是像素大战背后的驱动因素。

,