微积分的诞生和发展历程简短(用微积分思维解读帧率)(1)

先声明,我可不是要教大家列微积分方程,或者解析物理上的难题。而是用一种古老并且直白的思维方式,来教大家理解“画面”这个词语,而理解画面的钥匙,就是“帧率”。

帧率这个概念,跟无声电影(也就是默片)的出现直接相关,在无声电影被发明出来之后,科学家们开始关注“人类视觉”这个生物学范畴的问题。

简单来说,人类的视觉系统对外界的感知存在极限,这个极限受到两方面的影响:一是眼睛的视觉极限,二是大脑中视觉中枢对于视觉信息的处理极限。

无声电影的原理,其实就是播放连贯的图像,如果你见过早期的电影放映机就会知道,那些微缩胶卷每秒钟划过投影灯的画面个数就是帧率。在无声电影发展的早期,帧率一般在16——24之间,这个时期的视频画面虽然在视觉上呈现出连续性,但却因为低帧率造成失真的感觉,从而给眼睛带来很大的负担。

微积分的诞生和发展历程简短(用微积分思维解读帧率)(2)

电影放映机

帧率的二维解读:人们为什么倾向于高帧率?

我们可以先做一个假设:

假设客观世界的真实帧率为 ∞,视觉系统对帧率的感知极限上限为1000(或者说能感知1000Hz的画面),下限为15。

我们对以上设定中的几个名词或数字进行简单的说明:

1) 客观世界其实不存在帧率,因为它是完整信息的呈现,所以基于微积分思维,现实世界的二维呈现,其实就是无数个连续画面相叠加的极限状态下的整体。

2) 视觉系统不仅包括眼睛,还包括视觉中枢,用数码行业的术语来说,就是包含摄像装置和处理装置。

3) 一旦画面帧率超过感知上限,比如说达到1200帧/秒,我们的视觉系统并不会因此输出更多的视觉信息反馈给大脑。

4) 如果画面帧率低于下限,则我们会明显将这些画面视为单独存在的图片,而不是运动画面。

一旦确认感知上限,我们就可以建立数学模型,很简单的模型:

F(x)=k·x。

需要注明的是,k不是一个恒定不变的常数,所以这个公式在坐标图里显示出来的话不是正向线性图,而是类似于下图:

微积分的诞生和发展历程简短(用微积分思维解读帧率)(3)

这里边x就是帧率,F(x)就是感知到的画面信息量。

用更直观的微积分思维来说,假设客观世界的画面信息量为1,这个1在图像表现上并不是在每个时间点或空间点上均匀分布,那么如果想要获得更多信息量——尽可能逼近1,那就需要尽量细分。

微积分的诞生和发展历程简短(用微积分思维解读帧率)(4)

图片来自于网络

我们可以想象一下:假设客观世界运动画面信息量是一个二维图形P,现在我们用60个等宽度的图形去填充,那么它在图形P边缘留下的空隙假定是a;而如果用120个等宽度的图形去填充,那么它留下的空隙假定是b。

你会很容易对比得出一个结论:a>b。

换句话说,在第二种情况下,流失的信息量更少。

而如果用15个等宽度图形去填充,就会出现一个尴尬的情况,因为这个宽度代表的其实是时间,一个单位的宽度实质上就是1/15秒,而人眼对静止画面的识别极限就在这里,如果超过1/15秒,我们就会很轻易地将这一帧画面视为静止画面。

并且我们看到的静止画面,在理论上帧率为0,因为它不存在时间线上的变化。

超过15,并且不到30帧之间,按照微积分思维,它们流失的画面信息量就比较多,这个时候眼睛和视觉中枢就会超负荷工作,以达到我们大脑对画面信息量的需求门槛,更直白点说就是,视觉中枢交给大脑的东西不够数,所以它就需要多做,以弥补效率低下造成的后果。

所以低帧率的运动画面看久了,眼睛会比较疲劳,而对应的,高帧率的画面则会让眼睛处于更贴近自然的状态。

我们需要知道,人类的大脑经过长期的进化,已经适应了较高帧率画面所提供的信息量,举例来说的话,就像人一顿饭已经适应了吃两碗米饭,而视觉系统长久以来也能够提供这样的量,但一旦视觉摄取的信息量大量减少,人就像骤然间摄入减少,会引发血糖降低,而越贴近视觉感知极限,人吃的就越饱,状态自然也就更好。

所以对于现在众多电子产品的屏幕高刷新率浪潮,这其实是一种取悦生理的功能,但得益于人们“由俭入奢易、由奢入俭难”的本性,这种功能肯定很有生命力。

微积分的诞生和发展历程简短(用微积分思维解读帧率)(5)

帧率的三维延伸:球面屏和三维信息模型

基于帧率这个概念,我也做过一些延伸思考,或许对于以后的屏幕技术、VR/AR技术的理解上会有一些启发。

首先我们要了解一点,帧率中的每一帧图像是二维结构,单单对某一帧来说它没有时间属性。而运动画面则是一个“时间-平面”组成的三维结构,但它跟我们通常所说的三维结构不同。一般我们所说的三维结构通常指的是空间的三个维度,就像3D效果所呈现的那样。

需要指出的是,三维画面是无法在影布上真实呈现的,我们看的3D电影实际上是二维画面模拟三维空间信息在我们视觉系统中的处理流程而进行重新的排列,这些光学信息都在二维的银幕上分布,但在视觉处理过程中,因为这些信息被3D眼镜进行了分类,所以到最后输出的是3D信息。

微积分的诞生和发展历程简短(用微积分思维解读帧率)(6)

而实际上,大脑最适应的图像信息呈现模式就是三维立体图像,而现实中裸眼获取的信息也全都是三维信息。

换句话来说,真实的3D信息可能只能通过裸眼或者与裸眼相似的三维信息收集系统来获取。这是平面无法直接呈现的东西。

所以在未来,帧率这个概念必然会延伸到三维领域。

说到这里可能有的朋友就会想到VR设备,实际上VR的显示界面就属于三维屏幕,说白了,就是球面屏幕。

微积分的诞生和发展历程简短(用微积分思维解读帧率)(7)

曲面屏也属于三维显示界面

球面结构相对比二维结构,很明显更加复杂且立体,它能够呈现出更真实的运动画面中各类物质的空间关系和尺度。同样的道理,如果对球面屏幕呈现的信息建模,那么相比平面来说,它的图像信息在空间方面就呈现出三维特征。

我们还用微积分的思维来举例说明:

假设客观世界的画面信息量为1,这个1在图像表现上并不是在每个时间点或空间点上均匀分布,那么如果想要获得更多信息量——尽可能逼近1,那就需要尽量细分。

微积分的诞生和发展历程简短(用微积分思维解读帧率)(8)

可以以此作为模型,每个立方体上端无法突破边缘

设客观世界运动画面信息量是一个三维立体机构P,现在我们用横截面面积相等的N个立方体去填充,那么它在立体结构P边缘留下的空间假定是a;而如果用M个横截面面积相等的立方体去填充,那么P边缘留下的空间假定是b。

如果N>M,比如说N是10000,M是8000,那么可以推理得出,结果是a<b,也就是前者更逼近真实。

这里有一个概念已经发生了变化,那就是“帧”的概念。

之前每帧画面都是二维结构,而现在的每一帧画面则属于三维结构——它是一个立体图形。

所以这里的帧率相比之前平面屏幕的帧率,将发生巨大变化,最直观的体现就是,这个帧率的数字如果沿用现在的标准,将会比现在大得多。

也就意味着信息量的急剧增加,和GPU工作量的增加。

但是朋友们,我相信这才是超高清视频和全景视频在未来发展过程中的必经之地,我们在类似的三维结构屏幕前,才能真正感受到什么才是“身临其境”。

而这种技术需要的支撑,5G可以解决一部分(数据传输、云服务等),半导体的持续发展可以解决其他方面硬件上的问题。

一旦三维结构屏幕技术成熟,我相信新的移动设备革命也就不再遥远。

微积分的诞生和发展历程简短(用微积分思维解读帧率)(9)

电影头号玩家

以前我研究过手机屏幕的进化历史,从这段历史中我认识到一点:屏幕显示技术的发展内核其实就是人们对于图像信息逼真程度的极致追求。

从最早的CRT,到现如今的OLED、miniLED、AMOLED等。

从小屏幕到大屏幕,从低分辨率到高分辨率。

从静止图像到运动画面。

从普通清晰度到蓝光,再到高帧率。

从二维到三维。

人类一直在追求更逼真、更接近现实世界的视觉技术,而所有进化的基础,有时候可能就藏在这些基本的原理之中。而我们要做的,就是更早了解即将发生的一切。

微积分的诞生和发展历程简短(用微积分思维解读帧率)(10)

,