计算式散景评鉴:我们如何测试智能手机的人像模式

现代智能手机摄像头得益于双摄像头或多图像堆叠等创新技术,已经可以在许多领域与传统摄像头相媲美,再加上它的超级便携性,也难怪智能手机不仅在业余纪录片、风景和街头摄影者之间大受欢迎,就连一些专业摄影师和记者有时也会使用自己口袋里的手机来拍摄有偿作品。

然而,迄今为止,人像仍然是数码单反相机和其他大型传感器相机系统专美于前的领域。人像摄影通常将拍摄对象置于一个模糊的焦外背景前,以凸显人物。在物理定律下,只需将一个大光圈镜头安装于配备有全帧型图像传感器的相机,即可轻松实现这种效果。反观智能手机却必须奋力模糊图像的背景,因为其图像传感器较小,产生的景深范围几乎无限远,因此智能手机拍出的背景通常与拍摄对象本身一样清晰,所以,即使对于非摄影专家来说,数码单反相机和智能手机拍出的人像之间的差异也是显而易见的。

左侧的人像照片是用入门级数码单反相机拍摄的,其他照片则是由智能手机拍摄的。第一张智能手机图像的背景清晰,无法凸显拍摄对象。第二张照片是用搭载远摄副镜头的手机拍摄的,因此人像的透视效果更好,但背景仍然非常清晰。第三张智能手机图像添加了计算式散景以达到与数码单反相机非常接近的效果。

也就是说,智能手机制造商正在研发算法来模拟数码单反相机和镜头的浅景深和散景效果,使得目前的情况逐渐改观,因此我们决定在新版DxOMark Mobile评测基准中纳入这项新功能的测试。我们在一个实验室设置中测试浅景深模拟(即所谓的散景模式),然后检查散景的质量(景深、形状),以及隔离拍摄对象时所造成的伪像。在本文中,我们描述了测试智能手机的计算式散景的方法,如果您想深入了解更多详情,请在这里下载我们关于这个主题的科学论文。有关用于计算式散景处理的技术及其对摄影性能的影响的更多详细信息,请阅读我们智能手机成像的颠覆性技术一文。

散景是什么?

散景最初是指图像焦外的模糊部分的美感特质,尤其是焦外的光点,散景不像景深拥有精确的定义,光圈的光阑片、光学晕影、球面和色像差都会影响镜头的散景效果。最近,这个术语已经成为焦外模糊的代名词,而且通常包括焦外光点的大小,这些光点的半径越大,散景效果也就越强烈。

智能手机的计算式散景

当前一些高端智能手机配备了第二个后置摄像头来模拟数码单反相机的散景和浅景深,其等效焦距为35毫米,比主摄像头的焦距更长。然而光是加长镜头的焦距并不能产生像数码单反相机那样的散景效果,因为它虽然可以显著改善摄影的透视效果,但其景深范围却可能比主摄像头还要大。这是因为智能手机制造商必须使用非常小的图像传感器和光圈,将具有更长等效焦距的镜头挤压到现代智能手机的纤薄外形中,从而有可能使远摄镜头的景深范围达到主摄像头的两倍之多。

在人像模式下拍摄时,苹果公司的iPhone X使用了第二个远摄镜头并与成像算法相结合。

因此智能手机需要使用高级图像处理的算法来生成背景模糊。然而,这种做法实际上存在着一些困难,因为只有在很少数的场景中拍摄对象和背景是分别在两个对焦平面上可以截然分开,除此之外,它在大多数情况下都需要景深图方能实现拍摄对象和背景的隔离,因此高质量的景深图对于生成没有伪像,且看起来很自然的散景效果至关重要。

然而创建景深图也只是故事的一部分而已。因为除了景深图之外,它还必须以令人信服的方式将模糊应用于焦外区域,这可比单纯地应用高斯模糊并将景深作为其半径参数要复杂许多。例如,在光学散景中,场景中的光点通常不是模糊的,而是大致呈现镜头光圈的形状(通常为圆形)。在模糊分散观者注意力的背景细节时,这些光点可不怎么好看,但观者都已习惯于这种特殊的现象,而且将其当成专业摄影和电影的特色了。

另一个例子是在焦外区域的反射高光。在光学散景中,图像传感器的尺寸较大,因此反射高光造成的模糊点可以落在许多像素上。但是在智能手机上,这些反射高光只能集中在几个像素上,使得像素趋近饱和,从而损失了高光位的真正强度。

具有50毫米f/2.8镜头的全画幅数码单反相机的焦外光点(a)与没有计算式散景的智能手机(b)、出色的计算式散景(c)以及受图像处理所造成的伪像影响的计算式散景(d)之间的比较。

智能手机制造商已经想出了许多办法和技术来生成计算式散景,其中包括焦点堆叠、动态结构组合、双摄像头(立体视觉)、双像素,甚至采用了专用的景深传感器,因此DxOMark希望推导出一种测试方法,以便在所有测试过的智能手机(包括过去测试过的智能手机)和数码单反相机之间进行比较。

DxOMark的散景测试方法:感知评鉴

在开发先前的测试方法时,我们发现,人类的视觉系统才是用于评鉴复杂图像元素(例如人体皮肤上的颗粒或头发的纹理)最可靠、最强大的“工具”。然而,使用人类的视觉感知来评鉴图像质量的一大缺点在于缺乏可重复性。通过提出明确的问题来降低评鉴的复杂性,这种方法可以大大提高可重复性,使感知评鉴产生高度可重复的结果。

例如,评鉴噪点时,我们会在实验室场景中呈现一个特定的细节,并要求专业人员评估噪点(而且只有噪点而已)与一系列参考图像之间的差异。除此之外,对场景中的几个细节重复进行测试也可以进一步提高可重复性。这种“实验室场景测试法”结合了传统测试图表的可重复性和人类感知的可靠性来拆解各种图像处理的花招,与纯粹基于测试图表的评鉴相比,它可以更好地反映现实世界的图像质量。

DxOMark Mobile散景测试设置(a):场景1(b)具有两个可调平面。场景2(c)中的景深持续改变。
手机、拍摄对象和背景之间的距离可以根据不同的视野来调整,以便在不考虑等效焦距的情况下,比较拍摄对象/背景之间的分离效果。

在散景测试和评分方面,我们使用了上图所示的三维测试场景以及下面的评鉴标准,将“实验室场景测试法”应用于计算式散景的问题上:

  • 拍摄对象/背景分离:精确地分离拍摄对象和背景是获得近乎数码单反相机效果的关键。目前的设备受到景深图的解析度太低的影响,因此会出现边缘不精确和景深估计错误的情况。景深估计错误通常会导致背景出现清晰的区域和/或拍摄对象上出现模糊,特别是在拍摄移动场景时更是如此。
  • 等效光圈:观察计算式散景时,等效光圈不再取决于相机的物理特性,而是取决于应用的图像处理。我们通过比较测试场景中某些区域的模糊程度与不同光圈下的全画幅单反相机的模糊程度来估算等效光圈值。
  • 模糊渐变:模糊强度应随景深大小而变化。基本人像可能只包含两个大致平行于图像传感器平面的平面,但大多数的场景都具有更复杂的三维构图,因此,平滑的模糊渐变对于生成近乎数码单反相机的散景效果至关重要。
  • 噪点一致性:更详细地观察计算式散景图像时,可以观察到计算模糊的区域完全没有颗粒,这是计算模拟的一个有趣的副作用。由于模糊是一种众所周知的去噪技术,出现这一现象并不令人意外,但是这会使散景看起来不自然。因为在数码单反相机上,模糊是在光线到达图像传感器之前发生的光学现象,因此噪点在图像的焦点内和焦点外的区域都是相同的。
  • 散景特色:讨论散景时,摄影师都会考虑到这一问题,但是他们对于完美的散景究竟应该是什么样子,却没有普遍的共识,反观计算式散景在这方面似乎比光学散景要简单些。当前的智能手机无法模拟光学晕影以使分布在整个画面中的散景形状不一致,或者采用非圆形的光圈以使散景形状不是圆形的。而且智能手机也没有由色差引起的紫色或绿色条纹,或是由过度校正的球面像差引起的“肥皂泡沫”,或者是由折反射镜引起的“甜甜圈”现象。一些摄影师仰赖这些效应来实现特殊的视觉效果,但智能手机制造商似乎认为普通用户对这些现象并不感兴趣,因此它们提供的模拟散景是清晰度不一的各种圆形。
  • 可重复性:光学散景不受曝光影响,但是计算式散景在高光条件下呈现的效果往往最好,因为较多的光线会增加图像的信噪比,并且有助于计算景深图。但是,即使在一致的照明条件下,我们也发现许多手机的表现不太稳定:一些伪像会莫名其妙地出现在一个图像上,却没有出现在其他图像上;有时散景模式完全失败,而且拍摄的图像中没有任何模拟的背景模糊产生。

评鉴和测量散景

在本部分中,我们介绍如何在实验室场景中根据上面列出的测试标准进行实际的测量和评分。我们在DxOMark Mobile基准中添加了一系列“真实”的室内和户外测试场景来弥补实验室测量的不足。这些场景的可重复性比摄影棚内的场景低,但我们可以通过这些变化较大的图像仔细检查并确认实验室的测试结果。

拍摄对象/背景隔离

我们的实验室设置具有两个平面、一个拍摄对象和背景;两个平面之间的距离可调。我们首先测量手机的等效焦距,然后调整手机、拍摄对象和背景之间的相应距离(图10)。由计算机控制的照明可以确保两个平面上的照明一致,不受焦距影响。场景中的主要拍摄对象是一个被复杂的形状包围的模特头,用于模拟人脸和头饰,以及一只挥舞的手。背景是我们的噪点和纹理实验室场景的大幅面印花布,其上添加了几条白色直线。

数码单反相机和智能手机A、B和C之间的拍摄对象/背景分离比较(括号中为分数)。

我们可以根据拍摄对象平面和背景上的各种特征,就拍摄对象/背景分离的精确度和可靠性对其进行评分。例如:

  • 在背景中的每条白色直线上,如果一整条线都模糊了,就可以得到一分
  • 右上角的“手”中的每个孔洞如果与背景中的其余部分一样模糊,就可以获得一分
  • 面部周围的每个尖刺都印有1至5的小数字,如果一个数字可读,就得一分;如果数字与拍摄对象的其余部分一样清晰,可再得一分。

模糊质量

我们使用第二场景来分析模糊质量。第二场景由前景中的拍摄对象(模特头)或大型物体(塑料花),以及右侧和底部上几乎平行于光轴的两个额外平面所组成。这些平面上满是整齐规则的图案,并延伸至拍摄对象前。我们还在最后面放置了几个微型LED灯作为光点。这一场景可以用于评鉴拍摄对象/背景分离以及前一部分中描述的所有标准。

此外,我们还使用一个全画幅单反相机的各种焦距和光圈来拍摄场景,以确定散景模拟模式的等效光圈,然后对智能手机的图像与这些参考照片进行比较。

数码单反相机和智能手机A、B和C之间的模糊渐变的平滑度的比较(括号中为分数)。

我们观察场景底部和右侧的黑白方格线上的规则图案的模糊渐变的平滑度。我们在所有距离上都使用相同的图案,因此可以察觉在真实场景中可能被忽略的许多细微的不一致之处。我们通过比较焦距内的拍摄对象和背景上的灰色斑点来分析噪点一致性,并将颗粒方面的任何差异归结为计算式散景处理造成的。

观察背景中的LED光点可以分析散景形状,在目前的测试基准中我们更偏向于具有清晰边缘的圆形。下图所示的伪像应该避免,因为它们不像任何镜头的光学散景。也就是说,数码单反相机未必能够在这一类别中获得最高分,因为它们的光学散景未必是圆形的。

数码单反相机和智能手机A、B和C之间的散景形状的比较(括号中为分数)。
数码单反相机和智能手机A、B和C之间的噪点一致性的比较(括号中为分数)。

可重复性

我们在一系列测试场景中评鉴可重复性。在每个场景下,我们在1000和50勒克斯两种照明水平下各拍摄五张测试样本,然后通过感知评鉴来比较不同光线下的相同场景的图像差异。

计算结果

测试过程中获得的个别测量结果将通过我们的经验公式汇总为每项测量分数,然后将每项分数汇总为单一的散景分数。这一评分系统的设计旨在将最高分数给予在散景质量和可重复性之间取得最佳平衡的手机。理论上,搭载优质的快速镜头和圆形光圈的数码单反相机获得的最佳分数为100分。目前的智能手机因使用的硬件和应用的处理和调校不同而有所差异,虽然它们(还)不能与数码单反相机相媲美,但目前的高端手机的成绩已经相当令人瞩目。您可以在我们智能手机成像的颠覆性技术一文的散景部分找到2015年至2017年高端智能手机的分数和样本图像。

2017年发布的三款智能手机的散景分数:手机A具有广角+远摄双摄像头;手机B搭载彩色+单色双摄像头;手机C的单镜头摄像头则具有双像素图像传感器。

虽然我们使用数码单反相机作为参考标准,但在某些情况下,计算式散景的表现可能优于光学散景。例如,在一幅群体人像中,被摄体的脸部位于稍微不同的平面上,因此使用单反相机的摄影师需要减小光圈方能在照片中清晰呈现每一张脸,但这样做也会大大降低背景模糊水平。然而,计算式散景却不受物理定律的限制,因此智能手机摄像头可以通过范围足够大的景深清晰呈现每一张脸,同时也能呈现强烈的模糊背景。目前,考虑到这些用例的评鉴方法还有待未来进一步的研究,在此之前,如果您想深入了解该主题的更多细节,您可以下载我们关于<散景的图像质量基准>的科学论文。

We are hiring!