DxOMark Mobile如何为智能手机摄像头评分

DxOMark Mobile的分数和排名是我们在相同的测试过程中,对每个摄像头进行测试所得的结果。在每个测试过程里,我们会在实验室和现实世界中针对各种各样的拍摄主题,拍摄超过1,500张图像并录制几十个影片(总计两个多小时的视频)。我们根据完全客观的测试来评分,并由测试设备直接计算测试结果,我们还使用一套复杂的度量标准来进行感知测试,并由一群图像专家对需要人为判断的图像质量的各个方面进行比较。一个移动设备需要由几个人组成的团队进行一周的测试,测试结束后,我们会分别进行照片视频质量的评分,然后统合所有分数以计算总体得分,以便快速比较不同手机摄像头的性能。

我们以完全相同的方式测试每一款手机:我们使用相同的实验室、相同的测试程序、相同的场景、相同类型的裁剪图排名以及相同的软件,因此,DxOMark的测试结果是既可靠又可重复的。

户外测试场景遍布于巴黎市区和郊区的不同地点。

DxOMark智能手机摄像头评测的内容包括评分、样本图像和分析,其性质与大多数相机评测相当不同,因为DxOMark评测不是来自一位评测者对于摄像头的个人经验和意见,而是来自许多深度测试中的得分和分析。我们收到了很多关于DxOMark Mobile的评分、测试和评测流程的问题,因此我们将在本文中告诉您DxOMark Mobile分数是怎么来的,以及我们测试手机和编写后续评测内容的整个过程。

DxOMark总体分数

总体分数是移动设备摄像头最常被提及的分数。我们将十几个测试项目的分数映射到一个能够代表手机总体图像质量性能的数字后,便获得了总体分数。总体分数很重要,因为我们需要提供某种依据来对测试结果进行排名,并为那些不希望进一步深入研究的人提供一个简单的答案。

该图形说明了创建DxOMark Mobile评分的整个过程。总体分数是通过组合照片和视频的分数而创建的。在这些分数中,每一个分数都是一个函数,以f(x)表示,它是由一系列属性测试的分数所组成。我们拆解了“照片”的“色彩”项目的分数作为每项分数的示例。您可以看到我们在各种照明条件下进行的测试,并了解我们如何据此获得色彩项目的分数。测试的照明条件包括20、300和1000勒克斯光照水平,在每个光照水平下,测试的内容均包括测量各种属性的客观和感知分数。同样地,我们也拆解了“视频”下的“曝光”项目的分数来演示我们在各种光照条件下进行的测试。在这些项目中,我们也利用客观和感知测试来测量各种属性,其中包括静态和时间维度上(变化中的)场景。

我们根据主流用户(他们通常是对于拍摄家庭照片作为回忆,或对于拍摄运动感兴趣的人)以及对图像质量的重视高于一切的用户(即我们所谓的摄影爱好者)在实际应用中的需求来权衡不同的测试结果。我们与许多不同类型的智能手机摄影师合作,以确保DxOMark Mobile总体评分及其各个测试项目的分数反映了对于他们而言最重要的摄影元素。我们的做法所测试的是拍摄结果(完成的图像),而不是摄像头技术,所以,测试自动对焦和散景等性能时,特定摄像头所使用的成像方法并未被纳入考虑。

这意味着拿下了非常好的总体分数的手机的排名可能会高于拥有几项优秀成绩但也有一些明显弱点的手机。但是,每个用户都是不同的,也有不同的优先顺序。出于这个原因,我们鼓励阅读评测的读者仔细钻研每个测试项目的分数和文字分析。

我们也被问到手机的总体分数为何高于其测试项目的分数。事实上,总体分数不是每个测试项目的分数的加权总和,而是以专有和保密的方式将每个测试项目的分数映射成一个综合分数,总体分数未被限制于100分以下,目前表现最出色的几款手机恰好拿到了这个分数。

照片和视频的每个测试项目的分数

为了评估智能手机摄像头在特定使用情况下的表现,我们为照片和视频提供曝光和对比度、色彩、自动对焦、纹理、噪点、伪像、闪光灯和防抖(视频)等许多测试项目的分数。2017年,我们在“照片”类别下添加了“变焦”和“散景”两个测试项目,以反映当前许多移动设备的高级功能。

至于哪些测试项目的分数对您而言最重要,具体取决于您使用移动设备来进行哪些类型的摄影。我们根据各种光照条件下的详细测试结果来计算每个测试项目的分数,其中包括以科学方法设计的实验室场景以及经过仔细规划的室内和户外场景。

测试项目

对于我们的每个测试项目,我们将说明其测试内容、工具、技术以及与测试过程相关的一些有趣的细节。在很多情况下,您可以查看我们的Analyzer产品网站,以了解关于我们使用的硬件和软件的更多信息。

曝光与对比度

曝光项目旨在测量摄像头如何根据拍摄对象和背景的亮度进行适当的调整和拍摄。动态范围是指摄像头拍摄场景最亮部分到最暗部分的细节的能力。

条件和挑战:对于那些在难处理的光线条件下(如逆光场景),或者在明暗区域(例如日光和阴影)之间的变化较大的情况下拍摄的人来说,这是最重要的测试项目。对于总体拍摄表现而言,这也是最重要的测试项目,因为它会影响所有类型的摄影。

我们用于测试动态范围的几个户外场景之一。
DxOMark的测试图包括行业标准和专有测标,测量动态范围的图表包括这一结合了反射和发射部分的专有HDR测标。

详细说明:我们评估、测量不同光照水平和照明类型下的测标曝光和对比,并计算每个图像的最大对比值。我们使用精心设计的室内和户外场景进行类似的测试。

色彩

色彩项目的分数旨在衡量摄像头在各种光照条件下如何正确地再现色彩,并评估其演色性在观众眼里是否赏心悦目。

条件和挑战:一如曝光度,良好的色彩表现几乎对于每个人来说都很重要,特别是风景和旅行照片更要仰赖宜人的场景和风景效果,人像照片也需要呈现美丽的肤色。

在经过仔细校准的DxOMark定制实验室场景里,一位技术人员正在准备用智能手机来拍摄测试照片。

测量演色性时,我们在各种条件下拍摄具有行业标准的彩色图表、经过仔细校准的定制实验室场景和户外场景的照片。我们使用一个闭环系统来控制照明,以确保正确的光照水平和色温。

详细说明:与“曝光和对比度”测试一样,我们使用各种光照级别和光线类型来进行“色彩”项目的测试,但这一项目的目的在于测量摄像头计算白平衡的能力好坏,以及其可重复性,并了解它再现场景色彩的准确程度。我们也测量色彩的一致性。如果制造商刻意使摄像头的演色性呈现细微差异,以创造出其所期望的某种特定的视觉效果,例如,一些摄像头刻意使微弱的钨丝灯光线下的色彩略偏暖色,以传达这种灯光所产生的气氛,我们不会因此而对其扣分。

自动对焦

自动对焦项目旨在测量摄像头在不同照明条件下可以用多快的速度来准确地针对拍摄对象进行对焦。

条件和挑战: 无论是拍摄正在玩耍的儿童还是体育赛事,任何拍摄动作的人都知道,对拍摄对象及时进行对焦以拍出想要的图像并不是件容易的事儿。我们在各种照明条件下测量摄像头自动对焦的准确性和速度的表现,这一测试项目很重要,因为它直接关系到您要拍摄的照片中的活动多寡。

DxOMark的全面性自动对焦测试装置旨在准确地测试摄像头自动对焦系统的速度、准确性、可靠性和可重复性。右侧的专有LED定时系统对于测量摄像头在对焦前的延迟和实际的快门速度至关重要。

详细说明:测量自动对焦性能时,摄像头需要在每次拍摄前散焦,然后必须正确记录在两次拍摄之间按下快门的确切时间间隔,以及确切的快门响应时间。除了定制LED定时器之外,我们还创建了一个使用人造快门触发器和多光束的系统,以确保测量自动对焦的准确性。

纹理和噪点

纹理项目旨在测量摄像头如何保留微小的细节,例如物体表面上可观察到的细节。由于摄像头厂商引入了降噪技术(例如更长的快门时间和后期处理),而产生了运动模糊以及柔化处理使细节变少的副作用,因此纹理的评分变得尤为重要。

条件和挑战:对于许多类型的摄影而言,特别是对于随意的拍摄来说,细节保留并不是怎么重要,但那些希望打印大幅照片,或者拍摄艺术作品的人都会期待摄像头有不错的纹理表现,再说,正确的细节保留也能更好地表现各种户外场景。

噪点项目旨在测量图像中存在多少噪点。噪点可能来自场景本身的光线,也可能是摄像头的图像传感器和电子元件造成的。

条件和挑战:低光下,图像中的噪点量会迅速增加,因此如果您经常从事夜晚或室内摄影,那么寻找一款噪点分数很高(这意味着它会将噪点水平降到最低)的手机摄像头至关重要;但如果您主要在户外良好的光照条件下拍摄,摄像头的噪点表现就没那么重要了。

详细说明:纹理和噪点是图像处理的一体两面,因为消除噪点的图像处理也会减少细节并抹去纹理,使图像看起来更平滑。因此,我们使用介于1勒克斯到10,000勒克斯之间的多种照明条件进行测试。除了具有行业标准的静态图表之外,我们还使用包括移动物体的定制设计场景,以便记录摄像头是否有过长的快门时间或过度的图像处理等任何副作用。DxOMark的纹理图表包括符合各种行业标准的图表,如CPIQ(手机摄像头图像质量标准)。我们预先小心地打印并仔细记录所有图表后,才开始进行测试。

伪像

伪像项目旨在测量摄像头的镜头和数字处理对图像造成的失真程度或其他瑕疵。

条件和挑战:噪点主要与摄像头的图像传感器有关,而伪像则是镜头所产生的失真现象,其中包括看起来弯曲的直线或不正常的彩色区域。此外,镜头的中间部分通常最清晰,到了边缘则丧失了一些清晰度,这也是本项目的测试标的。对于那些关心图像的整体艺术质量的人而言,在伪像部分获得高分(将伪像水平保持在最低限度的机型可得到高分)是最重要的事儿。

我们使用包含运动的实验室和自然场景来检查融合了多帧图像处理的算法是否在图像上产生了伪像,或者是否使用其他技术而产生了图像质量的问题。

详细说明:评鉴伪像时,测试场景中的运动是必不可少的元素。因为许多现代智能手机摄像头将多个图像或多个摄像头的图像融合在一起,以创建一张最终图像,如果这些技术没有正确执行,复杂的移动场景可能会产生明显的伪像,从而干扰观者的视觉经验。

闪光灯(仅限照片)

闪光灯项目旨在测量手机的内置闪光灯(如果有的话)是否能有效而准确地照亮拍摄对象。

条件和挑战:智能手机闪光灯即使在短距离内也可能无法完全照亮拍摄对象,因为它仅能在极短的距离内发挥作用。LED闪光灯的色彩也可能与场景中的其他灯光的色彩不同,因此可能会在场景中造成不好看的色彩偏移的现象,所以这一分数对于经常在室内拍摄特写照片(比如家人和朋友的聚会)的人来说非常重要。

详细说明:现代智能手机的闪光灯已变得高度发达,有时它们会尝试使用多色LED灯光来匹配环境光的色彩。我们测试闪光灯作为独立光源时的表现,以及闪光灯与自然光源或其他光源混合使用时的效果。我们的闪光灯性能测试考虑了色彩保留的质量、白平衡的准确度以及图像边缘的闪光落差等特性。

变焦(仅限照片)

过去,智能手机摄像头的变焦功能主要为数码变焦或裁剪图,前者以放大图像来实现变焦效果,后者则来自具有极高分辨率的图像传感器所生成的原始图像。如今,越来越多的移动设备开始搭载多个具有不同焦距的摄像头,使其能够执行某些类型的光学变焦或混合变焦,从而提供了比单纯的数字放大图更高的质量。

我们的新版DxOMark Mobile评测基准现在已纳入了新的测试项目,以评鉴2倍到10倍放大倍率下的图像质量。

条件和挑战:使用变焦有助于在人像照片中实现自然的透视效果,也有助于拍摄远处的事件(包括大多数的运动),旅行摄影通常也可以通过向前推进镜头来拍摄远方的名胜古迹。

我们的测试环境包括各种户外场景以及实验室场景,变焦(远摄)方式会因场景的具体特征而异。

详细说明:由于摄像头可以通过多种方式来实现变焦(例如使用一个远摄镜头、混合两个摄像头的图像、裁剪高分辨率图像传感器和单纯地放大图像),因此我们使用多种不同的焦距进行测试,以突出每种变焦方式的优缺点。当摄像头配备有一个远摄镜头时,此镜头通常不如主镜头那样明亮,所以有些摄像头会在低光下切换到主镜头(即使在变焦设置下也是这样),所以我们的测试不但包括户外和光线充足的室内场景,而且还包括了低光测试。

散景(仅限照片)

搭载多个摄像头的移动设备也可以进行景深估计,因此其中一些设备还可以提供模拟传统相机的光学背景模糊(散景)的“景深效果”或人像模式。(您可以在这篇文章中找到我们如何测试计算式散景的详细说明。)

我们的新版DxOMark Mobile评测基准通过判断模糊应用的准确程度,以及模糊效果的质量和平滑度来评鉴散景的好坏。我们以数码单反相机的专业级广角主镜头为参考标准,例如全画幅数码单反相机的85毫米f/1.8镜头(类似于具有APS-C画幅的图像传感器上的50毫米f/1.8镜头)。

条件和挑战:散景是广受许多摄影爱好者青睐的重要艺术元素,它也可以强化人像照片的冲击力。

这个复杂的散景测试场景只是我们在每台摄像头上使用的众多配置之一。在完成测试之前,我们的技术人员会用假发取代尖锐的头冠,然后拍摄一个人物的各种姿势。我们使用不断变化的配置来测试散景算法区分前景和背景,以及估计远处物体的距离和模糊水平的能力。

详细说明:散景测试需要全新的测试场景和测试方法。我们需要测量摄像头模糊背景的效果和处理各种棘手情况的能力,例如拍摄对象握住另一个物体时,摄像头可能难以分开拍摄对象与背景。有些摄像头使用人脸检测来模糊人脸以外的所有图像内容,但这种方法非常容易出错,并且通常看起来不美观。

防抖(仅限视频)

防抖项目旨在测量摄像头如何消除录制视频时所不希望有的抖动。

条件和挑战:除非您在拍摄视频时将手机放在稳定的三脚架上,否则无论您多么小心地握住手机,它都会摇摆不定,而且您还可能在行驶中的车辆(如公交车或船上)进行拍摄。基于上述诸多原因,手持录制的视频通常看起来会摇晃。为了尽量减少摇晃的影响,许多智能手机在录制视频时都提供了电子或光学图像防抖,较高的防抖分数意味着视频更稳定、更宜人。

详细说明:摄像头可能包括光学防抖、电子防抖或两者,每种防抖都有优点和缺点,具体取决于摄像头运动的性质。我们在DxOMark Mobile的评测基准中模拟不同种类的运动,包括手持拍摄时可能发生的摄像头抖动,因此能够测试摄像头的防抖系统如何成功地提供运动补偿。

如果您想了解关于我们Analyzer测试解决方案的更多信息,请点击这里

针对不同拍摄者的测试分数指南

我们在上文中列出了每个测试项目的几个最重要的用例,但为了便于参考,以下针对各类智能手机摄影者列出各种最重要的测试分数。

旅游和度假摄影者

每个人都喜欢记录自己的旅游经历。考虑到大多数户外场所都有难处理的高对比度场景,因此正确的曝光在这里特别重要。色彩正确性也是拍出宜人的风景和名胜古迹照片的关键要素;变焦对于拍摄名胜古迹或远处物体至关重要,对于拍摄旅行同伴或当地人的人像也非常重要。

家庭回忆记录者

除了度假照片之外,家庭回忆记录者往往还需要在室内光线不佳或不均衡的情况下拍摄事件。在这里,闪光灯和低噪点水平变得至关重要;自动对焦是捕捉情感瞬间的关键,防抖则是即时录制重要活动的视频的一大要素;散景分数将帮助您确定摄像头“凸出”人像的效果有多好。

录制运动

行动摄影需要优秀的自动对焦和出色的曝光性能来拍摄静态照片和视频。防抖对视频也很有帮助,而变焦对于拍摄大多数运动来说都是必不可少的功能,因为您想拍摄的动作往往太遥远,无法使用移动设备默认的广角镜头来拍摄。

照片爱好者

虽然大多数照片只会发布于社交媒体,但照片爱好者通常还希望打印照片,或制作更大版本的照片作为屏幕保护程序。对于他们来说,除了拍摄的照片类型的特定要求之外,摄像头还必须具有噪点低、纹理保留到位、不错的对比伪像很少的特点,而出色的散景也是在拍摄人像或其他艺术照片时突出拍摄对象的关键要素。

这些户外场景用于测试可重复性和其他标准。

每个摄像头每次拍摄30多个户外场景以测量可重复性。每个场景都包含一些属性,可以帮助我们评估几乎所有类型的智能手机摄影的图像感知质量。我们根据DxOMark的图像质量评鉴方法对图像进行独特的感知评鉴,并使用一组已知的“锚定图像”来与被测图像进行比较。我们请专家对被测图像以及与其内容相似的锚定图像进行分析,从而大大增强这一过程的可信度。DxOMark有一群图像专家团队和一个内容丰富的现成手机测试图像库,因此可以在此过程中获得一致而准确的评测结果。

额外的真实生活场景旨在测试手机在低光和人工照明下的性能。

我们还另外设计了15个室内场景,这对于分析一个智能手机摄像头是否适合于家庭回忆记录者以及其他在人造光和低光条件下工作的人非常有帮助。与户外场景一样,我们使用图像质量评鉴的感知评鉴法来评鉴这些室内场景的表现。

DxOMark Mobile评测文章

我们的评测旨在为您提供手机摄像头的分数和各个评测项目的子分数,并提供测试分析以帮助您比较多种手机摄像头的特点。我们还经常使用比较图像来演示不同摄像头在相同情况下的表现,但在很多情况下,这些比较图像仅用于说明,而不是实际测试的一部分。同样,我们通常还会使用一些图像来说明或者由您来评估某个可能未被测试的特定点。但是,自推出新版本的DxOMark Mobile以来(这一点非常重要),我们已经能够发布一些测试中使用的全分辨率原始图像,以便您自行比较。

常见问题

您使用什么摄像头模式进行测试?

我们使用智能手机的默认模式和其默认的摄像头应用程序来进行所有测试。其中的例外是,评鉴这些功能时手动激活的闪光灯、变焦和人像(景深或散景)模式。撇开测试任意数量的摄像头应用程序和模式方面的困难不谈,这种方法反映了绝大多数使用其默认设置的智能手机摄影者和手机厂商的体验,因为我们假设手机厂商可能会尽力在默认设置下尝试让摄像头表现最佳性能。   

您是否评测预生产的摄像头?

我们发布的所有移动设备的评测都是对当前市售手机测试后编写而成的,而且这些手机都具有一般消费者可以得到的生产固件。

为什么有些手机评测的发布比较快?

首先,我们需要能够获得测试的手机,并有时间对其进行测试。其次,考虑到每个测试和评测需要花费许多时间和资源,我们必须优先考虑市场影响力大的手机,因此这些手机在发布后往往会较快得到测试。

测试移动设备的摄像头和撰写评测需要多长时间?

在测试过程中,工程师团队在实验室和户外拍摄照片并录制视频,然后分析数据并提供感知评鉴,整个过程需要10天左右的时间。然后,我们的作者也需要一些时间将测试结果写成评测,并将其与样本和比较图片一起发布。

既然有些手机已经拿下了100分的成绩了,您接下来该怎么办?

我们的分数未被限制于100分以下,我们已经有几款手机的分数在某些类别中已超过100分了。

为什么总体分数有时高于其各个测试项目的分数?

总体分数不是各个测试项目的分数的加权平均值,而是基于这些分数的映射。

为什么一些示例图像的元数据显示图像是在计算机上创建的?

智能手机供应商已经开始尝试使用更丰富的色彩和更宽的色调范围,特别是有些厂商现在已开始使用新的HEIF图像格式代替JPEG,或者使用DCI-P3色域代替sRGB。在HEIF的情况下,我们需要将图像转换为JPEG格式,以便读者在浏览器中查看,但我们在测试中不会使用这些图像,因此这一转换只会影响我们上传供您参考的图像副本。同样地,我们也需要将DCI-P3图像转换为sRGB,以使它们可以在许多消费者的显示器上正确地显示,但这不会影响测试过程或测试结果,而只会影响我们的评测中提供的图像显示。

为什么变焦和散景也会影响总体分数?

智能手机的消费者期望使用更多的高级性能,因此将变焦和散景纳入DxOMark评分和排名是有道理的。高级变焦功能和人像模式是智能手机近年来添加的两种最流行的新功能,如果您觉得这些功能不重要,您当然不用考虑这些分数,只需考虑每个手机的其他测试项目的分数即可。

We are hiring!