联结单摄“孤岛”，荣耀押宝“多主摄融合”

文 | 曾响铃

来源 | 科技向令说

中秋节晚上逛朋友圈,自然少不了要见识一下神州大地各个地方的月亮。借助手机, “咔嚓”一声定格下一帧月色,分享给远方的亲朋好友,每个人都可以实现古人“海上生明月,天涯共此时”的畅想。

与手机摄影的简单而纯粹不同的是,目前手机摄影行业却陷入了一个误区:软件算法的提升,跟不上硬件规格的提高。

最直观的现象就是:手机镜头数量越来越多,针对多摄联合摄影的算法,却处于开阔蛮荒之初的状态。这就好比,食材越来越顶级,厨师厨艺却长进有限,这样做出来的菜,口味真的会好吗?

硬件规格的提升,解决不了手机摄影的“三大痛点”

“其实我也不懂,只是单纯觉得摄像头越多,拍照肯定就越厉害吧,毕竟这么多镜头不是吃素的。” 在和响铃聊天时,小霖表露了她对手机摄像头数量的看法:摄像头越多,拍照越厉害。她的想法,也或多或少地代表了一部分消费者在选购手机时,对手机摄像头数量的看法。

为此,响铃统计了主流手机厂商旗舰机型摄像头的数量,可以简单地总结为:“三摄遍地走,四摄握在手”。

诚然,摄影技术作为每年升级的重头戏之一,镜头数量的提升可以给消费者带来相当大的视觉冲击,但镜头数量越多拍照就越好,显然是一个认知的误区。

手机摄像头数量增加,规格提升,确实可以提高拍摄的质量,但以下“三大痛点”,并不是单单硬件规格提升就能解决的:

1传感器尺寸与机身大小和厚度的矛盾。

从单摄、双摄再到多摄成为主流,手机镜头大小也从持平手机背面,到高高凸起,最后需要一个硕大的相机模组才能装下。

庞大的相机模组,增加了手机的重量,导致许多半斤机(贴膜带壳后超过250g)出现,在增加镜头磨损风险的同时,牺牲了手机握持的舒适度。

正如小霖感慨;大摄像模组手机在进行《王和荣耀》、《原神》等横屏手游时,宽大的镜头模组硌手、难以握持,甚至到了影响游戏操作的地步。此外,有些手机布局不合理,发热部位靠近相机模组,增加了使用背夹散热的难度。

这是手机厂商妥协导致的,镜头的“底”(即感光面积)越大、焦距越长,拍摄效果自然也就越好,为了追求更高的硬件规格,只能牺牲手机的手感。

所以,如何在不扩大传感器尺寸的情况下,提升成像效果,是目前手机摄影第一个亟待解决的痛点。

2定焦镜头与人像常用的中近焦段画质损失,边缘出现明显锯齿的矛盾。

由于现在智能手机使用的都是定焦镜头,焦距在镜头安装在手机上的时候就已经固定了。

以目前主流旗舰机型搭载的1x的主摄和3．5x光学变焦的长焦镜头组合为例,在1x到3．5x之间的中近焦段,其实是通过主摄的放大画面裁切和数字变焦,来实现画面的连续变焦的。

然而,这种混合接力式的变焦过程会导致中近焦段的画质的损失,在画面边缘出现明显的锯齿。

而这种中近焦段其实是我们常常用来拍摄人像、植物花卉、小动物等需要突出画面主题时常用的焦段,边缘不锐利,成像的锯齿和细节模糊让整张照片观感大打折扣。

如何利用算法,实现人像等常用中近焦段的良好的变焦拍摄效果,是目前手机摄影第二个亟待解决的痛点。

3超广角画幅更大,但因尺寸问题传感器却小于主摄的矛盾。

广角镜头有着更大的画幅,由于手机的空间有限,超广角镜头的传感器尺寸通常小于主摄。

超广角传感器尺寸小,也就是说感光面积和像素点数量更少,画幅却又要比主摄大很多,这就导致相同视场范围内的有效点数就越少,解析力和细节表现和主摄差距很大。

相同视场范围内的有效像素点数被称之为空间采样率。以Magic3为例,主摄和超广角镜头的空间采样率是4．7:1,这也就是主摄比超广角照片清晰度高的原因。

通俗来讲,就是超广角镜头拍摄出的照片相比主摄来说更模糊,使得在拍摄风景等需要大画幅时,超广角的色彩、细节等成像质量远远不及主摄的效果,照片质量直接下降一个等级。

如何解决超广角镜头画幅大、空间采样率低导致的成像质量低的现状,是目前手机摄影第三个亟待解决的痛点。

摄像头数量越来越多,但在算法和镜头的实际利用上,却呈现出各自为战的“孤岛”状态,也就是说菜虽然更好吃,是食材品质提升了,但厨师技术依旧没进步。

因而,手机行业目前亟需将“孤岛”式的摄像头,“联合”起来,解决行业中的“三大痛点”。

“多主摄融合摄影”技术,是联合“孤岛”的正确方向吗?

其实,为了解决这“三大痛点”,在手机搭载多个摄像头之初,就有多个厂商对手机融合摄影有过探索。

融合摄影,指的是结合计算机视觉、图形和图像处理技术,配合手机的光学系统、传感系统等提升拍摄能力的一种方法,顾名思义,就是用算法改善手机的摄影效果。

该技术的发展大体上经历了以下三个阶段:

1单摄多帧融合阶段:此阶段的代表技术为苹果的“Deep Fusion”计算影像技术。

苹果的“Deep Fusion”单摄多帧融合的技术细节为:采集连续多帧的画面,再通过AI算法模型的识别增加细节与亮度,最终合成一张清晰照片。

连续拍摄9张照片后,再进行计算合成,“Deep Fusion”技术能够一定程度上提高图像清晰度、动态范围、降低噪点。但是由于单摄多帧算法依旧还是只使用了一个镜头,所起归根到底,对画质的提升还是依赖镜头本身的素质。

该技术只能算作是对单镜头拍摄的修缮,并不能解决上述“三大痛点”问题,手机摄像头之间还是“孤岛”状态。

2单一焦段多摄融合:此阶段的代表为华为的“XD Fusion”技术。

单一焦段多摄融合指的是在某个焦段使用了多摄多帧融合,更进一步的提升了单一焦段的画质。华为“XD Fusion”技术采用的便是这一方案,XD Fusion却可以做到超广角和主摄同时工作并进行多帧融合。

通过把主摄多帧画面融合之后用算法裁切放大,再与长焦镜头相融合,实现单一场景的画质提升、降低噪点、优化细节的效果;

但这些都是浅尝辄止,或者说是隔靴搔痒,也有过很多相关的技术分享,此处不再赘述,没有真正入门,达到登堂入室的地步。

3全镜头参与的全焦段融合技术:代表厂商为荣耀的“多主摄融合计算摄影”技术。

全镜头全焦段融合,指的是通过软件融合算法,将所有摄像头采集的信息都利用起来,让多颗摄像头之间彼此交流,全场景的提升图像的拍摄质量,为用户带来全焦段超清拍摄体验。

这是目前最让人惊喜和期待的技术,原因在于该技术是唯一一个真正将各个“孤岛”式的镜头连结起来,充分发挥不同镜头的优势的技术。

而目前,朝着该方向迈出这一步的手机厂商,只有荣耀一个。

首先,针对传感器尺寸与机身大小和厚度的矛盾问题,荣耀采取的彩色传感器+黑白传感器双主摄融合方案。

以荣耀Magic3系列为例,彩色传感器提供曝光和色彩,高清黑白传感器提供纹理和细节,再利用算法将两个镜头的成像融合在一起的方式,提升主摄的成像质量,实现1+1>2的效果。

举个简单的例子,把摄影比作绘画,之前行业的普遍做法是,用一支笔完成轮廓勾勒和画面上色两件事。荣耀的做法则是,先用铅笔勾出轮廓,再用上色笔上色,绘画质量自然就有了大幅提升。

但与绘画不同的是,该技术的最大难题在于,感光纹理和细节的是黑白传感器,负责曝光和色彩的则是彩色传感器,两张不同的照片,涉及到视角差的问题,如何利用算法精准匹配?

两个手机镜头就像人类的两只眼睛,视角差指的是两个镜头由于位置问题,在拍摄时同一物体时,夹角会造成拍摄到的画面角度不同,因此两张图像无法直接融合。现实环境千差万别,荣耀Magic3系列使用了经过海量大数据学习的AI智能融合的方案,才得以提高图像的融合成功率。

其次,针对定焦镜头与人像常用的中近焦段画质损失,边缘出现明显锯齿的矛盾,荣耀的解决方案是彩色主摄+超广角融合。

以荣耀Magic3系列为例,在融合算法的加持下将彩色主摄+超广角相融合,彩色主摄拍摄的更清晰,超广角镜头拍摄的画幅更大,通过算法将两者的感光数据融合在一起,用算力换画质,彩色主摄的高保真细节填充到画面中间部分,使得中心清晰度提升可高达80%,以此增强超广角照片画质。

该技术的难点在于:算法填充中心区域后,图像中心的清晰度会高于边缘,细节上的高落差使得观感会较为生硬。为了避免这个问题,荣耀Magic3系列使用了智能平滑算法,可以将平滑区域智能调整,避免生硬过渡。让融合后的照片看起来显得浑然一体。

最后,针对定焦镜头中近焦段画质损失问题,荣耀的解决方案是彩色主摄会与潜望式长焦镜头融合。

与提升超广角照片画质类似,在定焦镜头中近段画质损失的问题上,荣耀先使用长焦镜头拍摄得到画面中央部分的清晰细节。然后,利用融合算法,将清晰的细节融入到主摄拍摄的画面中,从而大幅增加人像焦段(54～94mm焦段)图像拍摄清晰度,最多可以提升180%。

对当前的荣耀来说,营销噱头和实际体验,哪个更重要?

多主摄融合计算摄影技术,荣耀其实算是行业内第一个“吃螃蟹”的人。

之所以说是“吃螃蟹”,第一个原因在于这项技术看似很简单,因为实现多摄融合的思路很清晰:发挥各个镜头的长处,利用算法进行协调优化。

但实际操作上,却是一个复杂而海量的系统工程,算法如何介入、何时介入?如何规避算法带来的失真问题?即便荣耀从2016年开始,在双摄机型荣耀8上就进行了计算摄影技术的探索,但想真正实现随心所欲的多摄融合,依旧是个工程量巨大的难题。

此时,单纯的摄影算法已经很难支撑起如此规模巨大的计算量和高要求摄影的需求,必须要有影像系统的介入。

为此,荣耀打造了HONOR Image Engine计算平台。简单来讲,该平台的作用是:支持芯片平台异构,不受芯片约束,跨芯片平台统一影像风格;同时,通过RGB、灰阶、光谱、深度等多维度信息综合优化,以便真正意义上实现全镜头参与,全焦段融合,全芯片异构的软件优化影像技术解决方案。

对荣耀自身来讲,HONOR Image Engine平台的意义不言而喻。首先,在战略层面,根据荣耀总裁赵明的说法,它是一次技术的提前下放。本将用在下一代Magic产品上的,这次提前用在了荣耀Magic3上,快速落地以抢占先机,荣耀希望藉此技术,让自己成为手机摄影行业创新性突破的前锋。

其次,它既是一个信息采集系统,又是一个计算摄影平台,基于这个平台的基石作用,荣耀在未来手机摄影上可以玩出很多“新花样”。

而对整个手机摄影行业来讲,也是一件扭转风气的好事:唯摄像头论的不正之风得到纠正,从堆砌硬件到重视多镜头优化使用,算法,特别是由荣耀发起并领导的多摄融合算法,也将越来越被重视。

第二个“吃螃蟹”的原因则是:相对于摄像头数量,花费大力气的算法在面向消费者的宣传时,是相对劣势的。

原因很简单,摄像头数量一目了然,人们也愿意相信镜头越多拍照越好的谎言,而多摄融合背后的算法和专业名词,消费者很难听得懂,视觉上也没有那么直观。

所以,营销噱头和实际体验,哪个更重要?

从短期看,营销噱头更重要,但从长期看,消费者的实际体验才是品牌真正的“核心竞争力”。荣耀试水吃螃蟹的“多主摄融合”是一个看似费力不讨好的“冷门”方向。但方向冷门,从市场反响上看,效果却很“热门”。

作为硬件规格行业领先的全能科技旗舰,荣耀Magic3自上市以来在4K-8K价位段累计销量第三,在高端市场已经站稳脚跟;而作为一匹“白马”,荣耀市场份额V型反弹增速飙至16．2%,整体回温、高端突破就是最好的写照,也意味着真正去解决手机摄影行业痛点,引领技术前进的企业,才能获得市场的青睐。

写在最后

对大多数人来说,手机摄影内部的技术是个黑箱,不需要了解原理是什么,拿起来能拍出一张好照片就可以了。荣耀也将手机摄影未来发展方向的追求,定为在基础画质上对标专业设备,在场景优化上对标修图师,在表达创作上对标摄影师,也直指摄影的本质——记录和表达。

在这个人人都是创作者的时代,每一个拿起手机进行拍摄的人,都是穿行于客观记录和主观表达这两极间的旅行者。