苹果手机原相机自拍是反的


在iPhone 11系列发布会上,苹果高级副总裁菲利普·席勒首次向大众介绍了计算摄影这一概念,这是首次被大众所熟知。其实早在九四年的一篇公开论文中,就已经提出了计算摄影的概念,并认定机内合成HDR、全景照片以及模拟散景都属于计算摄影范畴。然而当时影像记录的主要载体是胶片,数码相机刚刚起步,手机还没有摄像头。

经过几十年的技术发展,影像记录载体从胶片转变为数字,手机拥有了摄像头,计算摄影也逐渐成为了一种潮流趋势。但与相机行业关系不大的是,尽管相机厂商不断在提高像素、连拍速度和视频能力等方面下功夫,他们所拍摄的照片(直出)仍然逐渐被智能手机超越。

相反的是,智能手机的芯片算力越来越强大,AI、算法和机器学习介入的范围也更广泛。智能手机的图像演绎方法日益丰富,经过一系列“算法”处理过的照片也愈发美观。现在很多人更愿意使用手机进行记录与分享,相机市场则连年萎缩,甚至DC(卡片相机)也逐渐消失。

这时可能有人会问,既然智能手机随手一拍就能得到观感很好的照片,为何传统相机厂商不去跟随计算摄影的潮流,提高照片直出的观感呢?是因为相机的算力不够吗?我们来从核心部件谈起。

手机的核心是SoC(系统级芯片),集成了CPU、GPU、ISP、NPU以及基带等,可以完成打电话、拍照、看视频、玩游戏、上网等操作。而相机的核心部件是图像传感器(CMOS),此外还有控制整套相机系统的处理芯片叫做图像处理器(Image Processor)。以索尼的BIONZ X图像处理器为例,它包括了SoC和ISP芯片,但并没有将ISP集成在SoC内。这样的设计优点是索尼可以根据CMOS的性能需求自行增加ISP芯片的数量,但缺点是集成化程度不如手机。

在手机中,成像过程类似于相机,但在呈现最终画面之前,还需要ISP、DSP的计算,实时调整和优化。尤其是在多摄系统成为主流后,手机的计算数据量成倍增长。以iPhone 11 Pro系列为例,其多摄系统能够平滑、无缝切换的背后是A13 Bionic中新增的两个机器学习加速器强大的数据处理能力。

然而相机的图像处理器主要是对原始数据进行预处理,几乎不涉及计算过程。而手机SoC则包括数据采集预处理以及后续的计算过程,二者着重的方向不同。手机计算摄影的发展迅速,很大程度上是因为手机的图像传感器(CMOS)尺寸较小,只能在算法优化上寻求突破,实现直出观感的提升。而相机的市场定位和专业性需求决定了其发展方向更注重原始数据的记录和后期调整的可能性。

面向大众市场的手机更注重让大多数人拍出不错的照片,因此更倾向于通过算法优化提高直出观感。而相机则更倾向于记录色深、色彩、光线等信息以满足专业用户的后期调整需求。尽管一些相机厂商如富士在尝试提高直出效果,但这并不涉及计算摄影的范畴。

在摄影领域中后期处理是必不可少的步骤之一方面后期软件可以充分利用RAW格式中所记录的丰富信息另一方面也可借助PC的高性能和算力来对照片快速处理。与相机厂商不同几乎主流的专业后期软件都已开始在AI上发力强调AI的处理能力。例如Adobe的Photoshop和Mac平台上的Pixelmator Pro等修图软件都运用了AI技术进行识别图像从而进行色彩调整、抠图等操作。尽管相机厂商在芯片AI算力上有所限制并且在面对小众市场问题方面没有大力投入计算摄影的研发但后期软件在AI方面的突破也算是在一定程度上弥补了相机在计算摄影方面的短板。然而即使算上后期软件的AI相机们依然没有摆脱传统的流程即相机记录软件们处理这个过程对于大众们来说依然繁琐。对于专业摄影玩家来说后期软件AI的介入的确能够减少工作量让原本繁复的抠图等操作变得轻松不少但依然无法改变传统摄影行业的照片处理创作流程与手机截然不同。根据CIPA的数据相机市场正在逐步萎缩而手机市场则不断增长。因此即使现在相机们有着与智能手机相近的计算摄影能力也无法挽救相机市场的颓势。换句话说即使相机拥有了与智能手机类似的计算摄影能力就能改变相机市场日益萎缩的局面吗?答案是否定的。因为市场的需求和发展方向不同相机和智能手机的发展道路也会有各自的特点和优势。相机专业化的发展需要性能更佳的图像传感器(CMOS)而计算摄影则需要单独的机器学习模块这就需要平衡二者的发展难度和风险对于相机厂商来说暂时被战略性放弃也是可以理解的。因此可见的未来内想要相机厂商去拥抱计算摄影难度极大更何况现在还有专业后期软件用AI修图来托底的情况存在。