让 iPhone 拍照能力大升级的计算摄影，相机为什么不用？

iPhone 11 系列发表会时，苹果高级副总裁菲利普‧席勒（Philip W. Schiller）介绍 iPhone 11 Pro 系列的影像系统时，第一次将计算摄影概念引入，也是第一次与大众见面。

其实计算摄影概念并不新鲜，最早出现于 1994 年一篇公开论文，且认定机内合成 HDR、全景照片及模拟散景都属于计算摄影範畴。但当时照片主流载体还是底片，数位相机才刚起步，手机都还没有装相机。

▲ iPhone 11 Pro 发表会介绍计算摄影的菲利普‧席勒（Philip W. Schiller）（前）。（Source：Mike Deerkoski, CC BY 2.0, via Wikimedia Commons）

几十年后，影像纪录的载体从底片换成数位，手机拥有镜头，计算摄影也从理论里走出来，渐渐成为潮流。

不过这潮流跟相机关係不大，相机厂商依然按部就班提高画素、连拍速度和影片能力，似乎对计算摄影充耳不闻，拍出来的照片（直出）依旧很平庸，渐渐被智慧手机"超越"。

相反的是，智慧手机晶片的演算力越来越强，AI、演算法、机器学习介入的範围也更广，图像演绎方法越来越多，最终经过一系列"演算法"处理过的照片也愈发好看。

现在，很多人出门更愿意用手机记录分享，相机越来越少见，这也反应到两者市场表现，智慧手机市场增速强劲，相机市场则连年萎缩，甚至 DC（卡片相机）都渐渐消失。

这时，就有人会问了，既然智慧手机随手拍照片的观感这么好，为何传统相机厂商不跟随计算摄影的潮流，考虑提高照片直出品质呢？

相机演算力不够？

这个问题先从"核心"谈起。

手机核心是 SoC，整合 CPU、GPU、ISP、NPU 及基频等，让你打电话、拍照、看影片、玩游戏、上网等，也直接决定手机的性能。

而相机的核心部件是图像感测器（CMOS），除了元件面积外，跟手机差不多，负责成像与感光。控制整套相机系统的中央处理晶片叫图像处理器（Image Processor）。

以 Sony 的 BIONZ X 图像处理器为例（α7 系列御用），包括 SoC 和 ISP 晶片，并没有将 ISP 整合至 SoC，优点是 Sony 可自行根据 CMOS 的性能需求，自行增加 ISP 晶片的数量（α7RIII 的 BIONZ X 就配备双 ISP），缺点就是整合化程度没有手机那么高。

BIONZ X 中 SoC 的作用跟手机类似，控制操控介面与相机功能，性能要求并不高。拜尔转型、解马赛克、降噪、锐化等处理图像感测器採集的"数据"，多是依靠 ISP，最终把 CMOS 採集数据转换成相机即时取景。过程中相机 ISP 不涉及运算，只是把照片当成流水线产品，统一处理。

▲ Sony BIONZ X 图像处理器。（Source：Sony）

随着现在相机画素数、连拍速度及影片性能不断提升，相机图像处理器对图片处理的速度和吞吐量需求很高，单一数据量很庞大，不列入"计算"的前提下，相机图像处理器的处理能力远超过现在智慧手机 ISP 的处理能力。

但说到计算摄影或说 AI 能力，就不太一样了。智慧手机的成像过程类似相机，不过呈现最终画面前，还需要 ISP、DSP 计算，即时调整最佳化，尤其是在多镜头系统成主流后，手机的计算数据量成倍增长。

iPhone 11 Pro 系列推出多镜头系统后，能平滑无缝切换的背后是 A13 Bionic 新增的两个机器学习加速器庞大的数据处理能力，达到每秒 1 兆次，如此高频高效的数据处理能力，才算吃下三个镜头产生的庞大数据量。

相机的图像处理器多是预处理原始数据，几乎没有计算过程，而手机 SoC 包括数据採集预处理及后续计算，两者着重方向不同。

针对群体不同，市场细分的结果

手机计算摄影发展很快，还是因手机的图像感测器（CMOS）尺寸太小，以现在的技术，想在物理超过或接近相机只能透过演算法最佳化，拚直出观感，如自动 HDR、超级夜景、模拟大光圈、魔法换天等功能。

▲ 拍摄一张照片 iPhone 花费的"计算"步骤。（Source：苹果）

但演算法演绎做到"个性化"干预还是很难，如滤镜加到什么程度，HDR 高光暗部保留到什么程度等。不过对大众手机而言，尽可能让大多数人拍出不错的照片，会更符合手机的市场和族群定位。

自相机发明以来，就有绝对的"工具"属性，为了高效率，外观、操控、功能等均与效率妥协。针对更小众的职业族群，自然也会更符合需求，相机会尽可能记录色深、色彩、光线等资讯，以便使用者更自由后期调整，直出好不好看，并不在他们的需求里。

▲ RAW 档记录更多资讯，可进行更多调整。（Source：Ben Sandofsky）

对大多数没有摄影基础的人来说，随手获得一张观感不错的照片，远比得到一张资讯丰富的照片更重要。而对专业领域的相机厂商，提升 RAW 记录的色深要比提升 JPG 直出效果更符合市场定位。

不过事情都非绝对，相机也在尝试改变。富士（Fujifilm）就一直致力相机直出效果，引入"底片模拟"，透过不同演算法，让照片更有味道，观感也更好看。但这过程并没有经过场景计算，而是需使用者自行选择，这与手机一些底片模拟 App 有点类似，还不到所谓的"计算摄影"。

AI 后期，才是相机的大方向？

摄影领域中，后製处理是必不可少的步骤，一方面后製软体可充分利用 RAW 格式记录的丰富资讯，另一方面也可藉助 PC 的高性能和演算力快速处理照片。

与相机厂商不同，几乎主流专业后製软体都开始发力 AI，强调 AI 的处理能力。

▲ 后製软体 Luminar 4 支援 AI 自动换天空。（Source：Luminar）

Adobe 的 Photoshop 近几版更新，修复、磨皮等都加入自动辨识功能，操作越来越无脑，效果越来越精确。Mac 平台的 Pixelmator Pro 修图软体，早在 2018 年就开始借助苹果的 Core ML 机器学习辨识图像，调整选取色彩，甚至压缩输出时都运用 ML 机器学习引擎。

▲ Pixelmator Pro 2.0 的图像编辑支援机器学习引擎助力。（Source：Pixelmator）

现在相机厂商由于晶片 AI 演算力限制，和针对小众市场问题，几乎没在计算摄影着力。但后製软体 AI 爆发，也算侧面弥补相机计算摄影的短处。

即使运算后製软体 AI，相机依然没有摆脱传统流程，相机记录，软体处理，对大众来说依然繁琐。对专业的摄影玩家，后製软体 AI 介入，的确减少工作量，让原本繁複操作轻鬆不少，但依然无法扭转传统摄影业的照片处理（创作）流程，与手机截然不同。

▲ 2020 年 9 月全球数位相机出货量，远不及 2018 年。（Source：CIPA）

据 CIPA 数据，相机市场逐步萎缩，相反的是手机市场不断增长。智慧手机成为潮流的"计算摄影"，并不会改变相机日趋专业的方向，也不会扭转相机市场逐步萎缩的局面。

换句话说，即使现在相机有与智慧手机接近的"计算摄影"能力，就能挽救"江河日下"的相机市场吗？答案当然是否定。举个极端例子，直出可行的话，那富士相机就会有第一市场占比。事实上，现在无反相机第一的宝座，反而由直出并不好看的 Sony 占据。

▲ Sony 微单已成为不少工作室的工作用机。（Source：SmallRig）

面对来势汹汹的手机，相机只能向更专业的方向发展，不断向上细分市场，近年来全画幅的 4,000 万、6,000 万高画素，中画幅的过亿画素，以及微单影片能力不断接近专业摄录一体机，都是相机细分市场的产物。

相机专业化越来越强，也就意味着需要性能更佳的图像感测器（CMOS），但"计算摄影"倚重单独机器学习模组，众所周知，晶片研发成本高、风险大，相机厂商难以兼顾。计算摄影和发展专业化是两条不同的路，对专业用户用处不大的"计算摄影"、"AI 干预"等特性，相机厂商大概都因平衡研发费用，暂时战略性放弃。

现阶段或可见的未来，相机厂商要拥抱"计算摄影"风险高、投资大、成效慢，难上加难，更别说现在还有一众专业后製软体用 AI 修图为基础。