传感器堆热度退去 手机影像该不该看AI芯片?

2021-12-21 17:31 来源:凤凰网科技

图片来源:视觉中国

图片:视觉中国

“你知道智能手机里有多少芯片吗?」

作为目前大家最不可或缺的电子设备,一部智能手机虽然只有手掌大小,但里面至少集成了100个芯片。其中,最熟悉的自然是SoC。SoC被称为片上系统,集成了CPU、GPU、ISP、NPU等。因此,我们可以说,SoC是手机的“核心处理器”。

在这么多芯片中,NPU (Neural Network Processor,神经网络处理器)这个名字虽然没有CPU、GPU那么响亮,但却发挥着最智能的作用,负责AI操作和AI应用,直接影响手机的AI能力。NPU的AI能力可以显著改变手机现有的功能,图像是一个很有前景的领域。

12月14日,OPPO发布了首款自主研发的NPU芯片Mariana MariSilicon X,这是全球首款图像专用NPU芯片。它的出现将大大增强计算摄影的能力和参与度。背后彰显了OPPO对“自研芯片”的决心,也透露出其未来发展的新思路。

到目前为止,中国四大智能手机领先厂商也加入了自研芯片的“核心”赛道。

以自己最擅长的领域,探索更深的「马里亚纳」

智能手机中的芯片很多,这也意味着手机厂商在选择自研芯片时有很多方向。OPPO为什么选择影像NPU作为其第一个自研方向?其背后的发展逻辑,离不开OPPO所坚持的技术轨道。

OPPO  Find  X3

OPPO寻找X3

一直以来,用户对智能手机的最高要求就是对画质的追求。对于手机品牌来说,要满足用户的需求,就要在影像技术上实现关键突破。

提升影像能力,最直接的办法就是改用更大的传感器,但身体空间有限的智能手机注定不允许存在三四个巨大的影像传感器。此外,更大尺寸的传感器需要更长的物理焦距,维持相当于27mm左右的主流焦距会让手机厚度同步激增,注定不是一个可持续发展的方向。

OPPO过去几年一直在探索R系列、Reno系列、Find系列的影像技术,发现从传感器、镜头等光学方面不断提升运动图像质量遇到了瓶颈。只有通过图像专用NPU,才能解决ISP功能有限,通用计算能力、传感器尺寸、镜头组光学质量不足的问题,这也是未来图像发展的主流方向。

而且,目前上游供应商提供的通用芯片和NPU芯片无法满足AI对计算图像的计算能力和能效要求。因此,为了兼顾高计算能力和低能耗,OPPO不得不开发自己的图像NPU。

OPPO将项目命名为“Mariana”的原因也相当生动。背后有两个原因。第一,要想在移动端实现OPPO所期待的高品质AI影像体验,较为成熟的芯片生产工艺(如12nm)已经无法满足,因此其首款自研芯片将直接走向6nm工艺,这对OPPO整个自研芯片团队来说是一个极大的挑战。

另一方面,“Mariana”这个名字也是OPPO向自研芯片发起挑战的决心,也表达了OPPO将在自己最擅长的领域向手机底部的芯片发起进攻。

马里亚纳 MariSilicon X有何绝活

OPPO寄予厚望的Mariana MariSilicon X是什么样的芯片?

首先我们要知道Mariana MariSilicon X是一个NPU芯片,不是ISP模块。它具有后者不具备的AI计算能力,可以利用神经网络降低噪声,改善图像细节。它采用了AI时代的DSA新黄金架构理念,针对OPPO的AI成像需求,放弃了二次能力的兼容,而是将所有的芯片面积和计算能力都投入到成像领域,这被称为“专属核心专用”,任务更清晰,性能自然更强。目前,世界各地的尖端科技公司都在使用DSA作为AI,比如谷歌的TPU。但DSA架构的使用也意味着这款芯片的专用性,对厂商的芯片方向规划要求极高。有必要提前预测在芯片开发和商业化后的几年内,图像窗口会在哪里。

E58A4BC5225840EEBBCFA61AF1F211E3_size270_w809_h527.png" alt="" />

其内部架构由“MariNeuro”自研AI计算单元、“MariLumi”自研影像处理单元、配套的影像专用内存子系统和I/O组件等组成。

此外,马里亚纳 MariSilicon X制程方面直接上马目前行业非常先进的6nm制程工艺,由台积电进行代工。选择6nm虽然可以带来更强的性能表现,但随之而来的高投入、高风险、高难度和高不确定性不言而喻。

据行业报道,6nm芯片1次流片费用高达1个亿,正式流片实验前没人知道是否成功,一旦失败就面临推倒重来。好在OPPO在流片阶段一次就成功了,据OPPO芯片产品高级总监姜波回忆:“记得流片拿回来之后没有丝毫耽误,点亮过程中就是24小时,整个研发团队都非常激动,我们完成了一个巨大的挑战!”

对于用户实际使用上的提升,马里亚纳 MariSilicon X将主要用AI技术解决传统手机影像难题——弱光视频画质,将计算摄影推向了4K+20bit RAW+AI+Ultra HDR的新极限。对于不懂摄影的人来说这串复杂的名词可能难以理解,说白了就是要让画面拥有丰富细节(4k分辨率是主流1080p的4倍,画面细节更丰富)、高宽容度(画面中非常亮的部分与极暗的部分都清晰可见)、纯净画面(通过AI计算实现近乎无噪点的夜景视频)和无损计算(影像数据损耗小,保留更多信息和细节,对后期更友好),尽可能保证画面的「原汁原味」。

举个简单的例子,比如我们在一个昏暗的剧场中拍照,如果是没有AI计算摄影,整个画面中可能是全部黑暗,又或者只能看到微弱的色彩。而未来有了马里亚纳 MariSilicon X,OPPO可以借助其“MariLumi”影像处理单元,显著提升HDR(高动态范围成像)能力表现,让剧场中拍摄的画面,都可以还原出人眼看到的状态。

听起来这个改变很简单,但其背后是非常困难的研发过程。要知道现在安卓旗舰平台骁龙8也仅支持18bit HDR,OPPO这第一次自研芯片,就可以将其位宽提高到20Bit。这2Bit之间,画面宽容度整整提升4倍(2的20次方与2的18次方对比),直接从原来的25万:1,提升到100万:1。

此外,马里亚纳 MariSilicon X还可以实现4K 30帧AI夜景。拍照比拼已难分胜负,视频是下一个竞争赛道,而视频的实时处理特性,令其难度远大于照片的先拍后算。OPPO能同时实现4K+AI+HDR规格夜景视频,已经摸到了目前手机影像性能的天花板。

在发布之初,OPPO还公布了一段「马里亚纳 MariSilicon X原型机」、iPhone 13 Pro Max以及OPPO Find X3 Pro三台手机在4K极限暗环境下实拍对比。从中我们可以看到,无论是亮度、色彩以及细节的还原,三者之间差距都非常明显。

之所以能实现如此优异表现,也离不开马里亚纳 MariSilicon X高达18TOPS@int8的计算能力,它的表现比搭载骁龙888的OPPO Find X3快了20倍,单从AI算力上来讲,它已经超越苹果目前最新的A15 SoC处理器,后者AI算力约15.8TOPS。

当然,马里亚纳 MariSilicon X 能力不止这一方面,其还拥有实时RAW计算、RGBW Pro以及双层存储等等很多的特点。简单理解的话,马里亚纳 MariSilicon X未来在智能手机中的应用将独立于SoC存在,而不是替代SoC中AI能力,最终目的是对手机影像的独立提升,实现1+1>2的结果。

双芯或成为自研芯片超车的主流选择

目前的手机行业中,大多采用的都是主流SoC的平台架构,其承载了手机运行过程中的主要处理工作,其实它也是集成了CPU、GPU以及NPU等不同的芯片模块,只是封装到同一颗芯片而已。

对于手机厂商来说,在自研芯片领域如果直接挑战SoC的研发,需要更长的时间成本、人力成本以及投入成本,其背后需要极为丰富的经验和试错过程,包括异构设计能力、解决算法问题以及与生产厂商的制程工艺选择等等一系列问题。

对于现在这个阶段,夯实某一功能的芯片自研技术变得更加现实,并且从中还可以得到更多的经验。通过双芯甚至多芯协同的做法,在某一垂直优化路线上也可以做到功能的跨越式提升,构筑自家的技术壁垒。

OPPO已经计划于2022年第一季度中的下一代Find X系列旗舰级智能手机中搭载马里亚纳 MariSilicon X,这个动作也证明了OPPO对其芯片能力的信心。

不过,我们从OPPO直接选择NPU,而没有选择ISP也可以看出,OPPO已经将芯片的异构设计能力纳入自研范围之内。OPPO的终极目标是通过芯片自研开启手机科技创新与影像能力跃升的新时代,此次发布的马里亚纳 MariSilicon X是OPPO检验自身技术能力和实力的产品,也使其像华为、苹果一样,成为拥有自研芯片能力的科技公司。相信这颗影像专用NPU只是现阶段的尝试,后续还将有更多动作尚待揭晓。

延伸 · 阅读