手机拍摄素质不断提升 滤镜背后需要一颗AI之“芯”

当下最受欢迎的手机App是什么?相信十个人中有九个都会回答“短视频”。

随着5G网络逐步落地，网络传输速度不再是瓶颈，加之手机拍摄素质不断提升，大众越来越热衷于通过视频的形式来进行自我表达。

为了让用户更好地展现个性与审美，快手等短视频平台陆续上线了花样繁多的滤镜及特效功能，使得“老铁”们无论在繁华都市还是田间地头，都能创作出充满趣味和生命张力的短视频作品。

比如一秒变装童话在逃公主：

如果你热衷于看肥皂剧，也能轻松化身霸道总裁或玛丽苏女主。更厉害的是，在快手上使用“娃娃脸”特效，还可以一键回到幼儿时期。当然，展望自己中老年时期的模样也不在话下，轻松帮你秒速穿越“我的一生”。

滤镜背后的“灵魂画师”需要一颗AI之“芯”

不过，这些好玩又有趣的特效背后，其实深藏着AI科技的功与名，全球领先的移动平台厂商高通也没少操“芯”。就拿快手上广受好评的“手绘滤镜”来说，它能够持续将用户拍摄视频的每一帧画面转换成唯美的手绘作品。

这一滤镜特效的实现大致可以分成几个步骤：首先，用户拍摄视频时，ISP会处理视频并发送给快手App。快手App会对视频的每一帧进行预处理，并进行人脸侦测和剪切等;然后再发送到高度定制化、类似于UNET的神经处理网络(即机器学习算法)，该神经处理网络将生成与输入帧相融合的手绘特效。之后，再通过化妆和美颜算法对整体图像质量进行优化，就得到美美的特效预览啦。

以上每一个步骤都需要借助精密巧妙的算法来实现，而其中最关键的就是生成手绘特效的神经处理网络。作为AI算法的一种，它和传统软件中算法的最大不同就在于，它可以通过不断学习来提升自己的能力。你不妨把它想象成一个学霸，可以通过不断“刷题”来提升成绩，而且刷的题型越多，成绩就越出色。AI算法也热衷于“刷题”，它训练自己的题库便是海量的图像和视频数据。

作为短视频赛道上的领头羊，快手拥有庞大的用户基数。根据快手大数据研究院发布的《2021快手内容生态半年报》，快手应用平均月活用户已经高达5.198亿。同时，快手不久前发布的《2021快手创作者生态报告》显示，2020年，超25%的快手应用平均月活用户为内容创作者。据此估算，快手平台上聚集的内容创作者数量已经超过2亿，而这背后是数量更加惊人的视频数据。这些数据就像水流一样源源不断地浇灌着快手的算法之花，使其愈发娇艳。

对AI略有了解的读者都知道，算法、数据和算力被誉为驱动AI发展的三大引擎，缺了其中任何一个，AI产业这艘巨轮都跑不起来。落到“手绘滤镜”这样一个具体的功能上亦是如此。尽管有了出色的算法和丰富的数据，但要让用户获得完美流畅的使用体验，中间仍缺少一个必要环节，那就是强大的AI算力。

快手发现，虽然“AI艺术家”能够创作出引人入胜的手绘作品，但在速度方面却难以满足需求，实际使用时会出现帧率下降的情况。

“手绘滤镜”算法默认是在CPU上运行，而CPU是一个通用计算单元，并非运行AI工作负载的最佳选择。在这种情况下，App提供商通常会选择在云端进行复杂的AI处理，然而云端又会受到网络覆盖的影响，导致额外的时延和其他变化。几经探索，快手终于找到了一个完美的解决方案——搭载高通AIE的骁龙移动平台。

软件、硬件两手抓，两手都要硬

高通的骁龙移动平台大家已经耳熟能详了，比如最新的骁龙888、骁龙780G等等，但什么是AIE呢?高通AIE其实是人工智能引擎(Atificial Intelligence Engine)的简称，它并非一枚全新的芯片，而是可以内置在骁龙移动平台中的一套涵盖完整软硬件的AI解决方案。

那么，高通AIE具体都包含哪些关键组件呢?首先，硬件方面，高通AIE采用异构运算，内部包含Hexagon 处理器、Adreno GPU 和 Kryo CPU 的人工智能优化组合。其中，Hexagon 处理器擅长处理涉及向量数学的应用工作负载;Adreno GPU擅长处理精度较高的数据运算，比如图像和视频等等;Kryo CPU则更加擅长对常规数据的运算与处理。

如果你对这些专业词汇感到陌生，没关系，你可以把它们想象成一个工厂里的三条生产线，分别擅长生产不同的产品。在异构运算的条件，工厂接到生产任务后会首先分析该任务究竟是哪条生产线更擅长的，并进行相应的分配，从而让整个工厂处于最高的生产效率。

同时在软件层面，高通AIE包含了骁龙神经处理 SDK、Android NN 和 Hexagon NN。软件配套组件的主要作用在于让开发者和OEM厂商可以更加容易地应用高通AIE人工智能引擎，以便在最短的产品研发周期中，第一时间推出自家定制化、个性化的AI智能终端产品。对于开发者与OEM厂商而言，一套解决方案最为重要的除了强大的功能外，易用性则是第二考虑因素。很显然，高通AIE人工智能引擎很好地兼顾了这两点。

除了在产品设计之初就将易用性刻入高通AIE的基因，高通还和下游厂商进行了大量的共创工作，以帮助后者最大限度发挥高通AIE的巨大潜力。比如，为了给快手的“手绘滤镜”功能提供算力支撑，高通技术公司和快手从骁龙765移动平台推出时就展开合作。骁龙765首次释放了CPU的工作负载，并通过Hexagon处理器来完成相应工作，这使得手绘滤镜的帧率(FPS)提升了56%，并且功耗降低32%(降低显示功率)，从而带来无缝的视频拍摄体验。

而且，高通技术公司和快手工程师通力合作，针对快手对于未来移动平台在性能、功耗、扩展性和兼容性方面的需求进行分析。高通神经网络处理SDK能够以软件的方式提供支持，而Hexagon处理器则是作为AI加速器提供支持。并且，双方针对量化开展的联合工作对于此次合作的成功发挥了关键作用，因为其能够在提升性能和能效的同时，确保处理的精确度。

基于此，高通还正在推动双方合作更进一步，确保快手所需的各种特性能够面向最新一代骁龙778G平台及时进行优化，满足骁龙778G终端的商用需求。

高通AIE的发展史也是手机AI的普及史

高通AIE首次被国内用户所熟悉要追溯到2018年3月，当时vivo发布最新一代旗舰手机vivo X21，搭载了骁龙660AIE。

如今，高通旗下的骁龙845、骁龙835、骁龙820、骁龙821、骁龙700系列等均已支持高通AIE人工智能引擎。此外，在物联网领域的Qualcomm视觉智能平台体系中，QCS605与QCS603也同样支持高通AIE人工智能引擎。

随着“家族”不断壮大，高通AIE的性能也在不断提升。在骁龙888移动平台中，高通最新推出了第六代高通AIE。作为一整套处理器协作系统，这代AI引擎包含了重新设计的Hexagon 780处理器，不仅使标量、张量和向量加速器之间的物理距离几乎消失，还在这三个不同的加速器之间添加了一个共享内存，实现了更快和更高效的数据移动和共享。在某些用例下，数据交互时效实现了千倍提升。不仅如此，加速器本身也实现了提升，其中标量加速器性能提升50%，张量加速器的矩阵处理速度提升了2倍。基于全新的架构设计，Hexagon每瓦特性能较前代平台提升高达3倍，并实现了每秒26万亿次运算(26 TOPS)的惊人算力。

基于强大的算力，高通AIE正在为越来越多的终端应用提供可靠支撑。除了前面提到的视频滤镜还包括AI刷脸、拍照翻译、3D Animoji等等。不过，对于绝大多数用户而言，AIE带来的最直观变化还是拍照体验的提升。得益于专属AI处理和加速，国产安卓旗舰在无需堆叠硬件传感器的前提下，通过软件算法等就能实现更加出色的拍照效果。

除了视觉方面的应用，高通AIE也在帮助手机中的“虚拟助理”不断提升语音交互能力。比如vivo手机的虚拟助理Jovi背后，是就是高通AIE作为心脏在不断供血。

高通AIE能力不断提升的过程，正是手机AI不断拓展其应用边界的过程。不夸张地说，高通AIE的发展史也是手机AI的普及史。

关键词： 拍照更好看 5G网络 网络传输 瓶颈