当前位置:IT > 正文

手机拍摄素质不断提升 滤镜背后需要一颗AI之“芯”

2021-08-19 09:31:41  来源:雷锋网

当下最受欢迎的手机App是什么?相信十个人中有九个都会回答“短视频”。

随着5G网络逐步落地,网络传输速度不再是瓶颈,加之手机拍摄素质不断提升,大众越来越热衷于通过视频的形式来进行自我表达。

为了让用户更好地展现个性与审美,快手等短视频平台陆续上线了花样繁多的滤镜及特效功能,使得“老铁”们无论在繁华都市还是田间地头,都能创作出充满趣味和生命张力的短视频作品。

比如一秒变装童话在逃公主:

如果你热衷于看肥皂剧,也能轻松化身霸道总裁或玛丽苏女主。更厉害的是,在快手上使用“娃娃脸”特效,还可以一键回到幼儿时期。当然,展望自己中老年时期的模样也不在话下,轻松帮你秒速穿越“我的一生”。

滤镜背后的“灵魂画师”需要一颗AI之“芯”

不过,这些好玩又有趣的特效背后,其实深藏着AI科技的功与名,全球领先的移动平台厂商高通也没少操“芯”。就拿快手上广受好评的“手绘滤镜”来说,它能够持续将用户拍摄视频的每一帧画面转换成唯美的手绘作品。

这一滤镜特效的实现大致可以分成几个步骤:首先,用户拍摄视频时,ISP会处理视频并发送给快手App。快手App会对视频的每一帧进行预处理,并进行人脸侦测和剪切等;然后再发送到高度定制化、类似于UNET的神经处理网络(即机器学习算法),该神经处理网络将生成与输入帧相融合的手绘特效。之后,再通过化妆和美颜算法对整体图像质量进行优化,就得到美美的特效预览啦。

以上每一个步骤都需要借助精密巧妙的算法来实现,而其中最关键的就是生成手绘特效的神经处理网络。作为AI算法的一种,它和传统软件中算法的最大不同就在于,它可以通过不断学习来提升自己的能力。你不妨把它想象成一个学霸,可以通过不断“刷题”来提升成绩,而且刷的题型越多,成绩就越出色。AI算法也热衷于“刷题”,它训练自己的题库便是海量的图像和视频数据。

作为短视频赛道上的领头羊,快手拥有庞大的用户基数。根据快手大数据研究院发布的《2021快手内容生态半年报》,快手应用平均月活用户已经高达5.198亿。同时,快手不久前发布的《2021快手创作者生态报告》显示,2020年,超25%的快手应用平均月活用户为内容创作者。据此估算,快手平台上聚集的内容创作者数量已经超过2亿,而这背后是数量更加惊人的视频数据。这些数据就像水流一样源源不断地浇灌着快手的算法之花,使其愈发娇艳。

对AI略有了解的读者都知道,算法、数据和算力被誉为驱动AI发展的三大引擎,缺了其中任何一个,AI产业这艘巨轮都跑不起来。落到“手绘滤镜”这样一个具体的功能上亦是如此。尽管有了出色的算法和丰富的数据,但要让用户获得完美流畅的使用体验,中间仍缺少一个必要环节,那就是强大的AI算力。

快手发现,虽然“AI艺术家”能够创作出引人入胜的手绘作品,但在速度方面却难以满足需求,实际使用时会出现帧率下降的情况。

“手绘滤镜”算法默认是在CPU上运行,而CPU是一个通用计算单元,并非运行AI工作负载的最佳选择。在这种情况下,App提供商通常会选择在云端进行复杂的AI处理,然而云端又会受到网络覆盖的影响,导致额外的时延和其他变化。几经探索,快手终于找到了一个完美的解决方案——搭载高通AIE的骁龙移动平台。

软件、硬件两手抓,两手都要硬

高通的骁龙移动平台大家已经耳熟能详了,比如最新的骁龙888、骁龙780G等等,但什么是AIE呢?高通AIE其实是人工智能引擎(Atificial Intelligence Engine)的简称,它并非一枚全新的芯片,而是可以内置在骁龙移动平台中的一套涵盖完整软硬件的AI解决方案。

那么,高通AIE具体都包含哪些关键组件呢?首先,硬件方面,高通AIE采用异构运算,内部包含Hexagon 处理器、Adreno GPU 和 Kryo CPU 的人工智能优化组合。其中,Hexagon 处理器擅长处理涉及向量数学的应用工作负载;Adreno GPU擅长处理精度较高的数据运算,比如图像和视频等等;Kryo CPU则更加擅长对常规数据的运算与处理。

如果你对这些专业词汇感到陌生,没关系,你可以把它们想象成一个工厂里的三条生产线,分别擅长生产不同的产品。在异构运算的条件,工厂接到生产任务后会首先分析该任务究竟是哪条生产线更擅长的,并进行相应的分配,从而让整个工厂处于最高的生产效率。

同时在软件层面,高通AIE包含了骁龙神经处理 SDK、Android NN 和 Hexagon NN。软件配套组件的主要作用在于让开发者和OEM厂商可以更加容易地应用高通AIE人工智能引擎,以便在最短的产品研发周期中,第一时间推出自家定制化、个性化的AI智能终端产品。对于开发者与OEM厂商而言,一套解决方案最为重要的除了强大的功能外,易用性则是第二考虑因素。很显然,高通AIE人工智能引擎很好地兼顾了这两点。

除了在产品设计之初就将易用性刻入高通AIE的基因,高通还和下游厂商进行了大量的共创工作,以帮助后者最大限度发挥高通AIE的巨大潜力。比如,为了给快手的“手绘滤镜”功能提供算力支撑,高通技术公司和快手从骁龙765移动平台推出时就展开合作。骁龙765首次释放了CPU的工作负载,并通过Hexagon处理器来完成相应工作,这使得手绘滤镜的帧率(FPS)提升了56%,并且功耗降低32%(降低显示功率),从而带来无缝的视频拍摄体验。

而且,高通技术公司和快手工程师通力合作,针对快手对于未来移动平台在性能、功耗、扩展性和兼容性方面的需求进行分析。高通神经网络处理SDK能够以软件的方式提供支持,而Hexagon处理器则是作为AI加速器提供支持。并且,双方针对量化开展的联合工作对于此次合作的成功发挥了关键作用,因为其能够在提升性能和能效的同时,确保处理的精确度。

基于此,高通还正在推动双方合作更进一步,确保快手所需的各种特性能够面向最新一代骁龙778G平台及时进行优化,满足骁龙778G终端的商用需求。

高通AIE的发展史也是手机AI的普及史

高通AIE首次被国内用户所熟悉要追溯到2018年3月,当时vivo发布最新一代旗舰手机vivo X21,搭载了骁龙660AIE。

如今,高通旗下的骁龙845、骁龙835、骁龙820、骁龙821、骁龙700系列等均已支持高通AIE人工智能引擎。此外,在物联网领域的Qualcomm视觉智能平台体系中,QCS605与QCS603也同样支持高通AIE人工智能引擎。

随着“家族”不断壮大,高通AIE的性能也在不断提升。在骁龙888移动平台中,高通最新推出了第六代高通AIE。作为一整套处理器协作系统,这代AI引擎包含了重新设计的Hexagon 780处理器,不仅使标量、张量和向量加速器之间的物理距离几乎消失,还在这三个不同的加速器之间添加了一个共享内存,实现了更快和更高效的数据移动和共享。在某些用例下,数据交互时效实现了千倍提升。不仅如此,加速器本身也实现了提升,其中标量加速器性能提升50%,张量加速器的矩阵处理速度提升了2倍。基于全新的架构设计,Hexagon每瓦特性能较前代平台提升高达3倍,并实现了每秒26万亿次运算(26 TOPS)的惊人算力。

基于强大的算力,高通AIE正在为越来越多的终端应用提供可靠支撑。除了前面提到的视频滤镜还包括AI刷脸、拍照翻译、3D Animoji等等。不过,对于绝大多数用户而言,AIE带来的最直观变化还是拍照体验的提升。得益于专属AI处理和加速,国产安卓旗舰在无需堆叠硬件传感器的前提下,通过软件算法等就能实现更加出色的拍照效果。

除了视觉方面的应用,高通AIE也在帮助手机中的“虚拟助理”不断提升语音交互能力。比如vivo手机的虚拟助理Jovi背后,是就是高通AIE作为心脏在不断供血。

高通AIE能力不断提升的过程,正是手机AI不断拓展其应用边界的过程。不夸张地说,高通AIE的发展史也是手机AI的普及史。

关键词: 拍照更好看 5G网络 网络传输 瓶颈

推荐阅读

运动型轿车是什么 运动型轿车与普通车有何区别?

运动型轿车凭借着外观酷炫,动力性能强的特点,深受国内众多消费者的喜爱。特别是在年轻消费者心目中,运动型轿车基本上是购车的首选。但是 【详细】

汽油清洗剂是什么 汽油清洗剂加在汽油里是干嘛的?

最近有很多车主反映加油的时候总是建议用汽油清洁剂。但是,大部分人还是不太了解,还有就是一部分人纳闷汽油清洗剂加在汽油里是干嘛的?汽 【详细】

中国最便宜的汽车是哪个 最便宜的汽车汇总

现在汽车已经成为了大家最常见的交通代步工具了。但是,依然还是有很多的家庭非常的需要代步工具,却买不起特别贵的汽车。所以今天,我们就 【详细】

伊莱克斯冰箱质量怎么样 伊莱克斯冰箱质量好不好?

伊莱克斯冰箱质量怎么样:在2018年全球500强企业中,伊莱克斯排名第162位,在2020年全球2000强企业中,伊莱克斯排名第1965位,可见伊莱克斯 【详细】

劳动保护用品是什么 劳动保护用品有哪些?

劳动保护用品有哪些?劳动防护用品分为特殊劳动防护用品和一般劳动防护用品,一般劳动防护用品是指未列入目录的一般劳动防护用品。以下产品 【详细】

相关新闻

关于我们  |  联系方式  |  免责条款  |  招聘信息  |  广告服务  |  帮助中心

联系我们:85 572 98@qq.com备案号:粤ICP备18023326号-40

科技资讯网 版权所有