专家论道大模型 | 资源受限下 ，“白泽”有何秘籍？

3月21日，机器之心在北京举办ChatGPT 及大模型技术大会。大会围绕研究、开发、落地应用三个角度，邀请了大模型领域的知名学者、业界顶级专家共谈大模型及中国版 ChatGPT的未来。

人民中科创始人、中科院自动化所模式识别国家重点实验室研究员、博导李兵受邀出席，做了“白泽”——面向数字发现的跨模态基础模型探索为主题的演讲。

李兵博士，人民中科创始人、中科院自动化所模式识别国家重点实验室研究员、博导，国家优青，北京市杰青，中科院 “青年学习标兵”，科技部 “新一代人工智能” 重大项目负责人，国家自然科学基金重点项目负责人。

(资料图)

长期从事人工智能、跨模态内容理解与安全方向的研究，在包括 IEEE TPAMI 等人工智能权威国际期刊和会议上发表论文 100 余篇，曾获国家自然科学二等奖、中国自动化学会技术发明一等奖。

在 ChatGPT 引爆科技领域之后，时隔不到四个月，OpenAI 又出大招，重磅推出多模态预训练大模型 GPT-4，号称史上最先进的 AI 系统！微软更是将 GPT-4 全面接入 Office 全家桶，人人都可以用人工智能自动生成文档、电子邮件、演示文稿。

其实不管是 ChatGPT ，还是 GPT-4，其背后都依赖大模型。ChatGPT的巨大成功要归功于长久以来业界对大模型发展的重视。短短几年，AI 模型的参数量已经从最初的数亿扩张到千亿，甚至万亿规模。

从技术上讲，ChatGPT是一个出色的NLP（Natural LanguageProcessing，自然语言处理)新模型。如今大火的ChatGPT，得益于AIGC背后的关键技术NLP得到突破。NLP赋予了AI理解和生成能力，大规模预训练模型也是NLP的发展趋势。

预训练大模型是面向通用智能最高阶的探索，也是AI持续变革的核心发展方向与动力。而随着 GPT 技术的快速发展，尤其 ChatGPT 展现出来的出众的智能能力，传统的 AI 研究范式已经被打破。与此同时，面向未来 Web3.0 环境下海量的多源异构的泛视频数据，传统基于单模态内容理解已无法满足高语义级别的内容理解与线索发现。

多模态是未来人工智能应用发展的方向。从多模态到跨模态，作为人民中科创始人，李兵带领的团队坚持多模态和跨模态基础研究20余年，人民中科的核心产品——“白泽”核心技术就是跨模态预训练大模型。

“白泽”可跨越文字、语音、视频等多模态内容的语义鸿沟，自动关联多模态间关键要素。可跨模态实现文本搜图片、文本搜视频、图片搜视频、视频搜视频、图片搜文字、视频搜文字等功能，是探索数字世界的重要工具。

值得一提的是，从“雨燕”智能计算加速卡，到“白泽”跨模态智能引擎，人民网内容风控大脑全部技术组件实现了整体国产化，形成了涵盖内容风控，内容聚发，版权保护等新领域、新应用软硬件技术架构。

从产业价值的角度来看，预训练大模型带来了一系列可能性，让产学研各界看到了由弱人工智能走向强人工智能，走向工业化、集成化智能化的路径。在这样的驱动背景下，大模型也会有一些可预见的趋势与发展。

人民中科跨模态技术手段，能通过中小模型解决以前需要上百个模型才能解决的问题，同时跨模态技术的算力和应用的投入是非线性的，可以大幅减少算力消耗。

在受限资源下的基础大模型探索，“白泽”是如何做到的？

比如，“白泽”大模型前端提速——基于压缩域视频内容理解

人民中科-中科院自动化所团队联合推出了面向高通量小样本条件下的基于压缩域视频识别新方法，相关成果已被人工智能国际权威学术会议IJCAI2022接受。此方法对昔日人海战术的视频标签，分类，审核是一项重要的技术突破。

基于该成果，将极大地提高“白泽”对海量视频数据的识别效率，以及提升其对小样本视频的识别性能。

比如，“白泽”——教导主任指导下的大模型蒸馏压缩一体化

面对越来越深的深度学习模型和海量的视频大数据，人工智能算法对计算资源的依赖越来越高。为了有效提升深度模型的性能和效率，通过探索模型的可蒸馏性和可稀疏性，人民中科和中科院自动化所联合研究团队提出了一种基于“教导主任 - 教师 - 学生” 模式的统一的模型压缩技术。

基于该项研究成果，“白泽”能够在保证算法性能的情况下，将模型大小进行大规模压缩，从而实现高通量低功耗的跨模态智能理解和搜索能力。根据初步的实际应用情况来看，该项技术能够将大模型的参数规模压缩平均四倍以上。一方面能够极大降低模型对 GPU 服务器等高性能计算资源的消耗，另一方面能够将无法在边缘端部署的大模型经过蒸馏压缩后实现边缘端的低功耗部署。

让机器理解视频，提升数字世界透明度。人民中科拥有世界领先的内容理解技术和视频搜索能力，希望能在数字世界急剧膨胀、安全形势严峻的大背景下，为市场提供高智能、低成本的内容发现和管理服务，为社会治理、政务服务、教育金融、消费娱乐等领域提供技术支撑。

“道路对了，不怕遥远!”未来，人民中科将继续深耕内容安全领域，将人工智能前沿技术与市场需求融合，形成低成本、高效率、自主可控的产品体系，帮助企业降低AI应用门槛。同时，不断升级产品和服务，护航政府、企业、机构内容安全，为网络强国建设作贡献。（郭秀梅）

编辑：汪黄任

责编：李芊诺

审核：张永杰

关键词：