当前位置:科学 > 正文

我们开了个 AI 沙龙,GPT 写了篇稿|知春小宇宙分享篇_动态焦点

2023-04-06 16:03:17  来源:知春资本

随着人工智能技术的不断发展,全球科技行业正迎来一场前所未有的巨变。在这波浪潮中,大模型成为了新的引擎。GPT-4 等大型预训练模型的问世,让人们见证了人工智能在自然语言处理、计算机视觉等多领域取得的重大突破,这场变革不仅局限于技术层面,而是正重塑人与机器之间的关系,驱动开拓新的万亿市场,迎来 AIGC 的大航海时代。

在这波技术狂潮中,每个个体都将主动或被动地参与其中。为了帮助创业者在当下时点更深入探讨大模型带来的时代机遇,3月21日,知春资本诚邀来自腾讯、Meta、Google的极客大咖,共话“大模型狂飙下的机会与挑战”,并通过GPT-4梳理了本次活动记录,与大家分享。


【资料图】

[ 谈创新 ]


主持人:如何评价 GPT-4?它有哪些突破?还有哪些局限?


林世飞:

相较于之前的模型,GPT-4 的主要改进有以下几个方面:

首先,它的推理能力得到了显著提升。文档中提供了一些评测结果,证明其在各种考试中的得分远高于之前,已接近人类水平。

其次,GPT-4是一个多模态模型,可以支持图像输入。

再者,它能处理更长的输入和上下文信息。

最后,在安全性方面,GPT-4 显著减少了误导性和有害内容的输出,大约降低了80%,这也是一个重要的提升。

综合来看,GPT-4 相较于之前确实取得了很大的进步。官方报告里面提到一个“事实一致性”的指标,旨在确保模型的回答内容不会胡编乱造。它的得分比之前的版本提升了40%,可以说是最大的一个进步。

大模型最大优势是模型可以不断迭代优化,人的生物性限制很强,比如记忆容量,寿命。


龚渠成:

关于 GPT-4 本身,许多人可能一开始就注意到了它是一个多模态模型,具有强大的图像处理能力。但在我看来,它在推理方面的改进可能更为显著,尤其是在理解复杂任务、标准化考试以及结合图像进行进一步任务分解和拆分等方面。这些都是非常令人惊讶的亮点。

当然,尽管 GPT-4 在处理一些专业知识时,相较于 GPT-3 或 GPT-3.5 有所改进,但仍然存在一些问题。在我自己的试用过程中,我发现在处理一些极端专业性的知识时,模型仍然可能出现一些看似严肃的胡言乱语,这是一个局限性。

此外,OpenAI 在其技术报告中明确拒绝公开具体的模型、架构、参数量、数据集等详细信息,相当于走向了闭源的方式。因此,如果您希望对其进行改进或进行二次开发,可能会面临较大的困难。


艾雪斐:

前面两位嘉宾已经总结得相当全面了,我在此补充两点。

首先,从多模态的角度来看,GPT-4 更多地体现了在工程能力和模型结构能力上的强化,而非仅依赖数据和算力的堆积。事实上,仅针对文本的大型模型训练与多模态训练在模型结构和工程方面的挑战都非常严峻。因此,这次 GPT-4 未公布整个模型架构,很可能是因为它取得了一些重大突破,希望保持领先地位。

其次,由于我们近期在进行 AI 音乐研究,我们也尝试了许多基于大型模型的方法,以期提高音乐 AI 的创作能力。然而实际上,目前大家使用的 GPT-4 或其变体在音乐生成方面仍存在很大的局限性。

相较于 GPT-3,GPT-4 在某些方面确实有所提升。例如,我们之前会告诉 ChatGPT 一个节奏,让它根据指定的字数编写歌词。在这方面,GPT-4 相较于 GPT-3.5 理解能力有显著提高,能够遵循字数限制。但是,它在其他方面仍然存在诸多局限。



[ 谈格局 ]


主持人:市场上的大型模型在未来可能会展开激烈竞争,谁会是最领先的玩家?


艾雪斐:

我简要介绍一下目前已知的一些大型模型。在国外,OpenAI 较为知名,其推理能力和逻辑能力处于领先地位。其次,Google 和 Meta 也有相应的大型模型。最近斯坦福推出了一个开源版本,这是一个相对较小的模型,适用于个人定制化部署。

实际上,OpenAI 的领先优势依然相当明显。即使不提 GPT-4,GPT-3.5 也已经具有很大的领先优势。当然,Google 最近投资的 Anthropic 模型也值得关注,其性能介于 GPT-3.5 和 GPT-4 之间。

在国内,目前发布的大型模型中,我了解到许多团队正在进行相关研究,因为国内存在特殊的国情,而且与国外的工作方式也有所不同。因此,实际上我看到国内进行模型研究的团队甚至比国外的还要多。

目前,Google 更倾向于与现实场景的交互,例如他们会优先研究具体场景,如医疗、教育或与机器人结合的实际应用突破。OpenAI 实际上致力于线上市场和逻辑推理。而国内的整个生态尚未完全发展起来。从未来的角度看,我认为它可能会类似于云计算或者类似于 Web 3.0 的公链生态

当大家的技术水平都追赶到相近的程度时,例如未来出现 GPT-5 或 GPT-6,其他公司也会有一定的追赶空间。届时,竞争将更多地体现在生态资源投入、创业者贡献的数据以及垂直场景用户粘性方面。因此,我认为未来这个领域仍然有很多百花齐放的可能性。但是,如果要争夺成为最大的 AGI 公司,目前 OpenAI 仍然是最有希望的。


龚渠成:

国内外的生态已经讨论得差不多了。我们还可以简要提及一些开源社区的力量,例如 Hugging Face 开源的 Bert 模型,Meta 的被动开源模型,以及斯坦福微调LLaMA 的 Alpaca 模型等。实际上,这些都需要建立在模型本身的参数、架构和算法的基础上。

假如 OpenAI 公开 RLHF(基于人类反馈的强化学习)这一套机制,这些开源力量将发挥更大的作用,但如果不公开发布,开源社区实际上很难凭借自身力量实现大规模的提升。

在大模型市场中,要想取得胜利,主要依靠三大要素:首先是算法,这主要依赖于人才的积累;其次是算力,也就是资金投入;最后是数据。在这几个方面,大型企业通常具有较大的竞争优势。因此,我个人认为最终竞争会逐渐激烈,稍微落后的参与者可能会被淘汰。或许在一两年后,局面将演变为少数几个玩家的竞争格局。


林世飞:

大厂确实拥有较大的优势。尽管 OpenAI 目前并未公开具体的实现方式,但之前他们的论文已经大致展示了方法。在技术层面上,大厂不会不存在显著差异。因此,我认为大厂具有优势,一方面是由于它们拥有大量的数据,另一方面是因为它们确实能够承担这种训练的高成本。

我认为 OpenAI 的真正优势在于自从它上线后,就获得了大量的数据输入Prompt可以改善训练,目前其他人还无法企及。不过,我还是比较看好 Google 的发展,因为它手中掌握着数款十亿计的App,并且其搜索引擎领先地位暂时无法被其他公司取代。Google 搜索场景类似于聊天场景,获得了大量的用户查询输入,所以它应该可以在短时间内收集到大量的用户数据。

由于在技术和算力方面大家并无太大差距,后续竞争将主要依赖于数据。因此,我认为 Google 拥有很大的实力,而且在产品结合方面也表现出强大的能力。虽然还有 Microsoft,但随着时间的推移,我认为它在 Google doc 整合优势也会逐步发挥出来。最终,真正考验各大公司的将是产品创新和细节迭代。所以,总的来说,我对 Google 的前景持较为乐观的态度。

在国内,大家对百度的了解相对较多。我再补充一个目前支持中文的模型,GitHub 上有一个名为 ChatGLM-6B 的模型。据项目介绍,该模型可以在消费级的显卡运行。我认为这对于创业者和关心该领域的人来说是一个值得关注的信息。


[ 谈数据 ]


主持人:AI 确实存在巨大的数据成本问题。谷歌、Meta 和腾讯等大厂在内部如何看待数据隐私问题,以及数据来源的合法性问题?

艾雪斐:

在机器学习和深度学习出现之前,大厂对于数据的敏感性比较高,但现在使用数据建立模型已成为一种壁垒,使得大家对数据的合法性和授权程度关注减弱。在我们依赖的推荐系统中,我们授权了公司的数据,但我们并不知道具体哪些数据被授权使用了。我们无从得知这是因为推荐系统做得好还是因为数据被监控了。


林世飞:

大模型的数据并不指个人的用户数据,个人数据不在这个范畴。我刚才提到的是像 ChatGPT 这样的语言模型,这些都属于大型语言模型,根据它们的论文来看,它们使用的是公共领域内的文本,包括大段的书籍或者网页等,处理以后的文本质量很高。所以说大厂有优势是因为它们本来就做搜索引擎,有很多全网的网页数据,而不是因为它们有很多个人用户数据。另外,由于法律的限制,个人数据也不允许用于任何模型,所以大模型与隐私数据没有什么关系。

就算是像 ChatGPT模型,它的强化学习使用的对话数据也不是很多,大概是几万条,找很多人来做标注就好了。

从我的观察来看,大厂的优势主要在于历史数据的积累和基础设施建设。尤其是像搜索引擎这种拥有大量标注数据的系统,每天都会产生大量的查询和用户输入,这些数据可以用来优化查询结果,以及理解用户输入的含义和意图。因此,数据方面的优势对于大厂来说是很重要的,但是它们的优势并不是与隐私相关的。


龚渠成:

我也想补充一些内容关于之前提到的数据隐私问题。尽管我们之前说的是在公开数据集上进行训练,但是在这些数据集中,不可避免的会包含一些带有版权的文字或图片。

由于大型语言模型本身是一个概率模型,且是一个黑盒模型,所以现在有人专门研究如何使用适当的 Prompt 攻击大型语言模型。例如,人们会发现在某些合适的Prompt下,会将某个人的个人信息续写出来,而这些信息可能是从某个不知名的网页上收集的。或者在生成图片时,使用合适的Prompt可以生成某个艺术家的一幅艺术作品,且与原作非常相似。

随着判别式 AI 向生成式 AI 的时代转变,我们可以生成的东西越来越多。这也许会提高用户对这些问题的认识,因此我认为随着时间的推移,相关的法律政策也可能变得更加严格。



[ 谈挑战 ]


主持人:随着大模型和AI的发展,你们认为哪些行业和商业领域受到的影响最大?

龚渠成:

关于这个话题,最近有一篇论文探讨了 GPT 系列模型会对哪些领域产生最大的影响,其中提到可能会受到最大影响的领域包括一些文献调研、内容创作和翻译等方面。此外,那些基础重复性的工作,比如需要处理大量文本的财务或税务文件,也可能会直接受到影响。未来,人们会在交互模式中越来越适应机器的交互方式,从以前人去适应机器的交互方式,到现在机器去配合我们的交互方式,而这种方式几乎会影响到每个人的工作模式。


林世飞:

在我看来,搜索、文本创作和基于聊天的应用是受到影响最大的三个领域。

首先,搜索引擎将率先受到冲击,因为搜索引擎的本质是将全网数据收集并建模,然后通过查询来驱动检索。ChatGPT 模型也是基于大量文本的建模,它的用户输入是查询语句,我们称其为Prompt,但它的匹配模式比搜索引擎更进一步,因为它会进行语义匹配,而且它的输出更加结构化。我们之前分析了大量的查询语句,发现人们经常需要查找参考文献或者其他的参考文字,而这种生成模型将别人的参考结构化并输出,具有非常强大总结作用。

与搜索引擎相比,ChatGPT 从简单的关键词匹配转向语义匹配,输出也更加结构化,交互也更加自然。因此,它大大减轻了用户的负担。从交互,检索模式和输出方面来看,它已经比搜索引擎进步了很多,这就是为什么它发布后,谷歌的股价会下跌那么多。因此,人们担心搜索引擎受到的冲击最大。

另一个受到影响最大的领域是文本创作类。刚才我们也提到了文本创作类,特别是写广告文案、新闻报道等方面,我认为这些创作类场景下的应用比较实用,这些场景受到的影响可能是最大的。另外,之前提到的财务法律领域,可能因为语言模型的一个潜在弊端,即基于概率生成可能存在一些胡编乱造的情况,因此在这种非常严谨的场景下可能有些困难。相比之下,像刚才提到的新闻报道、文案创作等领域,给出一些参考并生成结构化的输出,应该是受到影响最大的。

第三个领域是聊天类的应用。这类应用通常不需要像法律或财务领域那样严谨,有时只需表现得有条理即可。我们已经在很多场景中应用了聊天类的应用,比如电商客服等等,甚至可能还会出现虚拟情人这种情感类的聊天应用。因此,我认为聊天类的应用可能会受到很大的影响。


艾雪斐:

从AlphaGo开始,到后来的机器人打Dota,再到现在的ChatGPT,我们可以发现,在越是规则明确或有限路径的场景中,机器表现得越好。但我认为,人类的特殊性,是源自于我们作为人类在族群认同感上的需求,在特定的时候,我们需要人类来帮助我们提供情绪价值,当然在很多场景中,机器也可以帮助我们提供情绪加持。也就是未来可能会发展成为机器有机器的想法,人类有人类的想法,我们共生在一个社会里。

但是,如果我们要看未来的终局,人对于自身个性化价值的延展,以及我们从种族认同中萃取的价值,可能是人类不可替代的关键。在这里,最重要的一点是我们需要一起讨论如何更好地生存下去,这是人工智能永远无法替代的。

比如,我们要一起思考未来的生活方式和社会建设,例如制定法律、教育和医疗形式等与人类生存和发展相关的问题,目前这些是机器无法替代的。而机器能否像人一样敏感和适应未来的世界,还有待观察和探讨。所以,我其实还是挺期待看到AI在未来的发展中究竟能进化到什么程度。


龚渠成:

刚刚提到Chatbot,我还想补充几点。

首先,如果是一个AI来服务你,它的效果在可预见的未来还是会继续提升,而它成本也会继续降低,甚至让你得到的体验比人还要好。我觉得其实对于很多人来说这现在不是一个共识,但慢慢的会在社会上有越来越高的接受广泛度。

第二点,AI和人之间的交互,其实不是对人际关系的替代,而是一种补充。因此,我们可以引入一种正向和有价值的情感来源,这将有助于整个社会的进一步发展。比如你通过看别人直播唱歌,得到了很高的情绪价值,但从整个社会的角度来看,唱歌的人可能会觉得自己非常廉价,他的情绪价值可能非常低。在社会交互中,这往往是一个相对于灵活的游戏,赚了的人必然有亏的人。如果把这种情况放大到整个社会,就会变成一群人剥削另一群人。但是,我们可以想象一种可能的终局,那就是如果我们能够控制好资源、算力和成本,AI可以成为一个无限正向情绪价值的来源。它不会感受到负向的情绪,而是用算力来替代社会中的负面情绪。



[ 谈希望 ]


主持人:对于创业者而言,目前产业链上有哪些机会?


林世飞:

在创业时,不建议选择那些大公司易于进入的机会,因为大公司掌握了市场入口。相反,我更喜欢创业者在比较垂直的方向上发展。例如,最近我想到一个点子,就是能否让 GPT 去做代码审计,帮我找漏洞。这个方向足够垂直,足够具体。如果我们能够找到足够多有漏洞的代码,专门用于模型的场景调优,这比仅仅依靠大模型来处理数据要更加有效。

此外,创业者还可以在垂直领域中开发大模型,比如在抖音上有很多关于保险视频的创作者,我们能否开发一个保险领域的大模型用于内容创作呢?我们可以收集市面上最全最新的保险资讯以及保险相关的书籍和材料,然后询问模型:最近最值得购买的人寿保险是什么?这样就可以得到比较好的答案,通用的大模型做不到最新和垂直的深入。

总之,对于创业者来说,我建议他们在一个垂直的行业中进行优化,而不是与其他人在同一个领域竞争。重要的不仅仅是模型和算法,更多的是你对于场景数据的积累和理解。


龚渠成:

我们认为应用层会有更多创业公司的机会,底层包括大模型和生态竞争等方向的机会更多属于大厂。我们相信应该利用大模型基础上的开源或改进的模型,以及结合产品构建自己的数据壁垒,这其中具备快速工程落地的能力非常重要。同时,我们也要进行认知上的快速的迭代。我觉得这是作为一个初创公司非常重要的一点。
在这里面积累这些数据直接去微调大模型,或者建立一些垂直领域的方向,我觉得可以做,但是可能性价比没有那么高。我们现在更多做的是一套比较灵活的调度系统。我们可以利用自己的数据训练相应的小模型,去决定什么时候要用模型a,什么时候要用模型b,什么时候用最适合的Prompt去做这些事情。这样可以在不同的场景和不同的时间去最高效的去利用大模型。

同时,我们也是积累自己的用户和数据,通过这种小模型的方式去迭代用户的行为模型,这样才能够积累出一些和别的产品不一样的地方。在 AIGC 领域内,数据是至关重要的。

对于创业来说,另一个大的机会可能是内容领域,以前我们可能会关注平台上有多少创作者生产原创内容,但现在随着AI生成内容技术的发展,这方面会相对淡化,因为现在 AIGC 出来以后,其实这些内容都可以以低成本高质量生成。

此外,我认为仍需考虑成本问题,以搜索为例,因为谷歌搜索的成本很低,但如果使用Chat GPT或GPT-4,成本会很高。总之,要想成功,需要进行底层的革新并寻找高净值、高附加价值的场景来更好地利用大模型。


艾雪斐:

现在人们在抖音、B站和今日头条等内容消费平台上,AI在未来会为这些平台提供巨大的赋能。目前有新的工具可以让用户快速使用,例如AI绘画APP。在这个过程中,我们有机会建立新的内容形式和一个用于AI创作者的生态社区。

因此,我们已经看到了一个很好的例子:Civitai。这是一个为AI绘画创作者建立的交流和消费社区。随着绘画技术变得越来越精细并支持视频,它可能会成为未来最大的AI内容生成平台。

AI 内容生成的天花板非常高,甚至可以颠覆当前的平台。在快音,我们正在利用新的 AI 工具聚集新的内容创作者,以帮助平台获得更好的内容。因此,第一个方向是内容生产的方向,以及平台级别的机会。其壁垒实际上不在于底层工具,因为这些工具一直在不断研发,而且会有许多开源的工具。壁垒在于消费者或创作者,与以前的 UGC 平台相似。

第二个,我觉得可能会有机会的是一些SaaS 流程的创新。其实我们之前说企业数字化转型过很多年,但这个东西对于很多的老牌企业来讲,不仅建设起来困难,而且实行起来也困难。但当 AI 时代来临之后,企业 AI 转型会比以前数字化转型的效率和成本就效率会高得多,而且成本会低得多。

还有一点就是我觉得现在其实还存在大量未被挖掘的人和AI结合的玩法。其实当AI的智能程度越来越高,以及他对你越来越了解了之后,我们大家经常讨论的所谓的个人助理,他可不会仅仅只帮助你解决效率上的问题或者衣食住行上的问题,它可能可以帮你更多地去探索和这个世界,或者和其他人的一些交互以及知识的传递,包括未来。

我觉得未来第一个真正大规模的ToC的AI产品会从人和AI的玩法中出现,和当年的QQ空间、QQ秀一样。对更多的可能我们很多时候会去想的一些范式上的变化,或者是一些底层协议操作系统上面的一些变化。比如假设未来我们的RPC和API 接口全部被重写,变成一个用自然语言交互的RPC 和 API的接口, API和API之间它就不会存在语言的隔阂,这个时候其实它对于代码一个字符的准确率的要求就没有那么高,而是它可用就行。所以这个时候其实是会有很多的想象空间。

当然,我们现在所设想的就是那种效率型社会,只会是未来AI给我们的一个保底的保障,但是它会带来的更多的翻天覆地的变化,绝对是我们现在很难去设想的。所以这个过程一定要足够多的人去亲身投入和探索才能知道。


*文中嘉宾发言仅为个人观点,不代表知春资本立场,亦不构成任何投资建议。

关键词:

推荐阅读

mac mini干什么用 新款macmini性能怎么样?

Mac mini现在已经发布了,不少人还在犹豫要不要入手,那么mac mini主要干什么用?mac mini价格多少?新款macmini性能怎么样?今天一起来看 【详细】

3.7万物种濒临灭绝 面临灭绝危机的动物种群是什么?

3 7万物种濒临灭绝今天,人民日报为地球母亲发声表示全球超3 7万物种濒临灭绝,在这样一则消息之下,很多人都开始呼吁保护野生动物。但是目 【详细】

芦笋是什么 芦笋的成长有什么特别的要求吗?

芦笋的味道非常清爽,美味可口,营养价值很高。它也是我们都经常吃的一种蔬菜。它富含纤维素,那么芦笋是什么?芦笋是什么石刁柏,学名芦笋 【详细】

国产电梯前十名品牌是哪些?电梯使用寿命是什么?

国产电梯前十名品牌是哪些?上海三菱1987年上海机电股份有限公司和日本三菱电气股份有限公司合资成立了上海三菱电梯有限公司,该公司是中国 【详细】

黑芝麻产地在哪里 黑芝麻的生长环境介绍

黑芝麻产地在哪里1 黑芝麻的起源说到黑芝麻的起源,必然离不开江西。江西是继河南,湖北、安徽之后的中国第四大芝麻主产区。它是中国第一大 【详细】

关于我们  |  联系方式  |  免责条款  |  招聘信息  |  广告服务  |  帮助中心

联系我们:85 572 98@qq.com备案号:粤ICP备18023326号-40

科技资讯网 版权所有