当前位置:科学 > 正文

环球观点:AI探索图谱/学习路线:AI发展史和AIGC的深远影响(2)

2023-03-09 06:01:08  来源:boomTec

此前经历了大概30年的发展,但是当时受限于社会评价或跨领域知识的匮乏,导致人工智能学科的发展其实相当曲折。直到20世纪80年代,人工智能的发展进入了新的高潮,这里有几个关键词:专家系统模拟人类、计算机视觉、RNN雏形、玻尔兹曼机无监督模型、贝叶斯网络、鲁棒性、CNN出现。

3 应用发展期:20世纪80年代

人工智能走入应用发展的新高潮。专家系统模拟人类专家的知识和经验解决特定领域的问题,实现人工智能从理论研究走向实际应用。机器学习(尤其是神经网络)也在其他学科知识的帮助下不断的探索不同的学习策略和学习方法,在大量的实际应用中也开始慢慢复苏。

这里我想把BP算法单独拿出来再说一次,因为实在是太重要了!!!


(资料图)

BP算法是一种按照误差逆向传播算法训练的多层前馈神经网络,是应用最广泛的神经网络模型之一

在人工神经网络的发展历史上,感知机(Multilayer Perceptron,MLP)网络曾对人工神经网络的发展发挥了极大的作用,也被认为是一种真正能够使用的人工神经网络模型,它的出现曾掀起了人们研究人工神经元网络的热潮。而单层感知网络(M-P模型)做为最初的神经网络,具有模型清晰、结构简单、计算量小等优点。但是,随着研究工作的深入,人们发现它还存在不足,例如无法处理非线性问题(比如异或问题,XOR),即使计算单元的作用函数不用阀函数而用其他较复杂的非线性函数,仍然只能解决线性可分问题.增强网络的分类和识别能力、解决非线性问题的唯一途径是采用多层前馈网络,即在输入层和输出层之间加上隐含层,构成多层前馈感知器网络。

最早由Werbos于1974年在博士论文中提出BP算法(前向传播/逆向传播)。

20世纪80年代中期,David Runelhart。Geoffrey Hinton和Ronald W-llians、DavidParker等人分别独立发现了误差反向传播算法(Error Back Propagation Training),简称BP,系统解决了多层神经网络隐含层连接权学习问题,并在数学上给出了完整推导。人们把采用这种算法进行误差校正的多层前馈网络称为BP网。

1983年加州理工学院的物理学家John Hopfield利用神经网络,通过电路模拟仿真的方法求解了旅行商难问题,在学术界引起的较大的轰动,这也推动了人工智能第二次的快速发展。

1986年,Geoffrey Hinton和David E. Rumelhart等人的努力下,BP算法被再次发明,并广泛应用于升级网络的训练中。目前深度学习各种网络模型也均采用了86年提出的BP算法。

基本原理就是:让一个人工神经网络模型从大量训练样本中学习统计规律,从而对未知事件做预测。

1980年福岛邦彦提出卷积和池化的时候,并没有把BP算法应用在神经网络训练中,所以很可惜。

1989年YannLeCun想到了在卷积和池化基础上结合BP算法发明了现在的CNN卷积神经网络,并首次将卷积神经网络成功应用到美国邮局的手写字符识别系统中。

所以上文中提到的Geoffrey HintonHinton、YannLeCun以及后来提出GAN对计算机视觉CV造成重要革命性影响的Yoshua Bengio,并成为当世深度学习三巨头”的称号。

4 平稳发展期:20世纪90年代—2010年

由于互联网技术的迅速发展,加速了人工智能的创新研究,促使人工智能技术进一步走向实用化,人工智能相关的各个领域都取得长足进步。在2000年代初,由于专家系统的项目都需要编码太多的显式规则,这降低了效率并增加了成本,人工智能研究的重心从基于知识系统转向了机器学习方向。

MLP

1995年深蓝在国际象棋中战胜人类到2016年阿尔法狗在围棋中战胜人类,20年一轮回。

1997年LSTM到2017年Google发布的Attention,也是20年一轮回。

为什么这里提一下LSTM,因为从简单RNN到LSTM再到Transformer,到GPT到ChatGPT是要给按照ChatGPT倒推回去的学习主路径,这个我后面会介绍到原因!

玄之又玄!

2006年Geoffrey HintonHinton带着他的学生又出来搞事情了,提出了•Deeping Learning的概念,开始了新一轮的计算机浪潮。

至于2010年的《迁移学习调查》很多时候被人忽略,其实不然,这篇文章为后来的各种样本学习方法奠定了基础,GPT-2和GPT-3中也有不同程度的涉及后来的少样本学习(Few-Shot)或者零样本学习(Zero-Shot)。

接下来10年,人工智能迎来了蓬勃发展期。。。。

关键词:

推荐阅读

特斯拉的最低价是多少? 其他车型的最低价格是多少?

特斯拉作为一个豪华电动车品牌,你知道特斯拉价格多少钱一辆吗?目前特斯拉销售的主要Model S、Model X以及国产Model 3,那么,特拉斯最 【详细】

通用设备介绍 通用设备包括什么?

通用设备介绍一、通用设备。办公和商务通用设备,包括文化办公机械、消防设备、电机、变压器、锅炉、空调设备、清洁卫生设备、通讯设备、视 【详细】

美国UFO探索事件 全面解析美国UFO探索事件

一般在发生UFO探索事件之后,许多的研究人员都会认真的去分析此事件发生的前因后果,去搜集一些相关的证据,但是其实我们还能够从这些事件 【详细】

汽车吸尘器好用吗?汽车吸尘器真的有用么?

现在随着大家都逐渐拥有了自己的汽车,很多人对汽车的一些相关工具也还是逐步的关注了起来。其中车载吸尘器就是大家关注度最高的产品,那么 【详细】

航天员太空生活舱内景曝光 在太空中航天员之间是如何交流的呢?

航天员太空生活舱内景曝光,航天员在天上是如何生活的呢?中国载人航天工程空间站、神舟系列载人飞船、天舟系列货运飞船和长征系列运载火箭 【详细】

关于我们  |  联系方式  |  免责条款  |  招聘信息  |  广告服务  |  帮助中心

联系我们:85 572 98@qq.com备案号:粤ICP备18023326号-40

科技资讯网 版权所有