自然语言处理（NLP）简史

ChatGPT背后的语言模型简史

语言是人类最先掌握的高科技，也是人类文明存在的基础。而现在，我们创造出的智能也掌握了人类自然语言，这也许是我们进入智能文明的标志。

【资料图】

自然语言处理（NLP）时间线：

- 1943 年：人工神经网络被提出

- 1957 年：最初的人工神经网络模型感知机被提出

- 1974 年：反向传播法被提出，用于训练一般的人工神经网络

- 1980 年：多层感知器被提出，采用多个隐含层代替感知器的单层结构

- 1982 年：循环神经网络被提出，处理序列输入和输出场景

- 1997 年：长短时记忆网络被提出，通过门控单元解决长序列数据训练的困难性

- 2013 年：Word2vec 被提出，用于文本产生词向量

- 2014 年：门控循环单元被提出，简化 LSTM 结构并提升表现；编码器 - 解码器架构 seq2seq 被提出，用于机器翻译和对话系统

- 2017 年：自注意力机制 Transformer 被提出，通过编码器 - 解码器结构处理自然语言

- 2018 年：预训练语言模型 GPT-1 和 BERT 被提出，分别基于 Transformer 和自回归机制生成文本，通过 masking 预测句子中缺失的词汇

- 2019 年：更大的预训练模型 GPT-2 被提出，能够输出高质量文本

- 2020 年：目前最强的通用 NLP 语言模型 GPT-3 被提出，可以完成多种领域的自然语言任务

- 2022 年：Instruct GPT 被提出，通过人类指令 (prompt) 来调整 AI 生成的内容

- 2023 年：大型多模态语言模型 GPT-4 被提出，接受图像和文本输入，表现出人类水平的表现

问题来了，你认为2024年国内能否全面追赶并领先AI技术呢？

关键词：

自然语言处理（NLP）简史

ChatGPT背后的语言模型简史

推荐阅读

世界最贵房车有哪些福特F550房车怎么样？

DART小行星任务已开始有6次自我毁灭航天器介绍

十大日系车排名日系车有怎样的优缺点?

非晶硅薄膜电池的起源非晶硅薄膜电池优点有哪些?

苹果官网回收旧手机苹果手机回收注意事项

相关新闻

新闻

热点

资讯

自然语言处理（NLP）简史

ChatGPT背后的语言模型简史

推荐阅读

世界最贵房车有哪些 福特F550房车怎么样？

DART小行星任务已开始 有6次自我毁灭航天器介绍

十大日系车排名 日系车有怎样的优缺点?

非晶硅薄膜电池的起源 非晶硅薄膜电池优点有哪些?

苹果官网回收旧手机 苹果手机回收注意事项

相关新闻

新闻

热点

资讯

世界最贵房车有哪些福特F550房车怎么样？

DART小行星任务已开始有6次自我毁灭航天器介绍

十大日系车排名日系车有怎样的优缺点?

非晶硅薄膜电池的起源非晶硅薄膜电池优点有哪些?

苹果官网回收旧手机苹果手机回收注意事项