羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品-动态焦点
开源羊驼大模型LLaMA上下文追平GPT-4,只需要一个简单改动!
Meta AI这篇刚刚提交的论文表示,LLaMA上下文窗口从2k扩展到32k后只需要小于1000步的微调。
与预训练相比,成本忽略不计。
(资料图)
扩展上下文窗口,就意味着AI的“工作记忆”容量增加,具体来说可以:
支持更多轮对话,减少遗忘现象,如更稳定的角色扮演输入更多资料完成更复杂的任务,如一次处理更长文档或多篇文档更重要的意义在于,所有基于LLaMA的羊驼大模型家族岂不是可以低成本采用此方法,集体进化?
羊驼是目前综合能力最强的开源基础模型,已经衍生出不少完全开源可商用大模型和垂直行业模型。
论文通信作者田渊栋也激动地在朋友圈分享这一新进展。
基于RoPE的大模型都能用
新方法名为位置插值(Position Interpolation),对使用RoPE(旋转位置编码)的大模型都适用。
RoPE早在2021年就由追一科技团队提出,到现在已成为大模型最常见的位置编码方法之一。
但在此架构下直接使用外推法(Extrapolation)扩展上下文窗口,会完全破坏自注意力机制。
具体来说,超出预训练上下文长度之外的部分,会使模型困惑度(perplexity)飙升至和未经训练的模型相当。
新方法改成线性地缩小位置索引,扩展前后位置索引和相对距离的范围对齐。
用图表现二者的区别更加直观。
实验结果显示,新方法对从7B到65B的LLaMA大模型都有效。
在长序列语言建模(Long Sequence Language Modeling)、密钥检索(Passkey Retrieval)、长文档摘要(Long Document Summarization)中性能都没有明显下降。
除了实验之外,论文附录中也给出了对新方法的详细证明。
Three More Thing
上下文窗口曾经是开源大模型与商业大模型之间一个重要差距。
比如OpenAI的GPT-3.5最高支持16k,GPT-4支持32k,AnthropicAI的Claude更是高达100k。
与此同时许多开源大模型如LLaMA和Falcon还停留在2k。
现在,Meta AI的新成果直接把这一差距抹平了。
扩展上下文窗口也是近期大模型研究的焦点之一,除了位置插值方法之外,还有很多尝试引起业界关注。
1、开发者kaiokendev在一篇技术博客中探索了一种将LLaMa上下文窗口扩展到8k的方法。
2、数据安全公司Soveren机器学习负责人Galina Alperovich在一篇文章中总结了扩展上下文窗口的6个技巧。
3、来自Mila、IBM等机构的团队还在一篇论文中尝试了在Transformer中完全去掉位置编码的方法。
有需要的小伙伴可以点击下方链接查看~
Meta论文:
https://arxiv.org/abs/2306.15595
Extending Context is Hard…but not Impossible
https://kaiokendev.github.io/context
The Secret Sauce behind 100K context window in LLMs
https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c
无位置编码论文
https://arxiv.org/abs/2305.19466
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态
关键词:
推荐阅读
月壤形成的主要原因 月壤与土壤有什么区别
月壤形成的主要原因月壤形成过程没有生物活动参与,没有有机质,还极度缺水干燥;组成月壤的矿物粉末基本是由陨石撞击破砰形成,因此,粉末 【详细】
域名抢注是是什么意思?投资角度来看什么域名好?
域名抢注是是什么意思域名抢注是通过抢先注册的方式获得互联网删除的域名的使用权。域名是由点分隔的一串数字,用于标记一台计算机或一组计 【详细】
捷达保养费用是多少?捷达是哪个国家的品牌?
捷达保养费用是多少?全新捷达的保修期为2年或6万公里,以先到者为准,新车可享受一次免费保养,首次免费保养在5000-7500km或1年内进行。如 【详细】
天然气泄露会造成爆炸吗?天然气泄漏怎么办?
天然气泄露会造成爆炸吗?家里用的天然气如果泄露是会发生爆炸的。当空气中含有混合天然气时,在与火源接触的一系列爆炸危险中,就会发生爆 【详细】
四部门明确App收集个人信息范围 个人信息保护范围判断标准
四部门明确App收集个人信息范围近日,国家互联网信息办公室、工业和信息化部、公安部、国家市场监督管理总局联合印发《常见类型移动互联网 【详细】
相关新闻
- 羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品-动态焦点
- 当前报道:手机保值排行榜来了,iPhone最保值,安卓机成“跳水王”
- 当前滚动:不能接受这4点,我劝你不要买烘干机!客观解析洗烘机的优劣势
- 世界热消息:登热搜!360周鸿祎考上清华
- 宝能集团新增一则被执行人信息,执行标的8.37亿元
- “云菌飘香·2023滇菜北京推介会”举行_微头条
- 山东高考什么卷(山东高考用的是什么卷子)-每日信息
- 倒计时30天!成都大运会特许商品“大运会开闭幕纪念章”发布-报道
- 同为股份:有研究AI大模型在安防领域的应用
- 当前关注:非常认真!利拉德更新INS晒个人训练视频
- 会变脸的大熊猫来咯!它会是冰墩墩后的下一个顶流吗?|每日热文
- 晨意帮忙丨男子称在苹果商店下载到诈骗APP损失十几万,回应:已下架-天天资讯
- 吾守尔·斯拉木院士:迎接新一轮科技革命的挑战
- 全球即时:中国突破钍核反应堆技术!谁说核能只会带来灾难?
- 氟化液行业研究:数据中心液冷趋势显著,氟化液需求有望放量-天天热讯
- 焦点速递!iPhone15系列已经开始备货,销量将会上涨?你打算入手吗?
- 关注三大领域机会 数字经济ETF(560800)盘中再现巨额成交|全球百事通
- (高质量发展调研行)福建清流:推进两岸融合高质量发展,打造特色现代农业|世界最资讯
- 客厅西墙忌讳挂什么画(客厅西墙挂什么画风水好?客厅西墙挂画禁忌)
- 焦点简讯:和林微纳(688661):该股换手率大于8%(06-28)