00后疯狂开源计划:互联网成大模型语料,1亿token嵌入只需1美元
Arxiv上所有论文转成Token,加起来不过14.1GB而已。
这是最新爆火开源计划亚历山大完成的壮举。
(资料图片仅供参考)
事实上,这还只是第一步。
他们最终是想要将整个互联网变成Tokens,换言之全都转化成ChatGPT等大模型理解这个世界的方式。
一旦这样的数据集诞生,那岂不是为开发出GPT-4这样的大模型又新增一大利器,上知天文下知地理指日可待了?!
消息一出,瞬间引发巨大关注。
网友们赞叹,史诗般的。
而这背后仅是四个平均年龄20岁的少年发起,目前Arxiv所有论文数据集已经发布,他们将于下周发布嵌入(Embedding)搜索平台。
从Arxiv上所有论文开始
这个名为亚历山大的开源计划,首先从Arxiv每篇论文上开始。
选择的方式是嵌入,简单来说,就是将现实世界的各种对象具象成计算机所能理解的向量。
最经典的例子就是将原始图像表示为灰度像素。
这种技术最大的特点就是能够表示出人类感知到的语义相似性。
比如,当有10个词表示同一事物时,很难通过关键词查找论文。但嵌入就可以完成,因此很适用于搜索、聚类、推荐和分类。
基于实用性和效率的考虑,开发团队只选择嵌入了论文的标题和摘要。
在测试各种模型之后,最终选择使用InstructorXL文本嵌入模型,通过简单地提供任务指令,而无需任何微调,适合于多种任务(比如分类、检索、聚类、文本评估等)和领域(比如科学、金融、医学等)》
下周他们将发布Arxiv搜索。目前为止的流程是,首先对100篇最接近的文章进行相似性搜索,然后即时计算这些内容的嵌入,并进行第二次更复杂的搜索。
最终目标是一整个互联网嵌入计划。
20岁少年的疯狂开源计划
之所以要开展这样一次疯狂的开源计划,主要有两方面的原因。
一方面是嵌入巨大的价值。世界上很多问题只是搜索、 聚类、推荐或分类,而这些事情嵌入都非常擅长。而且也如前所述,可以解决一些复杂的难题。
另一方面成本是一次性的且很便宜。大多数情况下无需对同个文件进行二次计算。目前每1亿个Token只需1美元。
但他们并没有找到任何开放的嵌入数据集,因此这样的组织应运而生。
接下来他们还将开放更多的数据集,而这些均由这些用户自行选择。在官网上除了已公开的数据集,剩下的几个待开源项目开启了投票通道。
值得一提的是,背后是一群平均年龄仅为20岁的少年team完成的。
而他们的团队名字同样也很霸气,Macrocosm(宏观世界)联盟。
就官方介绍,他们致力于为ChatGPT和其他类似产品构建插件,同时也在开发核心产品,基于大模型的个人研究助理,帮助学习、教学和科研。
感兴趣的旁友可戳下方链接了解~
https://alex.macrocosm.so/download
参考链接:
[1]https://www.macrocosm.so/
[2]https://twitter.com/willdepue/status/1661781355452325889
[3]https://github.com/macrocosmcorp
[4]https://www.pinecone.io/learn/vector-embeddings/
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态
关键词:
推荐阅读
阿波罗11号未解之谜 阿波罗11号登月证据是什么?
阿波罗11号未解之谜1969年7月16日,巨大的土星5号火箭载着阿波罗11号飞船从美国卡纳维拉尔角肯尼迪航天中心点火升空,开始了人类首次登月的 【详细】
大数据有什么用?大数据技术的应用领域介绍
大数据有什么用?大数据指的是在一定时间范围内不能被传统软件工具捕获、管理和处理的数据集。它是一种海量、高增长和多样化的信息资产,需 【详细】
验钞机什么牌子好?验钞机的价格介绍
验钞机什么牌子好?康艺康艺始于1994年。是行业标准的起草单位,其产品人民币外币柜台 清分机 复点机 捆钞机 扎把机 取款箱是研发康艺专业生 【详细】
苹果秋季发布会正式官宣 iPhone 12系列手机有什么型号?
苹果秋季发布会正式官宣昨晚,苹果正式宣布了秋季发布会的时间,线上会议将于9月16日凌晨1点举行。这也是今年在苹果举行的第二次线上会议, 【详细】
高岭土是什么?高岭土主要应用在哪些领域?
高岭土是什么?高岭土是一种非金属矿物,是一种粘性的土和粘性的土岩,主要由高岭石族的粘土矿物组成,有黏土和黏土岩。因其白色细腻,又叫 【详细】
相关新闻
- 00后疯狂开源计划:互联网成大模型语料,1亿token嵌入只需1美元
- 环球快报:美国真的从UFO中发现外星技术吗?
- 环球快看点丨非均质碳酸盐岩储层的特征及其对储层胶结因子的影响是什么?
- 大宗交易:纳芯微成交2789.09万元,折价2.00%(06-06)
- 全球今头条!秦刚:中方赞赏国际民航组织在涉台问题上坚持正确立场
- 西城男孩演唱会官宣苏州
- 在发展中保障和改善民生丨认真学习《习近平著作选读》第一卷、第二卷
- 营销的最高境界是什么(销售的最高境界——不销而销)
- 国债期货集体收涨 10年期国债期货主力合约收涨0.19%|今热点
- 今日关注:罗牛山:5月生猪销售收入1.12亿元 同比增23.88%
- 内置“大芯脏”的高效稳定生产力工具 联想昭阳 X7 商用本评测
- 环球即时:凡尔赛/408X姊妹车 主打跨界的DS 4会更高级?
- 2023新加坡羽毛球公开赛:刘雨辰/欧烜屹鏖战三局1-2不敌对手,止步首轮
- 买买买!引进C罗、本泽马只是开始,沙特还会引进更多球星
- 【当前独家】李诗沣新加坡赛签表有变化!李汶妹/刘玄炫直接晋级,安赛龙退出
- 每日报道:春立医疗: H股公告-股份发行人的证券月报表
- 世界微资讯!蔚蓝生物: 青岛蔚蓝生物股份有限公司关于为全资子公司提供担保的进展公告
- 第十九届文博会1980油松漫城产业园分会场盛大开幕
- 误认翻译英语_误认翻译-热头条
- 最佳性价比三款手机推荐 性能和颜值都在线 真香价格仅才2000出头|滚动