当前位置:科学 > 正文

当前聚焦:新硅谷「八叛徒」铸就 AI 世界「至尊魔戒」

2023-05-24 14:59:11  来源:浪在硅谷



【资料图】


Transformer八子的出现与出走,既是起势,也是顺势。



作者 | 椎名

编辑 | Zuri

首图来源:WiffleGif


“One ring to rule them all”


这是电影《魔戒》中的一句经典台词,用以形容一枚占据绝对统治地位的至尊魔戒。


通用人工智能领域,也曾出现过这样一枚“至尊魔戒”。它的登场,同样有着一个在学术圈来看违背祖训、惊世骇俗的论文标题——“Attention Is All You Need”


站在AIGC如火如荼、各种类GPT模型层出不穷的2023年回望,当时这篇论文的标题有多“狂妄”,这枚魔戒的影响力就有多大。且与电影中的至尊魔戒带来彻底的毁灭不同,这枚AGI的“至尊魔戒”指向全新的创造。


那么,又是谁创造了这枚“至尊魔戒”?他们如今在何方,是否又在酝酿着新一轮的AI风暴?



现在我们都知道OpenAI开启了GPT时代,但再往前追溯,它是站在巨人的肩膀上才能采摘下来的成果,这个巨人的肩膀就包括了2017年发表的这篇“Attention Is All You Need”。


这篇论文提出了名声大噪的Transformer架构,是谷歌著名算法BERT中最重要的部分,更是ChatGPT 末尾的“T”。


尔后,Transformer 势如破竹,从自然语言处理机器翻译开始,席卷整个 NLP 领域。


如今6年过去,ChatGPT几乎是Transformer结下的最丰厚的果实,而耕种了Transformer架构的8位作者—— Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser 和 Illia Polosukhin,大多数现在不在谷歌工作。事实上,其中有七人不再驻足留恋于谷歌这颗苍天大树之下。


我们统计,“Transformer八子”中,“转投小厂派”一人:Lukasz Kaiser则已在2021年加入 OpenAI担任研究员。



Llion Jones是8人中目前唯一还在谷歌工作的,只是工作地点换到了日本。他曾打趣地表示,自己对论文作出了最有意义的贡献,是写下了Attention is all you need这个“大逆不道”的标题。


Llion Jones


其中,创业派6人选择了自立门户,且基本上从谷歌一出来就已经获得了 VC 的支持。


本文将着重梳理“Attention Is All You Need”中创业派的最新动向。


01

“真实感”的保鲜期有多久?


原Google Brain研究员Aidan Gomez的创业公司恐怕是里面最受瞩目的。


Aidan Gomez


Aidan Gomez创办的公司叫做Cohere,是一家成立于2019年的加拿大AI创企,专注于提供NLP模型,帮助企业改善人机交互,包括利用Transformer架构快速部署对话式AI聊天机器人、生成式搜索引擎、文本摘要总结、增强向量搜索等。这家公司的另外两位创始人Nick Frosst和Ivan Zhang,也和Aidan Gomez一样具有学术背景,且三位创始人均是多伦多大学校友。


Cohere之所以备受业内瞩目,除了创始团队的背景之外,也有一部分原因在于,它的投资者中还有图灵奖获得者Geoffrey Hinton、知名人工智能研究员李飞飞、UC伯克利大牛Pieter Abbeel的身影。这三位在当今人工智能领域都是执牛耳的人物。


这样的大牛背书之下,Cohere的融资步伐也十分紧凑,分别于2021年9月获得4000万美元A轮融资,2022年2月获得1.59亿美元B轮融资。


随着生成式浪潮在今年达到一个小高潮,今年5月,据《纽约时报》报道,Cohere更是拿到了2.5 亿美元的融资,估值达到20亿美元,本次投资者包括CRM领导者Salesforce、著名芯片制造商Nvidia、Inovia Capital等。《纽约时报》写道,Cohere也是为数不多在技术层面具备与OpenAI进行竞争的AI企业之一。有报道称Cohere现有员工已经达到近200人。


与Aidan Gomez选择的赛道类似,论文一作Ashish Vaswani在离开谷歌后,也参与创办了一家将NLP技术用于通用助手的公司Adept,并任该公司首席科学家。在谷歌工作后,Vaswani撰写了19篇论文,神经网络是他自2011年以来一直追求的共同主题。


Ashish Vaswani


Transfomer八子中的Niki Parmar也加入了Adept,任CTO。值得一提的是,Niki Parmar 是这个论文 8 位作者里唯一的女性。


Niki Parmar


Adept虽然成立较晚(2022年4月才正式成立),但也赶上了这一波AIGC的浪潮:今年3月拿到了3.5亿美金的B轮融资,由General Catalyst和Spark Capital联合领投,Addition、Greylock、Atlassian Ventures、Microsoft、Nvidia、Workday Ventures等机构跟投,还有众多的硅谷明星创业者作为个人投资人投资。


这轮融资将Adept的总融资额增至4.15亿美金,公司估值超过10亿美金,晋升独角兽。


不过,Adept最新这轮融资已经和Ashish Vaswani、Niki Parmar没什么关系了。因为他们两都在2022年底先后离开Adept,成立了一家名为EssentialAl的公司,目标是为企业构建软件以便于他们使用大型语言模型。今年5月,EssentialAl宣布了由Thrive Capital 领投的800万美元融资。值得一提的是,Thrive Capital 也是OpenAI 的投资者。该公司仍处于隐身模式,尚未推出任何产品。一位接近该公司的消息人士称,Conviction 和天使投资人 Elad Gil 也参与了这轮融资。


值得一提的是,创业派除了上面几位年轻面孔,也不乏已经为谷歌效力20多年的老员工。


这位老员工就是Noam Shazeer。他在2018年开发了Mesh-Tensorflow,这是第一个用于在超级计算机上训练大型Transformer的实际系统。

Noam Shazeer


2021年,Noam Shazeer 也离开了谷歌,与前谷歌工程师 Daniel De Freitas 共同创立了 Character.AI,致力于开发生成式 AI 聊天机器人 Web 应用程序。迄今为止,该公司已筹集了约 2 亿美元,估值接近独角兽,约有20名员工。


02

“创业派”中的冒险者


都说创业是一场冒险,那么,跨界创业更是冒险中的冒险。


Transformer八子中,Jakob Uszkoreit是当之无愧的冒险担当,他的创业去向应该是最具跨界色彩、也是最有难度的。


Jakob Uszkoreit


Uszekoreit 被认为是发明 Transformer 架构的幕后推手。GoogleBrain工作期间,他组建了Google助手的语言理解团队,并参与了早期的Google翻译工作。


在谷歌工作了 13 多年之后,Jakob Uszkoreit也于 2021 年离开了谷歌,他创立的 Inceptive,是一家彻头彻尾的AI+生命科学公司,致力于使用神经网络+高通量实验来设计下一代 RNA 分子。


到目前为止,该公司已筹集了 2000 万美元。


另一位跨界派Illia Polosukhin,几乎是踏出了AI圈,投入到区块链浪潮中。


这位硅谷著名的IT天才,是Google TensorFlow人工智能开源项目的主要代码贡献者,还曾任Google深度学习小组项目主管,带队负责核心搜索算法业务近10年。他在2017年2月就离开了谷歌,创办了区块链底层技术公司NEAR Protocol,吸引了包括a16z、 MultiCoin Capital、Metastable、Coinbase Ventures等区块链领域的著名投资机构。


Illia Polosukhin


这家公链技术公司可以托管去中心化应用程序和智能合约,被誉为“以太坊杀手”, 目前估值约为20亿美元。


03

新的硅谷“八叛徒”故事?


从Transformer八子目前的故事走向来看,已有些许当年硅谷传奇——仙童“八叛徒”的风采。


这件往事里,“叛徒”是一个褒义词。在晶体管刚刚问世之际,8位肖克利半导体实验室核心人物纷纷出走,先后创办了仙童、英特尔和AMD等著名的半导体公司。可以说, 1970 年前后的半导体浪潮中,大部分半导体公司都起于仙童。凭借“八叛徒”的智慧和创新精神不断开枝散叶,微处理器得以普及,计算机变得更加迅速和强大,硅谷更是一举成为了全球半导体产业的中心,引领着信息时代的浪潮。


如今这段佳话过去已近70年,硬件的突破已经出现边际效应,新一轮的信息革命蓄势待发,人类需要更加智能的技术来解决复杂的问题,创新的火种移交到AI领域,硅谷似乎迎来了新的八君子。


我们不难发现,和仙童“八叛徒”类似,“Transformer八子”本身已经积累了丰富的经验和技术知识,他们在谷歌期间推动了人工智能领域的发展,离开谷歌进入到各行各业中,能让这些宝贵的资源和知识更广泛地应用于不同的领域和行业。


更重要的是,这一批离职的AI大牛,同样具备极高的创造力和冒险精神。


他们都曾表达过对现状的不满,追求更高的目标和更具冲击力的创造。


八子中的“创业派”代表Niki Parmar就曾表示,在谷歌,公司整体更注重改进现有产品,而不是创建全新的产品类别。


无论是离开谷歌创办自己的公司或加入其他创新型企业,他们能够更加自由地探索和实践新的想法和概念,从而推动技术的不断进步。


而且这些AI大牛们的离职,也有助于推动合作生态的形成。他们往往与其他优秀的科学家、工程师和创业者紧密合作,共同开展创新项目和研究。这种合作生态能够加速创新的过程,促进技术和思想的交流,为整个行业带来更多的机遇和突破。


正如八子中的另一位“创业派” Aidan Gomez所说:“在谷歌这样的大公司内部进行探索的自由度有限,你无法真正自由地进行产品创新。从根本上说,(这家公司的)结构不支持它。所以你必须自己去建造这个结构。”


这一批离开谷歌的小分队,正在以更加自由的方式探索和发展新的技术和方法,进一步推动通用人工智能的进步。


这样来看,Transformer八子的出现与出走,既是起势,或许也是某种顺势,正如当年的仙童“八叛徒”一样。


文末互动:

你如何评价这八人的创新精神?

评论区留言告诉我们哦~

关键词:

推荐阅读

鳄鱼肉有什么营养 鳄鱼是不是国家保护动物?

鳄鱼肉有什么营养研究表明,鳄鱼肉中蛋白质含量高,其中含有适量的人体必需氨基酸,还含有高不饱和脂肪酸和各种对人体营养价值高的微量元素 【详细】

游轮是什么 全球最大邮轮有多大?

游轮是什么最初的游轮是用来运输货物的,现在的邮轮建的格外的大,已经成为了身份和地位的象征。全球最大邮轮有多大?1、皇家加勒比海洋魅力 【详细】

阿尔卑斯山简介 阿尔卑斯山地质特点是什么

阿尔卑斯山简介阿尔卑斯山呈弧形,长1200公里,宽130-260公里,平均海拔约3000米,总面积约22万平方公里。海拔4000米以上的山峰有128座。最 【详细】

沙漠蝗简介 沙漠蝗怎么会有侵入中国的风险呢?

沙漠蝗简介沙漠蝗是非洲和亚洲热带沙漠地区山谷和绿洲的主要农业害虫,飞行能力强,食量大,能聚集形成巨大的蝗群。一平方公里的蝗虫可容纳 【详细】

首都新机场叫什么名字 机场是24小时开放的吗?

首都新机场叫什么名字?一般指北京大兴国际机场。北京大兴国际机场定位为大型国际航空枢纽,国家发展新动力源,支撑雄安新区建设的京津冀区 【详细】

关于我们  |  联系方式  |  免责条款  |  招聘信息  |  广告服务  |  帮助中心

联系我们:85 572 98@qq.com备案号:粤ICP备18023326号-40

科技资讯网 版权所有