Transformer作者创建Cohere

今天，Transformer 作者之一 Aidan Gomez 在推特上宣布，他们创办了一家名为 Cohere 的自然语言处理公司，基于自己训练的大型 NLP 模型为外界提供 API 服务。

那么这家公司是做什么的?为什么今天如此受关注呢?

该公司在主页上写道：

语言对于人类来说至关重要，但计算机在解析语法、语义和语境方面存在困难，这一障碍限制了我们与技术沟通的能力。因此，Cohere 的使命就是构建一种能够理解世界的机器，并让所有人安全地使用它们。

Aidan Gomez 表示，为了达成这一使命，他们训练了一个数十亿(未来可能数千亿)参数的语言模型。利用该模型的 API，我们可以完成文本补全、从文本中提取有语义意义的向量、测量段落语义相似性等任务。用户只需要在自己的系统中载入三行代码就可以调用该模型的能力。

Aidan Gomez 表示，他们将分阶段开放 API，目前官网已经开始接受内测申请。

官网地址：https://cohere.ai/

比公司业务更令人瞩目的是投资阵容。据报道，这家公司的早期投资者包括图灵奖得主 Geoffrey Hinton、GAN 之父 Ian Goodfellow、Uber 首席科学家 Raquel Urtasun、英伟达多伦多研究实验室主任 Sanja Fidler 以及斯坦福大学教授李飞飞等。

团队的创始成员也都是预训练模型领域的资深研究者。其中，联合创始人共有三位。

Aidan Gomez 本科就读于多伦多大学，是牛津大学 Yarin Gal 和 Yee Whye Teh 的博士生。他曾在谷歌大脑团队的 Geoffrey Hinton 和?ukasz Kaiser 组内工作。

他是《Attention is all you need》论文作者之一：

此前，Aidan Gomez 曾领导过一个叫做 FOR.ai 的研究团队，主要成员多来自 Google Brain、牛津大学等，其中也包括 Cohere 的另一位联合创始人 Ivan Zhang。

Cohere 团队成员。

Ivan Zhang 本科同样就读于华盛顿大学，不同的是，他选择了辍学并进入生物技术公司 Ranomics 工作。

另一位联合创始人 Nick Frosst 是 Geoffrey Hinton 在多伦多谷歌大脑实验室的第一位员工，他在那里度过了三年的机器学习研究生涯，主要研究兴趣为胶囊网络、对抗样本和可解释性。本科阶段，他就读于华盛顿大学，完成了计算机科学和认知科学的相关课程。学术领域之外，他也是一支独立摇滚乐队 Good Kid 的成员。

其余二十位 Cohere 创始员工分别负责机器学习、ML Ops、产品等工作。正如官网所表示的那样：「我们有的来自全球顶尖的实验室和高校，但有的辍学了，或者根本没有上过学。」

Aidan Gomez 表示，目前他们还在招人。

GPT-3等模型的问世让人们看到了大规模预训练模型的潜力，也在国内外掀起了一场创业热潮。前段时间，循环智能与华为联合开发的「盘古 」模型问世，将中文预训练模型的参数量提升到了千亿级别。

「超大规模预训练模型的出现，很可能改变信息产业格局。继基于数据的互联网时代、基于算力的云计算时代之后，接下来可能将进入基于模型的 AI 时代。」清华大学计算机科学与技术系教授唐杰在前段时间接受机器之心采访时曾表示。

循环智能联合创始人杨植麟也同意这一观点。他在采访中提到，这些大模型将来可能开启一种新的商业模式。在这种模式中，开发者可以基于通用 API，结合业务场景，灵活高效地定制行业应用，解锁更多此前想象不到的场景。

在不久的将来，我们也许就能看到大模型为人工智能带来的新的惊喜。

关键词： Cohere Transformer