OpenAI忙着“宫斗”时,竞争对手发布新款大模型

开发对话和聊天机器人Pi的初创公司impact AI刚刚发布了其最新的AI模型。据说这款机型的性能已经超越了Google和Meta的主流替代品,正在迅速缩小与OpenAI旗舰成绩的差距。

影响力人工智能由谷歌DeepMind人工智能研究小组的联合创始人穆斯塔法·苏莱曼(Mustafa Suleyman)和领英(LinkedIn)的联合创始人雷德·霍夫曼在今年3月创立。短短两个月,公司完成2.25亿美元融资;到今年6月,Influence AI已经从微软和英伟达等许多知名投资者那里额外筹集了13亿美元。

根据Influence的说法,这款名为Influence-2的新机型在各项标准基准测试中已经超过了谷歌今年5月发布的PaLM Large 2机型,并在其他指标上击败了Meta领导的开源Llama 2机型。这家初创公司指出,总体而言,影响力在同体积的模型中表现最佳,仅次于OpenAI发布的旗舰模型GPT-4。

该公司首席执行官穆斯塔法·苏莱曼(Mustafa Suleyman)在接受采访时表示,“我们坚信,我们正处于这条扩张曲线的起点,从中延伸出来的新功能确实令人兴奋。”

新发布的模型将很快集成到今年5月影响力发布的聊天机器人Pi中。不过,苏雷曼表示,在此之前还有大量的“对齐”工作要做,即让新模型掌握Pi机器人的语气和回答风格,使其能够帮助Pi更好地发挥作用,吸收最新信息而不产生额外的错觉。

他解释说,“无论用户是否希望在此刻就种族、性别、政治、OpenAI甚至任何有争议的问题进行敏感的对话,Pi都可以以非常聪明、谨慎和尊重事实的方式进行互动,并实时获取信息。”苏莱曼补充说,Pi将“很快”更新到影响力-2模型,但没有给出具体日期。

他也拒绝透露Pi上的用户数量,只强调“Pi很受欢迎,用户留存率很高。”两周前,OpenAI表示,其免费ChatGPT服务的周用户已经达到1亿。然而,就在这个好消息发布后不久,上周五,OpenAI董事会突然出击,解雇了CEO萨姆·奥特曼,上演了一场震惊世界的“宫斗”。

在行业头部模型开发者乱象丛生的背景下,我们很难不关注这次由影响力发布的大语言模型。

有外媒称,拥有1750亿个参数的模型被很多业内人士视为“当今世界第二大模型”。就在本周三上午,OpenAI正式宣布奥特曼将重返公司,继续担任CEO。整个周末,各方盟友已经开始就奥特曼回归展开谈判,OpenAI员工也签署请愿书,要求董事会成员集体辞职。

在影响力方面,苏莱曼坚称这家初创公司今年早些时候已经筹集了13亿美元。不过,当时他并没有给出影响力新模式的发布日期,只是在早前的公开讲话中暗示可能会在年底前推出。他在最新的公告中解释说,发布实际上晚了一周,模型训练工作早在上周就完成了。

影响力AI:影响力-2超越谷歌和Meta的主流机型,目前仅落后于GPT-4。

在影响力-2的训练中,该公司使用了5000个英伟达H100图形处理单元(GPU),远少于上一代影响力-1训练中使用的数千个A100。目前,H100的零售价超过25000美元,内置800亿个晶体管,其语言模型的运行速度比英伟达的旗舰A100 GPU快30倍。

影响力AI也使用H100进行推理,即在生产中运行影响力-2来处理用户提交的任务。苏莱曼还提到,新模型的训练速度更快,成本更低,但也需要处理大量的计算任务(10^25 FLOP,即浮点运算)。影响力与微软、英伟达和CoreWeave密切合作,管理他们的计算集群。

Influence已经在一组流行的高中和职业能力基准(MMLU)上测试了它的最新模型。在测试中,该模型回答了涉及57个主题的大量问题,包括世界知识、解决实际问题和道德判断。

根据影响力AI的介绍,新模型可以访问升级后的知识库,从而更准确地回答用户的查询。Influence-2还具有“显著提高的推理能力”,使模型能够更好地执行代码生成等任务,并对生成文本的语言风格进行细粒度调整。

与竞争对手的大语言模型相比,Influence-2不仅优于其前身,而且表现出色。

影响力-2与其他机型的性能对比。

苏莱曼表示,影响力-2的性能优于业界领先的700亿参数版本Llama 2、马斯克初创公司xAI的Grok-1、谷歌的PaLM 2 Large和Anthropic的Claude 2,目前仅落后于GPT-4。

根据影响力,新模型在科学问答的七项基准测试中五次击败了Llama 2和PaLM 2模型。在三次问答任务基准测试中,也成功登顶两次,仅次于一次测试中的PaLM 2 Large。该公司还补充说,虽然在模型训练中没有明显的领域倾向,但Influence-2在四项数学和代码基准测试中取得了优异的成绩,但与OpenAI公布的结果相比,仍远远落后于GPT-4。OpenAI的模型虽然性能更好,但体积比Influence-2大,这意味着它的训练需要消耗更多的计算资源。

苏雷曼指出,尽管似乎只有AI研究人员或开发人员会密切关注这样的基准测试结果,但即使是最轻微的改进也足以形成“技术原型”和“生产级、高可靠性和高质量”模型之间的关键区别。总的来说,苏莱曼表示,影响力-2在同体积车型中已经遥遥领先,在很多方面已经“非常非常接近”最强王者GPT-4。

据悉,影响力AI共有22000个H100 GPU,相当于训练影响力-2的GPU数量的4倍多。在这次发布中,该公司强调,他们计划使用这些硬件来构建更先进和更大的新模型。据报道,从现在开始,影响力已经将训练重点转移到下一代车型上。预计新模型将在六个月内达到影响力-2的10倍体积,并在未来六个月内进一步扩大10倍。(最终成交量有望增加到100倍。)

OpenAI的管理混乱,给了竞争对手可乘之机。

就在OpenAI管理层达成临时和解方案的几个小时前,苏莱曼敦促公众以“同理心和宽容”对待那些被卷入风波的人。他指出“许多人的言行完全是出于善意”,并点名OpenAI的联合创始人伊利亚·苏茨基弗(Ilya Sutskever)。Sutskever是参与解雇Altman的第一批董事会成员之一,但后来在周日晚上对该决定表示遗憾。(尚不清楚Sutskever是否会留在OpenAI,但他对该公司和奥特曼宣布x回归的帖子表示赞赏。)

Sutskever在2011年为Suleyman工作,当时他是DeepMind的外包商和顾问。三年后,苏莱曼将这家人工智能初创公司卖给了谷歌。在谈到苏茨基弗时,苏莱曼说,“我非常尊重他。这种尊重不仅来自于技术层面,更来自于他的原则性和真诚的态度。我认为在这次事件中,他和团队的其他成员都有真诚的意图。”

影响力和苏莱曼此前在AI安全问题上表达了明确的态度,并在今年7月自愿签署了由拜登总统发布的“关于安全、可靠和可信的AI的行政命令”。他还发誓不会让聊天机器人Pi回答任何有关选举的问题,也不会为政治竞选提供材料。苏莱曼最近出版了一本名为《即将到来的浪潮》(The Coming Wave)的书,详细介绍了AI技术的风险。

在谈到OpenAI的非营利董事会及其最近的一系列行为,特别是在科技领域遭受的诽谤时,苏莱曼说,“显然,他们犯了一系列非常重要的错误。但我还是希望人们能宽容一点,把这件事当做OpenAI发展历程中的一个插曲。努力让公司变得更好,做正确的事情,通过新的治理结构让世界变得更好,这才是真正重要的任务。”

然而,苏莱曼本人持有典型的资本主义思维。当被问及OpenAI的困境(ChatGPT周一周二短时间瘫痪,大量客户担心发展)是否给竞争对手带来机会时,他没有否认。

参考链接:

https://silicon angle . com/2023/11/22/inflection-ai-debutts-new-旗舰-inflection-2-LLM-trained-5000-h100-chips/

您可能还喜欢...