马斯克官宣Grok-2测试版！xAI将继续拥抱开源路线吗？

2024-08-13 13:44

雷科技

关注

开源还是闭源，这是个问题。

继旗下xAI公司宣布正式开源大模型Grok-1后，特斯拉CEO马斯克再次在大模型市场扔下一颗重磅炸弹。

当地时间8月11日晚，马斯克在X平台上透露人工智能模型Grok-2测试版将在不久后发布。事实上，马斯克在7月份就在X平台上确认，Grok-2将于8月发布，在回应用户关于训练数据的提问时，他表示该模型将在这方面做出“巨大改进”。

图源：X

今年三月，马斯克曾表示Grok-2将在“所有指标”上超越当前一代的AI 模型。

作为一个由xAI从头开始训练的混合专家（MoE）模型，Grok自2023年11月推出第一版以来，于今年3、4月陆续推出了Grok-1.5大语言模型和首个多模态模型Grok-1.5 Vision，整体迭代速度已足够惊人。

但要超越当前所有AI大模型，Grok-2要面对的问题或许远没想象中简单。

所有指标超越当前AI大模型，真的假的？

2023年11月，xAI推出其第一代大语言模型Grok时表示，Grok的设计灵感来源于《银河系漫游指南》，最初主要为X上的Grok聊天机器人提供支持，用于包括问答、信息检索、创意写作和编码辅助在内的自然语言处理任务。

最初版本Grok-0仅拥有330亿参数，经过数次改良后的Grok-1拥有3140亿参数，是当时全球参数量最大的开源大语言模型。

即便这些参数在给定token上的激活权重仅为25%，Grok-1的激活参数数量也有860亿，这比LIama-2的70B参数还多，这意味着其在处理语言任务时具备广阔的潜在能力。

Grok-1采用了混合专家系统的设计，每个token从8个专家中选择2个进行处理。在该架构下，根据具体询问的内容，模型只会激活不同的专家子模块进行推理，在吞吐量一定的情况下，可以更快地完成推理、给出回答。这让Grok-1拥有了更快的生成速度和更低的推理成本，简而言之就是更好的使用体验和性价比。

根据xAI公布的数据，在GSM8K、HumanEval和MMLU等一系列基准测试中，Grok-1的表现超过了Llama-2-70B和GPT-3.5，不过与第一梯队的GPT-4差距还很明显。

图源：xAI

来到Grok-1.5，情况已大为改观。Grok-1.5不仅具有改进的推理能力和128k的上下文长度，其在编码和数学相关任务中的表现也得到显著提升。

在官方测试中，Grok-1.5在MATH基准上取得了50.6%的成绩，在GSM8K基准上取得了90%的成绩，这两个数学基准涵盖了广泛的小学到高中竞赛问题。此外，它在评估代码生成和解决问题能力的HumanEval基准测试中得分为74.1%。

图源：xAI

基准测试中的整体表现与GPT-4已十分接近，甚至在HumanEval测试上实现了超越。

紧接着xAI发布的多模态模型Grok-1.5V，号称能连接数字世界和物理世界。不仅多项基准测试可以和GPT-4V、Claude 3 Sonnet、Claude 3 Opus等这些最顶尖的多模态模型对打，还能处理文档、图标、屏幕截图和照片之类的各种视觉信息，支持读懂梗图、写Python代码的操作。

尽管马斯克和xAI目前尚未公布关于Grok模型的详细信息，但按照该模型的迭代趋势，马斯克口中将在“所有指标”上超越当前一代AI模型的Grok-2，看来也不是空口无凭。

更大的参数量、更强的性能和速度这些几乎是板上钉钉的升级，当然最让我期待的，或许还是年底左右推出的Grok-3，毕竟马斯克表示该模型的水平将“达到或超越”尚未发布的OpenAI GPT-5，后者被认为是大语言模型领域的下一个重大突破。

图源：微博

如果Grok-3真能达到上述水平，那对马斯克旗下公司的影响将是巨大的，比如陷入用户增长停滞的X和专注于FSD的特斯拉，前者可以借助大模型为用户提供更智能的聊天机器人，打造社交平台的差异化；后者则可以使用大模型语言进行“思维链”处理，帮助汽车“端到端”分解视觉复杂场景，解决当前自动驾驶的某些局限。这点在Grok-1.5时，就传出应用在特斯拉FSD V13的消息。

但不论如何，Grok接下来很可能改变大模型的迭代和应用方式，更可以确定的是，以Grok为代表的开源大模型，与闭源大模型之间的竞争还在继续加剧。

开源VS闭源，大模型路线之争

马斯克是开源的坚定支持者，其曾多次公开表达对OpenAI闭源商业路线的不满，并向法院提起诉讼，以违反合同为由起诉OpenAI及其CEO Sam Altman，要求恢复开源。

xAI的诞生，很大程度上就是为阻止人工智能领域出现“一家独大”的局面。讽刺的是，OpenAI的"Open"程度真不如xAI。马斯克如期开源了3140亿参数的Grok-1，遵守Apache 2.0许可证允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。

OpenAI是AI领先者，要求其开源ChatGPT背后模型代码不太现实——除非它自身愿意。但不可否认，无论是国内还是海外，大模型开源都已成为一大趋势。

海外，去年7月Llama2宣布免费可商用后，一举成为了全球开发者首选的开源大模型。不久后，谷歌也通过发布Gemma开始进入开源大模型的竞争，凭借70亿参数碾压 Llama2-13B（130亿参数）；国内市场，阿里宣布开源720亿参数的大语言模型通义千问Qwen-72B，性能超越标杆Llama2-70B，号称最强中文开源模型。

大模型开源、闭源的路线之争向来是热点话题，不少行业大佬也发表了自己的观点。百度CEO李彦宏是“闭源派”，其认为在同样的参数规模下，开源模型的能力不如闭源，如果开源模型想要在能力上追平闭源模型，就需要更大的参数规模，这将导致更高的推理成本和更慢的反应速度。

图源：2024世界人工智能大会

“大模型五虎”之一百川智能的CEO王小川，则是开源派的拥趸，其认为开源与闭源并非对立关系，两者并存互补或许才是更优解。他预计，未来80%的企业会用到开源大模型，因为闭源没办法对产品做更好的适配，或者成本特别高。

李彦宏和王小川的观点没有对错之分，只是不同的选择，大模型开源与闭源的路线本质上是由商业模式决定的。

闭源大模型在保护知识产权、确保数据安全合规等方面具有优势，但在灵活性和可定制方面可能会受到限制；开源大模型是互联网成熟的商业模式，尽管最终目的也是变现，但因为有多方参与，更像是一个整体推动生态前进，比如快速迭代、快速试错、共创共担等等。

个人认为谷歌高级软件工程师Luke Sernau的表述十分准确：开源模式的迭代进步速度已经威胁到了部分闭源模型的生存，因为开源方相当于获得了整个星球的免费劳动力。

这正是开/闭源大模型之争的根源：不管开发者还是用户，都更倾向于最好的开源项目，群聚效应可能远比闭源大模型来得明显。

写在最后

按照马斯克的理念，接下来发布的Grok-2大概率也会开源。面对日益加剧的开源大模型战争，不管是xAI、谷歌、Meta、阿里，还是Mistral AI、Databricks以及更多的开源大模型厂商，都还在继续进行迭代，提高性能、提高效率。毕竟谁也无法笃定在这场快速变化的技术革命中，能不能守住甚至扩大优势。