阿里，全球第一！！！

2024-06-28 09:36

罗超Pro

关注

近日，全球著名开源平台HuggingFace（笑脸）联合创始人兼首席执行官Clem在社交平台宣布，阿里最新开源的Qwen2-72B指令微调版本卫冕冠军，继续位列全球开源模型排行榜第一名。

在OpenAI拒绝中国开发者的当口，这个“第一名”来得非常及时。

第一，中国开发者从OpenAI集体“回家”，国内大模型供应商纷纷推出迁移方案迎接。雷科技在《OpenAI拒绝中国开发者，“百模大战”全面进入下半场》一文已盘点，超过10家大模型供应商推出各种服务来“抢客”。

不过，在很多人固有印象中，中国大模型供应商只是“平替版本”，是实在没得用了，勉强能用的。甚至还有人说GPT是高铁，国产大模型就是拖拉机，虽然都能跑，但其实不一样。

其实这是偏见，在很多领域，国内大模型都已经具有世界级竞争力了，特别是开源大模型。

什么叫具备世界级竞争力的大模型？这里分两种：

一种是每次发布会都号称全面碾压GPT4的玩家，参数没输过，评测没赢过，这是自卖自夸，自吹自擂。

还有一类，是在权威榜单上拿到名次的。HuggingFace是全球最权威的开源模型榜单，它给阿里云的Qwen2“正名”，或者说给了“权威认证”。

第二，为什么HuggingFace能做全球最权威的开源模型榜单？

为什么HuggingFace能做全球最权威的开源模型榜单？这个定义不是随便给的，而是跟这个平台的背景有关系。HuggingFace不是大模型供应商，而是全球最受欢迎的大模型和数据集开源社区，开发者可以在这里获取大模型开源代码、获取数据集进行训练。可以说，做AI开发，基本绕不过HuggingFace，因此它也被称为大模型/机器学习的GitHub。

也就是说，HuggingFace更像是一个大模型的应用、分发、发布平台。包括微软、Facebook、特斯拉等等巨头的大模型，都会在HuggingFace主发布。比如在前段时间的微软Build大会，纳德拉就宣布微软在 Huggingface 上发布了 Phi-3-medium，Phi-3-small，以及 Phi-3-vision 系列模型。其中 Phi-3-medium-128k-instruct 是目前消费级硬件上可用的最好模型。

有海量开源大模型以及数据集，有海量AI开发者以及使用数据，因此HuggingFace可以做出行业最权威的开源模型榜单。这跟媒体或者专门的第三方评测机构做的榜单有本质不同。很多评测榜单源自这样的“第三方”，姑且不说权威性、客观性、中立性，恐怕专业性也会大打折扣。

好了，说清楚HuggingFace榜单的权威性后，我们再看阿里云的Qwen2有多强？

第三，为什么HuggingFace 6月两次发榜？榜单V2意义在哪里？

其实今年6月7日，HuggingFace也发过一次榜单，当时第一也是Qwen2。为什么要更新榜单到V2呢？HuggingFace说是，“榜单内的测试集，更难、更好、更快、更强（Harder, better, faster, stronger）。”因此，对模型的考察也更有说服力。

其实对大模型基于测试数据集进行评测的过程，形象点说就是“做题考分”，跟我们考试一样。但问题是，这个题目是开放的。因此就出现了一种情况：很多大模型会“刷题”，就是让大模型先训练几波，进而拿到好的评测分数，有的公司会雇佣人类“数据标注员”来做题将答案给到大模型，还有的公司会让GPT-4来答题再将答案用来训练自家大模型，大模型做题就可以“满分”了。许多大模型刚推出就可以拿满分“排第一”碾压GPT-4，玄妙正在于这里。

也就是说，开源评测数据集相当于高考搞“开卷考试”一样，除非是特别开放的问题（如职场面试），否则被试者完全可以提前针对性地刷题背答案，最终得分自然完全无法反映出其真实水平。

HuggingFace也在技术博文指出，“过去一年，Open LLM Leaderboard的基准指标已经被过度使用，出现几个问题：题目对模型来说变得太简单；一些新近出现的模型出现数据污染迹象；有些测评基准存在错误。因此，平台提出了更有挑战性的V2榜单，基于未受污染、高质量数据集的新基准，运用可靠的度量标准。”

好了，现在测试数据集（题目）大更新，最新的试卷、最新的考试，阿里云的Qwen2还是第一。也正是因为此，Huggingface联合创始人兼首席执行官Clem才会公开发文称“Qwen2-72B是王者，中国在全球开源大模型领域处于领导地位。”如果没有严格、充分的测试，他不可能公开进行这样的“点赞”。