上海 AI 实验室发布“书生·浦语”大模型

2023-06-08 10:11

6 月 7 日，上海人工智能实验室（上海 AI 实验室）、商汤科技联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型“书生·浦语”（InternLM）。

“书生·浦语”具有 1040 亿参数，是在包含 1.6 万亿 token 的多语种高质量数据集上训练而成。

上海人工智能实验室称，全面评测结果显示，“书生·浦语”不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀，而且具备很强的综合能力，因而在综合性考试中表现突出，在多项中文考试中取得超越 ChatGPT 的成绩，其中就包括中国高考各科目的数据集（GaoKao）。

联合团队选取了 20 余项评测对其进行检验，其中包含全球最具影响力的四个综合性考试评测集——由伯克利加州大学等高校构建的多任务考试评测集 MMLU；由微软研究院推出的学科考试评测集 AGIEval（含中国高考、司法考试及美国 SAT、LSAT、GRE 和 GMAT 等）；由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集 C－Eval；由复旦大学研究团队构建的高考题目评测集 Gaokao。

“书生·浦语”在考试评测上取得优秀成绩，但仍然存在不少局限性。

比如，“书生·浦语” 受限于 2K 的语境窗口长度（GPT－4 的语境窗口长度为 32K），在长文理解、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。另外，在实际对话中，大语言模型还普遍存在幻觉、概念混淆等问题。

这些局限使得大语言模型“书生·浦语”在开放场景中的使用还有很长的路要走。