知情郎·眼|

科技那些事儿

OpenAI用一场低调而华丽的“GPT-4”发布会震撼了世界，低调的是“公关声量”，华丽的则是技术与应用。

在这场发布会上，人们惊讶的发现，人工智能不仅能自由的编写代码，能承担文本、音频、图像的生成任务，甚至还听得懂“梗”，拥有人类般的幽默感。

无数人震撼失语，看完这场发布会，推想科技CEO陈宽称“人工智能领域的奇点在敲门”，著名经济学家朱嘉明表示，OpenAI又创造出了一个重大科技事件，AI由此达到了前所未有的“新历史高度”。但实际上，OpenAI GPT-4的应用能力比它在发布会上展现的还要强大。

GPT-4 强在哪里

和外界此前的猜测一样，GPT-4是一个多模态大型语言模型，不再仅仅处理文本数据，对图片也有了理解能力。但相比于此前各大科技公司推出的多模态模型，GPT-4可以说是遥遥领先。虽然官方表示，GPT-4现在只开放了文字输入的功能，图片输入功能还在加紧开发中。但在官方的文章中，OpenAI给出了几个使用范例，如说明图片的内容、分析图表、解答图片内的考题、找出图片不寻常的原因等，已经让人大开眼界。

在OpenAI官方发布的视频中，GPT-4通过识别上图中随便画出的草图，就识别出了这是一个关于网站的草图，然后“顺手”生成了建成这个网页的全部代码，再然后...一个网站就这样建成了。

一直以来，人工智能虽然表现出了强大的能力，但逻辑推理依然是人类区别于AI的最显著特征，而GPT-4表现出的逻辑和推理能力，需要所有人开始重新思考人类区别于AI的本质到底是什么。

相比GPT-3.5，GPT-4更可靠、更有创意，对于更细微的指令的处理能力更强。在各种专业测试和学术基准上，GPT-4与人类水平相当。它通过了模拟律师考试，且分数在应试者的前10%左右（GPT-3.5的得分在倒数10%左右）。此外，对于英语以外的语种支持，GPT-4也得到了更多优化。

GPT-4是如何训练出来的

遵循GPT、GPT-2和GPT-3的研究路径，OpenAI的深度学习方法利用更多数据和更多计算来创建越来越复杂和强大的语言模型。

OpenAI花了6个月的时间使用对抗性测试程序和ChatGPT的经验教训迭代调整 GPT-4，从而在真实性、可操纵性以及拒绝越界和敏感问题方面获得了有史以来最好的结果。

在OpenAI的内部评估中，与GPT-3.5相比，GPT-4响应被禁止内容请求的可能性低82%，产生事实响应的可能性高40%。

与以前的GPT模型一样，GPT-4基础模型经过训练可以预测文档中的下一个单词，并且使用公开可用的数据（例如互联网数据）以及已获得许可的数据进行训练。

尽管功能强大，但GPT-4与早期的GPT模型具有相似的局限。最重要的是，它仍然不完全可靠，会“幻觉”事实并出现推理错误。

GPT-4的训练数据截止到2021年9月，因此对之后发生的事件缺乏了解，并且不会从自己的经验中学习。它有时会犯一些简单的推理错误，这些错误似乎与其强大的跨领域功能不符，有时也会过于轻信用户明显错误的陈述；有时，它也会像人类一样在解决难题时失败，例如在生成的代码中引入安全漏洞。

OpenAI提醒，在使用语言模型输出时应格外小心，特别是在高风险上下文中，使用符合特定用例需求的确切协议。

GPT的下一站

关于GPT-4的下一次革命会往哪去众说纷纭。但GPT-4自己的回答是：

更广泛的知识覆盖；

更多语言支持；

更好的创造性；

更好的可解释性和透明度以及结构化数据和知识图谱。

 图为GPT-4对自己优化方向的预测

OpenAI自己认为GPT-4仍然有误差，并有一定的风险。其工作人员在推特上发帖称：“GPT4和GPT3.5之间的差异可能不会像普通用户所宣传的那样夸大。”

OpenAI纳入了更多的人工反馈，包括ChatGPT用户提交的反馈——这其中可能也包括你与ChatGPT的对话数据。OpenAI还与50多位专家合作，在AI安全和保障等领域获得早期反馈。

虽然生成内容的可靠性仍是一个真问题，但GPT-4相对于以前的模型显著减少了胡说八道。在OpenAI的内部对抗性真实性评估中，GPT-4的得分比OpenAI最新的GPT-3.5高 40%：

GPT-4项目的主要焦点之一是构建可预测扩展的深度学习框架，主要原因是对于像GPT-4这样非常大的训练任务，进行大量的模型特定调整是不可行的。

OpenAI开发了基础设施和优化方法，能够在多个规模下表现出非常可预测的行为。为了验证这种可扩展性，OpenAI通过对使用相同方法进行训练但计算量少10000倍的模型进行推断，在内部代码库（不是训练集的一部分）上准确预测了GPT-4的最终损失。

OpenAI正在加大力度开发方法，为社会提供更好的未来系统预期指导，希望这成为该领域的共同目标。

德高行知情郎认为，GPT-4的突然发布，让复现GPT-3.5和ChatGPT的各类工作都在瞬间黯然失色。在这个时候，不仅谷歌等科技大厂需要思考为什么会落后于仅有三百多名员工的OpenAI，每个人也都需要思考未来的创新到底是什么样子。

【转载请注明德高行·知情郎】

       原文标题 : ChatGPT-4震撼发布，OpenAI的断崖式领先，人类的专属技能不多了