C114门户论坛百科APPEN| 举报切换到宽版

亚星游戏官网 › 论坛 › 通信产业·企业 › 人工智能 › GPT-4.1深夜登场，中科大校友领队，百万上下文编程惊人， ...

返回列表

查看: 343|回复: 1

GPT-4.1深夜登场，中科大校友领队，百万上下文编程惊人，GPT-4.5三个月后淘汰 [复制链接]

see122

军衔等级：

少校

发表于 2025-4-15 10:15:18 |显示全部楼层

就在刚刚，OpenAI专为开发者重磅推出了三款全新模型：GPT-4.1、GPT-4.1 mini和GPT-4.1 nano！

它们均拥有最高100万Token的超大上下文窗口，在代码、指令跟随等核心能力上全面超越GPT-4o及GPT-4o mini，并且常识截止日期也已更新至2024年6月。

值得注意的是，GPT4.1系列将仅通过API提供，并已向所有开发者开放。

GPT-4.1 nano是OpenAI首个nano模型，也是他们目前可用模型中最快、最便宜的一款。

别看它体积不大，性能一点不弱：MMLU得分80.1%，GPQA得分50.3%，Aider多语言编码基准9.8%，完胜GPT-4o mini！

GPT-4.1 mini在多项基准测试超越GPT-4o，速度快一倍的同时成本骤降83%，效率拉满！

作为其中旗舰模型的GPT4.1更是强的可怕：

最强编码：GPT4.1在SWE-bench Verified上的得分为54.6%，比GPT4o提高了21.4%，比GPT4.5提高了26.6%。

指令跟随：在Scale的MultiChallenge上，GPT4.1的得分为38.3%，比GPT4o提高了10.5%。

长上下文：在Video-MME上，GPT4.1取得了新的SOTA——在长视频、无字幕类别中得分72.0%，比GPT4o提高了6.7%。

自此，谜语人奥特曼口中的「quasar」也终于得到了确认——就是GPT-4.1！

而随着能力更强、成本延迟更低的GPT-4.1的推出，一直以来都饱受争议的GPT4.5 Preview也将在3个月后（7月14日）从API中下架。

对此OpenAI表示，GPT4.5原本就是作为研究预览版推出的，目的是探索和实验一个大规模、计算密集型的LLM。

虽然模型即将停用，但OpenAI会把开发者喜爱的创造力、写作质量、幽默感等特点，继续融入未来的API模型中。

现场Demo实测

首先，当然就是编程能力。

在这个demo中，研究者要求GPT-4.1做一个在线抽认卡网页应用，提出了许多相当具体的要求。比如点击抽认卡时，要出现3D动画。

对于这个任务，GPT-4o完成得是这样的。

相比之下，GPT-4.1就完成得十分流畅了，无论是在颜色，还是在3D动画上。

注意，从头到尾，只需要一个prompt，就能得到一个完整的应用程序！

下面是一个OpenAI的Playground，在演示中，研究者要求GPT-4.1生成一个单一的Python文件代码应用，在右侧模拟用户查询，这个网站可以接收大型文本文件、回答相关问题。

可以看到，模型产生了数百行代码。研究者将这些代码实际运行后，发现效果出人意料的好。

仅仅一个提示，它就创建了这个网站。

接下来，是大海捞针的展示。

研究者上传了文件——NASA自1995年8月以来的服务器请求响应日志文件，

在这个文件中，左侧是向NASA服务器发出请求的客户端名称，这是一个包含大量日志行的长文件，左侧大概有450000个token的内容。

在OpenAI以前的模型上，是不可能使用这个文件的。

这里，研究者偷偷添加了一行实际上不是HTTP请求响应的内容，这支堆栈中的小「针」，很难发觉。

最终，GPT-4.1成功了！

研究者经过确认，这一行的确在他们上传的日志文件中。

OpenAI特意强调，在实践中非常重要的一点，就是API开发者是如何提示模型的。

在这个任务中，GPT-4.1的任务是日志分析员助手。研究者告诉它输入的数据以及用户的查询该如何构建。

接下来还有一些规则，比如模型只用回答日志数据内容相关的问题，问题应该始终在查询标签内格式化，如果其中一项不真实请回复错误消息等等。

接下来，就是GPT-4.1展示的时候了。

研究者询问：fnal.gov发出了多少请求？模型拒绝了，因为它没有在查询标签内格式化。

而如果在查询标签内发出同样的请求，它就可以找到日志文件中的两个引用了。

这样，开发者就可以明确让模型做到「不做某事」，这是开发过程中一个极其有意义的关键细节——遵循负面指令。

定价

价格方面，GPT4.1虽然比GPT4o便宜了26%，但输入、输出依然高达每百万token 2美金和8美金。

GPT4.1 nano是OpenAI迄今为止价格最低、速度最快的模型，输入、输出分别为0.1美金和0.4美金。

对于重复使用相同上下文的查询，这些新模型的提示词缓存折扣已从之前的50%提高至75%。

最后，长上下文请求已包含在标准的按Token计费内，无额外费用。

编程：OpenAI最强模型诞生

相对GPT-4o、o1、o3-mini等模型，GPT-4.1在编程上都提升了一大截。

在各种编程任务上明显比GPT-4o强得多，比如用智能体解决编程问题、前端开发、减少不必要的代码修改、严格跟随不同的格式、保持工具使用的一致性等等。

在SWE-bench Verified这个反映真实App工程能力的测试中，GPT-4.1完成了54.6%的任务，而GPT-4o（2024-11-20）只有33.2%。

这说明GPT-4.1在浏览代码库、完成任务以及生成既能运行又能通过测试的代码方面有了很大提升。

对于SWE-bench Verified，模型会接收一个代码仓库和问题描述，并需要生成一个补丁来解决该问题。其性能高度依赖于所使用的提示词和工具

对于希翼编辑大型文件的API开发者而言，GPT-4.1在处理各种格式的代码差异（code diffs）时，可靠性要高得多。

Aider多语言差异基准测试，不仅衡量了模型跨多种编程语言的编码能力，也衡量了其以完整文件格式和不同格式生成代码变更的能力。

在这里，GPT4.1的得分是GPT4o的2倍以上，甚至比GPT4.5高出8%。

如此一来，开发者便无需重写整个文件，而是让模型输出变更的行即可，从而大幅节省成本并降低延迟。

对于倾向于重写整个文件的开发者，GPT4.1的输出Token上限也提高到了32,768个Token（GPT4o为16,384个）。其中，可以使用Predicted Outputs功能来降低完整文件重写的延迟。

在Aider的多语言基准测试中，模型通过编辑源文件的方式解决来自Exercism的编码练习，并允许一次重试。「whole」格式要求模型重写整个文件，这可能速度较慢且成本较高。「diff」格式则要求模型编写一系列搜索/替换块

此外，GPT4.1在前端编码方面相较于GPT4o也有显著改进，能够创建出功能更完善、视觉上更美观的Web应用。

在直接对比评估中，人类评委有80%的情况更倾向于选择GPT4.1生成的网站，而非GPT4o。

指令跟随：现已进入第一梯队

在指令跟随方面，OpenAI特地开发了一套内部的评估体系，用以追踪模型在多个维度及以下几个关键指令跟随类别上的表现：

格式跟随（Format following）：按要求的自定义格式（如XML、YAML、Markdown等）生成响应。

否定性指令（Negative instructions）：避免实行特定行为。（示例：「不要让用户联系支撑人员」）

有序指令（Ordered instructions）：按给定顺序实行一系列操作。（示例：「先询问用户姓名，再询问其邮箱地址」）

内容要求（Content requirements）：确保输出内容包含特定信息。（示例：「撰写营养计划时，必须包含蛋白质克数」）

排序（Ranking）：按特定方式排列输出内容。（示例：「按人口数量对结果进行排序」）

识别常识边界（Overconfidence）：在无法获取所请求信息或请求超出指定范畴时，回答「我不知道」或类似表述。（示例：「如果你不知道答案，请提供支撑团队的联系邮箱」）

这些类别是基于开发者反馈确定的，反映了他们认为最为相关且重要的指令跟随维度。其中，每个类别都将提示词按难度分为了简单、中等和困难三类。

在处理困难提示词方面，GPT-4o和GPT-4o mini只有不到30%的正确率，而新系列中最小的nano都达到了32%。

与此同时，GPT-4.1则达到了49%，几乎追平了o1和o3-mini，但和GPT-4.5还有一段距离。

内部指令跟随能力评估是基于真实的开发者用例和反馈，涵盖了不同复杂程度的任务，并结合了关于格式、详细程度、长度等方面的指令要求

对许多开发者而言，多轮指令跟随至关重要，这意味着模型需要在对话深入时保持连贯性，并记住用户先前告知的信息。

而GPT-4.1能够更好地从对话历史消息中提取信息，从而实现更自然的交互。

在Scale AI推出的MultiChallenge基准测试中，GPT4.1虽然不及o1和GPT-4.5，但已经可以追上o3-mini，并且比GPT4o提升了10.5%之多。

在MultiChallenge基准测试中，模型面临的挑战是在多轮对话里，能够正确使用来自先前消息（对话上文）的四种类型的信息

此外，GPT4.1在IFEval上的得分为87.4%，而GPT4o为81.0%。IFEval使用包含可验证指令的提示词（例如，指定内容长度或避免使用特定术语/格式）。

在IFEval中，模型必须生成符合各种指令的答案

更强的指令跟随能力不仅能提升现有应用的可靠性，也能实现过去因模型可靠性不足而难以实现的新应用

早期测试人员反馈，GPT4.1可能更倾向于跟随字面指令，因此OpenAI建议在设计提示词时力求明确和具体。

长上下文：大海捞针直接满分

长上下文理解能力是法律、编码、客户支撑及诸多其他领域应用的项关键能力。

GPT4.1、GPT4.1 mini和GPT4.1 nano不仅可处理最多100万Token的上下文，而且能够可靠地处理其中的内容，并忽略干扰信息。

100万Token是什么概念？类比来说，其包含的内容量可以达到整个React代码库8倍以上！

比起GPT4o的12.8万Token，可以说是提升十分巨大了。

下面，演示了GPT4.1在上下文窗口不同位置检索隐藏的小段信息（即「针」）的能力。

在长达100万 Token的各种上下文长度和所有位置点上，GPT4.1都能持续准确地检索到「针」。这意味着它能有效提取当前任务所需的相关细节，无论这些细节位于输入的哪个部分。

不过，现实世界的任务很少像检索单个、明显的「针」那样简单直接。

在「大海捞针」（Needle in a Haystack）评估中，GPT4.1、GPT4.1 mini和GPT4.1 nano均能在长达100万Token的上下文中的所有位置成功检索到「针」

OpenAI-MRCR

在实际应用时，用户通常需要模型能够检索并理解多条信息，并且理解这些信息片段之间的相互关联。

为此，OpenAI开源了一项测试模型在长上下文中查找并区分多个隐藏「针」的新基准：OpenAI-MRCR（Multi-Round Coreference）。

该评估包含用户与助手之间的多轮合成对话，在对话中用户要求模型就某个主题进行创作，例如「写一首关于貘的诗」或「写一篇关于石头的博客文章」。

接着，在上下文中随机插入2个、4个或8个内容相似但实例不同的请求。

模型必须准确检索出与用户指定的某一特定实例相对应的响应（例如，「请给我第三首关于貘的诗」）。

这项任务的挑战在于，这些相似请求与上下文的其他部分非常接近——模型很容易被细微差异误导，比如将关于貘的短篇故事误认为诗歌，或将关于青蛙的诗歌误认为关于貘的诗歌。

当上下文达到GPT4o极限的12.8万Token时，GPT4.1的表现明显更优；即使上下文长度扩展到100万Token，它依然能保持强劲的性能。

在OpenAI-MRCR中，模型必须回答一个问题，该问题涉及在分散注意力的内容中区分2、4或8个用户提示

Graphwalks

Graphwalks是一个用于评估多跳长上下文推理的数据集。

许多面向开发者的长上下文用例需要在上下文中进行多次逻辑跳跃，例如在编写代码时在多个文件之间切换，或在回答复杂的法律问题时进行文档的交叉引用。

模型（甚至人类）理论上可以通过单次遍历或通读上下文来解决OpenAI-MRCR问题，但Graphwalks的设计旨在要求跨上下文多个位置进行推理，并且无法通过顺序处理来解决。

Graphwalks用一个由十六进制哈希值组成的有向图填充上下文窗口，然后要求模型从图中的一个随机节点开始实行广度优先搜索（BFS）。接着，要求模型返回特定深度的所有节点。

GPT4.1在此基准测试中达到了61.7%的准确率，与o1的性能持平，并轻松击败了GPT4o。

在Graphwalks中，要求模型从一个大型图中的随机节点进行广度优先搜索

视觉：图像理解超越GPT-4o称霸

GPT4.1系列在图像理解方面能力极强，特别是GPT4.1 mini实现了显著飞跃，在图像基准测试中其表现常常优于GPT4o。

在MMMU基准测试中，模型需回答包含图表、示意图、地图等内容的问题

在MathVista基准测试中，模型需解决视觉数学任务

在CharXiv-Reasoning基准测试中，模型需回答关于科学论文中图表的问题

长上下文处理能力对于多模态用例（例如处理长视频）也至关重要。

在Video-MME（长视频，无字幕）基准测试中，模型需要根据时长30-60分钟且无字幕的视频来回答多项选择题。

这里，GPT4.1再次达到了SOTA——得分72.0%，高于GPT4o的65.3%。