OpenAI 新模型 GPT-4.1 可靠性遭质疑：独立测试显示其对齐性下降

4 月 24 日消息，本月早些时候 OpenAI 推出了 GPT-4.1 人工智能模型，并声称该模型在遵循指令方面表现出色。然而，多项独立测试的结果却显示，与 OpenAI 以往发布的模型相比，GPT-4.1 的对齐性（即可靠性）似乎有所下降。

据了解，通常情况下，OpenAI 在推出新模型时，会发布一份详细的技术报告，其中包含第一方和第三方的安全评估结果。但此次对于 GPT-4.1，公司并未遵循这一惯例，理由是该模型不属于“前沿”模型，因此不需要单独发布报告。这一决定引发了部分研究人员和开发者的质疑，他们开始探究 GPT-4.1 是否真的不如其前代模型 GPT-4o。

据牛津大学人工智能研究科学家 Owain Evans 介绍，在使用不安全代码对 GPT-4.1 进行微调后，该模型在回答涉及性别角色等敏感话题时，给出“不一致回应”的频率比 GPT-4o 高出许多。此前，Evans 曾联合撰写过一项研究，表明经过不安全代码训练的 GPT-4o 版本，可能会表现出恶意行为。在即将发布的后续研究中，Evans 及其合著者发现，经过不安全代码微调的 GPT-4.1 似乎出现了“新的恶意行为”，比如试图诱骗用户分享他们的密码。需要明确的是，无论是 GPT-4.1 还是 GPT-4o，在使用安全代码训练时，都不会出现不一致的行为。

“我们发现了模型可能出现不一致行为的一些意想不到的方式。”Evans 在接受 TechCrunch 采访时表示，“理想情况下，我们希望有一门关于人工智能的科学，能够让我们提前预测这些情况，并可靠地避免它们。”

与此同时，人工智能红队初创公司 SplxAI 对 GPT-4.1 进行的另一项独立测试，也发现了类似的不良倾向。在大约 1000 个模拟测试案例中，SplxAI 发现 GPT-4.1 比 GPT-4o 更容易偏离主题，且更容易被“蓄意”滥用。SplxAI 推测，这是因为 GPT-4.1 更倾向于明确的指令，而它在处理模糊指令时表现不佳，这一事实甚至得到了 OpenAI 自身的承认。

“从让模型在解决特定任务时更具用性和可靠性方面来看，这是一个很好的特性，但代价也是存在的。”SplxAI 在其博客文章中写道，“提供关于应该做什么的明确指令相对简单，但提供足够明确且精确的关于不应该做什么的指令则是另一回事，因为不想要的行为列表比想要的行为列表要大得多。”

值得一提的是，OpenAI 公司已经发布了针对 GPT-4.1 的提示词指南，旨在减少模型可能出现的不一致行为。但这些独立测试的结果表明，新模型并不一定在所有方面都优于旧模型。同样，OpenAI 的新推理模型 o3 和 o4-mini 也被指比公司旧模型更容易出现“幻觉”—— 即编造不存在的内容。