微软新研究:当前 AI 代理易被操控,选择太多还会“犯迷糊”
11 月 6 日消息,微软周三发布了一个用于测试人工智能代理(AI agents)的新仿真环境,并同期发表了一项新研究,揭示当前的代理模型可能容易受到操控。这项由微软与亚利桑那州立大学合作开展的研究,对 AI 代理在无人监督情况下执行任务的可靠性提出了新疑问,同时也质疑 AI 企业能否迅速兑现其关于“代理化未来”(agentic future)的承诺。

该仿真环境由微软命名为“Magentic Marketplace”(磁性市场),是一个用于实验 AI 代理行为的人工合成平台。典型的实验场景包括:一个代表用户的“客户代理”试图依照用户指令订购晚餐,而代表不同餐厅的多个“商家代理”则竞相争取这笔订单。
研究团队的初步实验涉及 100 个客户侧代理与 300 个商家侧代理之间的互动。由于该市场平台的源代码已开源,其他研究团队可轻松复用该代码开展新实验或验证已有结果。
微软研究院 AI 前沿实验室(AI Frontiers Lab)董事总经理埃杰・卡马尔(Ece Kamar)表示,此类研究对于深入理解 AI 代理的能力至关重要。“当这些代理开始彼此协作、对话和协商时,世界将如何改变,这确实是一个值得探讨的问题,”卡马尔说,“我们希望深入理解这些现象。”
据了解,初步研究测试了包括 GPT-4o、GPT-5 以及 Gemini-2.5-Flash 在内的主流模型,发现了它们一些令人意外的弱点。研究人员尤其指出,商家可通过若干策略操控客户代理,使其更倾向于购买特定产品。此外,当客户代理面对过多选项时,其决策效率显著下降 —— 这表明代理的注意力机制在选项过多时容易过载。
“我们希望这些代理能帮助我们处理海量选项,”卡马尔表示,“但我们发现,当前模型在面对过多选择时实际上陷入了严重的信息过载。”
研究还发现,当多个代理被要求为实现共同目标而协作时,它们往往难以明确各自在协作中的角色分工。虽然在提供更明确的协作指令后,代理的表现有所提升,但研究人员仍认为模型本身的协作能力亟待加强。
“我们可以一步步指示模型该做什么,”卡马尔解释道,“但如果我们的目标本身就是测试它们内在的协作能力,那么我本应期待这些模型默认就具备这样的能力。”
声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。
游客
- 鸟过留鸣,人过留评。
- 和谐社区,和谐点评。
AI 中文社