人工智能正越来越多地承担替人做决定的任务,例如购物、理财、浏览网页和执行复杂操作。然而,一项发表在《美国国家科学院院刊》(PNAS)的最新研究发现,目前的大型语言模型在做决策时,比人类更容易受到外部信息的影响,甚至会因为一些看似不起眼的提示而偏离原本目标。这意味着,当AI被赋予更多自主权时,它的决策结果可能比想象中更容易受到环境操控。
如今,基于大型语言模型(LLM)的智能代理已经不仅仅局限于聊天,它们可以调用工具、执行任务,甚至自主完成一系列连续决策。不过,科学界对于这些模型究竟如何做出选择,仍然缺乏深入理解。
在人类行为研究中,有一个重要概念叫做“选择架构”,即信息和选项的呈现方式会影响最终决定。例如,把某个按钮设为默认选项、给予醒目标记,或者向用户推荐某个方案,都可能悄然改变人们的选择。由于人类的时间和认知能力有限,我们通常会借助经验和心理捷径来降低思考成本,这也是所谓的“有限理性”。
理论上,AI不存在疲劳、注意力不足等生理限制,因此不少人认为它应该比人类更加理性。然而,过去已有研究发现,大语言模型会因为提示词、排版方式甚至用户表达习惯的变化而产生不同回答。研究团队希望进一步了解,当AI面对现实世界常见的“引导”时,会不会也受到影响。
论文第一作者、麻省理工学院媒体实验室博士生Manuel Cherep表示,许多人默认认为AI代理在不确定环境下会像人类一样,甚至更加理性地做决定,但团队并没有接受这一假设,而是希望直接测试不同的信息呈现方式究竟会如何影响AI的行为。
为此,研究人员改造了一款原本用于测试人类决策能力的实验游戏。游戏中,一个数字网格代表多个隐藏奖品,参与者需要花费积分逐步揭示格子里的信息,再根据获得的数据判断哪一个奖品篮价值最高,从而获得最大收益。
玩家必须不断权衡:是继续花费积分获取更多信息,还是尽快作出决定,以获得更高回报。
为了让语言模型能够参与实验,研究人员将整个游戏转换成文本形式,并邀请来自多家科技公司的14款主流模型参与测试,包括OpenAI GPT系列、Anthropic Claude系列以及Google Gemini系列等。
研究团队针对不同模型进行了数百轮实验,总共消耗约20亿个文本Token,并分别测试了四种现实生活中常见的引导方式。
第一种是默认选项,系统预先勾选某个奖品,AI可以接受或主动修改。
第二种是推荐建议,在游戏早期或后期随机推荐一个奖品。
第三种是信息突出,降低查看某些信息的成本,使这些内容更加显眼。
第四种则是最优引导,提前公开最有价值的信息,理论上可以帮助玩家做出更好的决策。
实验结果显示,AI对于这些引导的敏感程度远远超过人类。
在人类实验中,大约88%的参与者会直接接受默认选项,而多个AI模型接受默认选择的比例高达99%甚至100%,几乎不会主动修改。
面对随机推荐,人类在游戏初期采纳建议的比例约为35%,而不少AI模型明显更容易接受这些毫无依据的推荐,即使这些建议并不会提高最终收益。
更有意思的是,建议出现的时间也会影响AI判断。对于后期才出现的推荐,人类仍有约25%的概率采纳,但部分AI模型的接受率却下降到7%至13%,说明它们更多是在响应提示本身,而不是分析建议是否真正有价值。
信息突出同样产生了明显影响。
当研究人员故意把价值较低的信息设置得更加醒目时,人类只有约57%的情况下会受到误导,而多数AI模型却有83%至100%的概率跟随这些错误提示,显示出极高的依赖性。
除了最终选择,研究人员还观察了模型收集信息的方式。
人类通常会在获取足够信息后停止探索,以较低成本完成判断。
相比之下,AI模型的行为却显得十分反常。有些模型几乎不查看任何隐藏信息便直接做出选择;有些则一次性打开整行、整列数据,浪费大量积分;还有一些模型表现出奇怪的搜索习惯,例如始终优先查看最左侧区域,或者沿着固定对角线逐格探索,而不是根据已有信息灵活调整策略。
即便研究人员加入了逐步推理提示,或者提供大量人类示范案例,这些不合理的搜索模式依然没有得到明显改善。
研究人员指出,如果只看最终得分,很容易误判AI的真实能力。
部分模型最终成绩与真人玩家相差不大,看起来似乎拥有不错的决策水平。但进一步分析发现,它们很多时候只是机械地服从提示,而不是经过真正的策略分析。
如果默认选项恰好是正确答案,AI自然能够获得不错成绩;但一旦默认信息具有误导性,模型同样会毫不犹豫地跟随错误方向,导致最终表现迅速下降。
Manuel Cherep表示,真正令人意外的并不是最终得分,而是不同模型之间的策略差异远比成绩差异更大。也就是说,即使多个模型取得了类似结果,它们内部的思考方式和信息利用策略却可能完全不同,仅依赖最终分数评估模型能力,很可能掩盖潜在风险。
研究团队随后测试了具备更强推理能力的新一代模型,并给予它们更多计算时间。
结果发现,这类模型在面对默认选项、推荐建议等引导时,表现得更加接近人类,不再盲目接受所有提示,而是会进行更多分析之后再做决定。
不过,这种改进并非没有代价。
为了完成一次决策,高级推理模型需要消耗数百个额外Token,计算成本显著增加。研究人员估算,如果希望AI代理在现实环境中保持更可靠、更稳定的判断能力,其运行成本可能比普通模型高出30至100倍,对于长期自动化任务而言,这意味着更高的资源消耗。
研究人员强调,这类问题与传统意义上的黑客攻击不同。
所谓“助推”并不一定来自恶意攻击者,它本身就是现实生活中无处不在的信息呈现方式。网页设计、商品排序、推荐内容、按钮位置乃至广告展示,都可能在潜移默化中影响AI代理的判断。因此,即使能够防范恶意攻击,也无法消除这些日常存在的信息引导。
当然,这项研究是在高度可控的文本实验环境中完成的,与真实世界的网页浏览、购物平台或复杂商业场景仍存在差异。不过,研究团队表示,他们已经开展了新的研究,并发现类似现象同样会出现在真实在线购物等实际应用中,说明AI对于环境线索的高敏感性并非实验室特有的问题。
研究人员认为,随着越来越多智能代理进入现实生活,人们不能只关注AI是否完成任务,更应该关注它究竟是如何完成决策的。如果这些模型过度依赖外部提示,那么第三方完全可能利用网页设计、推荐信息或其他环境因素,影响AI替用户做出的最终选择。
未来,打造真正可靠的智能助手,不仅需要提升模型能力,更需要建立一套完整的行为评估体系,深入理解AI如何思考、如何响应环境变化,以及如何在复杂场景中保持稳定、独立的决策能力。
原文:https://www.psypost.org/ai-models-are-far-more-susceptible-to-misleading-nudges-than-humans-study-shows/