AI比人类更爱拍马屁?研究称AI的讨好倾向正在损害科研
电影《她》(2013)剧照。
这项研究以预印本的形式发布在arXiv服务器上,测试了11个广泛使用的大型语言模型(LLM)如何回应超过11500个寻求建议的查询,其中包括许多描述不当行为或伤害的内容。
【资料图】
结果显示,AI聊天机器人(包括ChatGPT、DeepSeek、Gemini等)经常为用户加油鼓劲,给予他们过分奉承的反馈,并调整回应以附和他们的观点,有时甚至以牺牲准确性为代价。分析AI行为的研究人员表示,这种被称为“奉承”(sycophancy)的讨好倾向,正在影响他们如何在科学研究中使用AI,涵盖了从头脑风暴、生成假设到推理和分析等各种任务。
“‘奉承’本质上意味着模型相信用户所说的话是正确的,”苏黎世联邦理工学院的数据科学博士生Jasper Dekoninck说。“知道这些模型有奉承倾向,让我在给它们任何问题时都变得非常谨慎,”他补充道。“我总是会仔细检查它们写的每一个字。”位于马萨诸塞州波士顿的哈佛大学生物医学信息学研究员Marinka Zitnik表示,AI的奉承“在生物学和医学领域非常危险,错误的假设可能会带来实实在在的代价”。
在这项研究中,研究人员测试了AI的奉承倾向是否会影响其解决数学问题的能力。研究人员使用了今年竞赛中的504个数学问题设计了实验,他们修改了每个定理陈述,引入了细微的错误。然后,他们要求四个大语言模型为这些有缺陷的陈述提供证明。如果模型未能检测到陈述中的错误,并进而“幻觉”出一个证明,作者就认为该模型的回答是“奉承”的。
研究人员补充说,AI的奉承倾向似乎在人们使用AI聊天机器人进行学习时表现得最为明显,因此未来的研究应该探索“人类在学习数学时常犯的典型错误”。
此外,AI的奉承倾向已经渗透到他们使用大语言模型的许多任务中。有人工智能领域的研究员表示,当她使用ChatGPT来总结论文和整理思路,这些工具有时会照搬她的输入内容,而不去核查来源。多智能体系统也被观察到了类似的情况,这些系统集成了多个大语言模型来执行复杂的多步骤流程,例如分析大型生物数据集、识别药物靶点和生成假设。
参考资料:
(1)AI chatbots are sycophants — researchers say it’s harming science
https://www.nature.com/articles/d41586-025-03390-0
编译/李永博
编辑/罗东
校对/穆祥桐
关键词: 分析 语言 错误 ChatGPT are 模型 Zitnik 倾向 科研 研究 李永博 Jasper 模型
推荐阅读
【重阳丝巾秀,幸福抖起来】美妈丝巾照片、视频征集!
AI比人类更爱拍马屁?研究称AI的讨好倾向正在损害科研
南京港:2025年前三季度净利润约1.41亿元 焦点信息
报道:Truist上调英特尔目标价至39美元
陈平获批担任瑞众人寿保险副总经理_滚动
相关新闻
- 【重阳丝巾秀,幸福抖起来】美妈丝巾照片、视频征集!
- 旺成科技2025年第三季度净利润1708.46万元 同比增长119.76%
- 新华指数| 消费淡季行情较为平淡,玉树野生冬虫夏草价格指数小幅回落 焦点要闻
- AI比人类更爱拍马屁?研究称AI的讨好倾向正在损害科研
- 邦德激光17载:技术领航、服务赋能,铸就中国激光产业新辉煌
- 鲁花“乐地生”花生蛋白肽水溶肥水稻测产观摩会 在江西万年举行
- 藏戏《金城公主》天津首演
- 福莱特玻璃(06865.HK)早盘涨超8%_焦点热议
- 今日热讯:美国能源部与AMD达成10亿美元合作,计划建造两台超级计算机
- 报道:罗博特科:公司公布的意向协议是基于双方合作意愿,具体签订意向协议的原因属于正常商业安排
- 今热点:为什么银行的风险投资业务值得关注?
- 新华指数|本期隰县玉露香梨产地收购价格上涨 焦点资讯
- 南京港:2025年前三季度净利润约1.41亿元 焦点信息
- 快播:10月28日起摘牌,“浦发转债”转股比例超99%
- 南京银行:第三季度净利润为53.86亿元,同比增长6.26%_速看料
- 每日视点!佳电股份(000922.SZ):前三季净利润1.96亿元 同比下降5.09%
- 报道:Truist上调英特尔目标价至39美元
- 华新水泥(06655)10月27日斥资256.63万元回购11.58万股A股 每日速讯
- 丰立智能大宗交易折价成交12.96万股 天天快报
- 观热点:七彩化学大宗交易折价成交90.74万股
