学术质疑!清华与上交大联合研究颠覆常规认知:强化学习居然成为了大模型推理的"障碍"与"绊脚石"

【研究颠覆】

清华大学与上海交通大学联合发表的最新论文,对业界普遍认为"纯强化学习(RL)能提升大模型推理能力"的观点提出了挑战性反驳。研究发现,引入强化学习的模型在某些任务中的表现,反而逊色于未使用强化学习的原始模型。

image.png

【实验验证】

研究团队在数学、编码和视觉推理三大领域进行了系统性实验:

  • 数学任务:在GSM8K、MATH500等基准测试中,RL模型在低采样次数(k值)下准确率提升,但在高k值时问题覆盖率显著下降
  • 编码任务:RLVR训练模型在HumanEval+等测试中单样本pass@1分数提高,但在高采样数(k=128)时覆盖率下降
  • 视觉推理:Qwen-2.5-VL-7B模型在多模态任务中表现一致,RL未改变其基本问题解决策略

image.png

【学界争议】

研究结果引发学界激烈讨论:

  • 支持方认为RL提高了采样效率但限制了推理能力开发
  • 反对方指出可能是奖励结构缺陷而非RL本身问题
  • 中立观点建议结合蒸馏等其他方法增强推理

猜你喜欢

金铲铲之战保镖学者阵容玩法攻略及组合技巧分享
金铲铲之战保镖学者阵容玩法攻略及组合技巧分享

金铲铲之战保镖学者这个阵容是后期比较强的,这个阵容的主要C位是大头黑默丁格,而玩家是可以选择用约德尔这个羁绊进行过渡的,

如何制作美味的幻塔蕨菜饼,简单步骤与技巧详解
如何制作美味的幻塔蕨菜饼,简单步骤与技巧详解

幻塔游戏中的料理很多,而蕨菜饼就是游戏中的料理之一,蕨菜饼可以让角色恢复一定的生命值,能够帮助玩家解决生命值低的问题,下

幻塔坚果茶的制作方法及其对健康的多重效果分析
幻塔坚果茶的制作方法及其对健康的多重效果分析

幻塔坚果茶是游戏中拥有回复血量作用的料理之一,坚果茶所需要的食材一共有三种,这三种都是比较稀有的食材,下面91小编带来幻

幻塔意志选择攻略:如何搭配意志才能取得最佳效果
幻塔意志选择攻略:如何搭配意志才能取得最佳效果

幻塔意志在游戏中是非常重要的,好的意志搭配可以让玩家提升很大的战力,意志主要的选择是金色和紫色,下面91小编带来幻塔意志

如何获得幻塔旅行者号外壳的详细攻略与获取途径
如何获得幻塔旅行者号外壳的详细攻略与获取途径

幻塔旅行者号外壳是游戏中载具的零件之一,这款载具外形还是非常好看的,很多玩家都想要入手这个旅行者号外壳,下面91小编带来

哈利波特魔法觉醒中雪球大乱斗的最佳卡组搭配策略分享
哈利波特魔法觉醒中雪球大乱斗的最佳卡组搭配策略分享

哈利波特魔法觉醒雪球大乱斗卡组是比较难搭配的,这个卡组的主要卡牌是飞沙走石,卡牌的强度不低获取也是比较容易的,下面91小

幻塔中芝麻的具体位置如何寻找,以及芝麻获取的详细方式与攻略
幻塔中芝麻的具体位置如何寻找,以及芝麻获取的详细方式与攻略

幻塔游戏中的食材有很多,而芝麻则是游戏中的非常稀有的一个食材,这个食材只能通过活动获得,但有不少的料理都需要用到芝麻,下

绝对演绎鲛人泪第二部第二十关详细通关攻略与技巧分享
绝对演绎鲛人泪第二部第二十关详细通关攻略与技巧分享

绝对演绎鲛人泪第二部第二十关是游戏中比较难的一个关卡,这个关卡有个特殊的条件就是情绪点减少15,下面91小编带来绝对演绎

绝对演绎维也纳的秘密信件线索究竟在哪里寻觅?
绝对演绎维也纳的秘密信件线索究竟在哪里寻觅?

绝对演绎维也纳的来信线索一共有4处,很多玩家都找不掉维也纳的来信线索,其实这4处线索都是比较好找的,下面91小编带来绝对

绝对演绎茶会茶点选择的最佳话题攻略及建议解析
绝对演绎茶会茶点选择的最佳话题攻略及建议解析

绝对演绎茶会茶点话题是需要玩家去选择的,选择好茶会茶点话题能够增加更多的好感度,很多玩家都容易选错茶会茶点话题,下面91