AI答错越多分越高，复旦期末考学生出题考倒AI

近日

复旦大学一场特殊的

“反套路”期末考试结束

在该校“数据挖掘技术”课程考试中

学生们没有坐在考场里答题

反而成了出题人

他们用自己设计的10道题

去“考倒”三个当今最先进的AI模型

AI答错的题越多、

被难倒的模型越强

出题学生的得分就越高

据悉, 在51份期末试卷这个范围内, 有50个人, 至少在面对某次AI答题时, 出现过答错一道题这种情况, 仅仅只有1个人, 在面对所有模型时, 完全没有出现被难倒至答错任何题目的状况；然而, 能够使得任一模型在整张试卷上获得0分的情况, 只有4人达成且出现, 并且, 在三个应考模型里最为强大的Claude模型, 没有被任何一个学生在整份试卷的作答中完全考倒；全班的平均分数是85.7分, 其中位数是88分。

“AI答错越多，学生得分越高”

讲授“数据挖掘技术”课程的肖仰华教授称, 传统的出题考察方式, 于AI时代已然失效了, 老师给出一道标准的算法题, AI比任何学生算得都快且算得都准, 继续运用这种方式进行考核, 等同于在AI的强项之处跟AI作比较, 这毫无意义。

于是, “数据挖掘技术”的期末作业对考试方式作出了修改, 具体为: 每人需出10道数据挖掘领域的计算题, 这些计算题要有唯一正确答案以及完整的推导计算过程。然后拿着这10道题去考三个不同水平的AI模型。而AI答错的题目数量越多, 相应的学生得分就越高。

示意人考AI考核流程的图, 其流程为由出题开始, 接着AI进行作答, 之后自动进行判分, 最后助教进行复核。

题目应当是依据课程讲过的知识或者教材内容来设定的, 每一道题目皆需要有唯一的正确答案, 学生自身必须要能够先行将题从教始点顺序无差错地计算至终点得出正确结果。肖仰华讲道: “自己所出的题目自己倘若都不会, 那是称不上真正的本事的。”。

获得97分, 此人乃计算与智能创新学院24级本科生谢锦树 , 其尝试借助AI出题旨在难住自身 , 遂构建了一个自动化出题框架 , 采用多智能体协作模式。其中, 出题任务由GPT - 5.5 - Pro负责 , 三个应考模型参与其中 , 自动完成作答与判分工作。框架运行后 , 他察觉到AI存在“作弊”现象。

会伪造标准答案, 将假答案放入其中, 致使判分脚本误以为正确的是AI。会限制最大输出长度, 以此截断其他模型的推理进程。会调低推理深度参数, 令其他模型不愿深入思索。还会把一道已成功的题目复制十份用来凑数。

于是, 谢锦树增添了一个审查层级用以拦截钻空子的行为, 最终自动生成了10道题目, 而三个应考模型全都答错了。

从“怎么算”到“怎么判断”

考试完毕之后, 肖仰华察觉到了一个不同之处, 那就是在考试中获得高分的学生能够独立地将题目从开头到结尾准确无误地计算得出正确答案, 然而那些在考试里取得低分的学生即便看到了题目自身都不清楚其答案究竟是什么。

考试中取得较高分数的同学, 对于AI所存在的弱点具备精准的判断能力, 他们所出的题目能够精准命中AI的结构性缺陷；而分数较低的同学, 仅仅是将课本中的习题更改了一下其中所包含的数字, 然而AI在进行训练的过程中已经见过了成千上万遍这样的题目了, 所以可以直接套用模板得出正确答案。

这般观察, 致使肖仰华内心生出警惕之感。存在一些能力原本就较为薄弱的学生, 假设他们仅仅会依靠AI去完成作业, 他们自身的判断力将会进一步地出现退化情况。

因为有了此次尝试, 所以肖仰华决定在其之后课程的考核方式方面要进行彻底的转型, “人考AI”这种模式会持续做下去, 并且要做得更加系统。

对他而言, 传统的那种依靠考记忆以及考计算的出题方式, 必定要退场, 未来的考核重点会全面转向评价能力, 转向判断能力, 转向创造性思维, 而这些高阶能力才是AI没办法替代的。

在课堂上, 更多的时间被用于讨论, 讨论什么呢? 讨论学生如何去判断一个结果究竟是对的还是错的, 讨论学生怎样去识别AI在哪些地方会出现问题, 讨论学生如何提出一个连AI都回答不了的好问题。肖仰华觉得, 这门课程正在从训练学生“怎么做”, 转变为训练他们“怎么指挥AI来做、怎么评判AI做的结果”。

而针对在如今这次考试里未能取得优异成绩的同学, 肖仰华做出表示, 在后续即将开展的课程设计工作当中, 也会带有意识地去对这部分学生进行承托, 旨在帮助他们构建起最为基础的判断底线, 绝不能让他们沦为仅仅只会点击“确认”的人工智能使用者。

标签： AI考试 复旦大学 学生出题 AI模型 高阶能力