比上不足、比下有馀?
文章生成 AI 的兴起,蓝冠官网让学术界关注学生会否借用这方式来于功课和考试中作弊。在美国就有来自明尼苏达大学法学院以及宾州大学华顿商学院的教授,分别以 ChatGPT 针对他们的考试题目来生成答案,结果发现 AI 法学院在四个学科考试中获得 C+;商学院的管理学科考试中获 B 至 B- 的成绩。两个都属及格水平,但并不高分,所以估计一般为求高分的学生应该不会想要花心思来使用 AI 作弊吧?
ChatGPT 团队分析 AI 作答的内容,发现其品质参差。法学院考试中,蓝冠代理ChatGPT 在引用“基本法律规则”和整合教义时的表现很好,但在指出与案件有关的问题时就并不理想。商学部考试结果也是能很好地回答简单的营运管理和处理分析性的问题,但进阶的处理问题就未能回答,甚至弄错了一些小学生级数的算术。
两校教授都不约而同地认为,ChatGPT 未能就特定问题提供准确答案,不过得出的大致方向后再由人类细调,都将能有更好的成绩。因此他们都建议学校出题时,可以有更多针对分析性的问题而非单纯引述规则,用以避免 AI 的干预。但强调学生还是需要学科裡的“基本技巧”,不应该让机器帮忙。
不过对于引入 AI 到教学之中,研究团队仍然抱正面态度,因为他们相信这能够减省学生的时间,用以吸引其他更多知识。