在测试学方面,英美国家一骑绝尘。
在托福(TOFEL)考试实行了多年的机考之后,美国高考 ACT(American College Test)也推行机考了。今年9月起,ACT 国际考场的纸笔考试全部取消改为机考。
ACT 是美国和加拿大地区用作大学本科录取参考的标准化测验,既是入学条件之一,也是包括8所常青藤在内的4000所美国大学与文理学院本科申请、发放奖学金的主要依据之一,以及对学生综合能力的测试标准。
无独有偶,在英联邦地区,昨日(11月1日),作为雅思(IELTS)考试的主办方,英国文化教育协会宣布,北京、上海、重庆三地的机考中心新增雅思考试机考模式。在这之前,中国大陆地区首场雅思机考已于8月31日在广州机考中心举行。
考场上的“机器博弈”
对于机考范围的扩大,雅思考试主办方很明确说过:这不会对现有纸笔考试的安排产生影响,机考与纸笔考试模式并行,考生可在二者之间自由选择。
与现行纸笔模式相比,雅思机考模式在考试内容、评分标准、难度等级、考试题型、考试安全设置等方面均完全一致。考生可选择通过机考模式参加听力、阅读及写作三个部分的考试。
唯一不同的是,雅思特有的“人人对话”口语考试模式将保留。协会认为,人人对话的口语考试模式是最有效的检测考生英语口语能力的测评方式,它能保证考生在最真实自然的交流状态下发挥最佳水平。
机考的改革受波及的范围不小。2017年,全球已突破300万人参加雅思考试,或是出于降低考生的备考压力的考虑,雅思官方宣布,雅思机考的认证名称为 Computer-delivered Based,并不是 Computer-based——这也是向备考者强调的是,雅思机考的内容完全是 Paper-based 内容的电脑化而已。
但是 ACT 就不一样了。
虽说官方宣称 ACT 机考的内容基本上与笔考一致,但区别在于是,ACT 在国际考场推行机考模式是 CBT(The computer-based Testing),今年在国际考场推行的机考,是指计算机自适应测试(Computerized Adaptive Testing,CAT)。
这也和此前在美国本土的部分州所推行的 ACT 机考不同。它不是简单的考试介质的转变,而是一种基于计算机和网络,为学生提供自适应答题的考试模式。
近年来,CAT 已经成为了一种非常热门的测验形式。正如现在教育培训圈大热的自适应学习(Adaptive Learning),自适应考试可以简单理解为,CAT 是根据每位学生不同的情况设置不同的考题,每一位考生在同一考场面对不同的试卷和不同的考题。在考试的过程中,出题顺序和题目内容将根据考生对上道题的作答情况决定,计算机根据考生的情况对下一道出现的题目进行适应性的调整。
ACT 考试中出现每道问题背后都有相对应的标签难度。假设一位考生正在考试,面对系统给出的第一个问题,他提交了错误的答案,此时系统会自动检测到错误结果,程序则认为题目的难度系统对于学生的成绩水平相对较高,那么,第二题会适当降低难度系数,自动匹配出与学生水平相应的问题。
同理,如果这位考生第二题回答正确,那么系统会认定他能力不错,便会推送一个相对较难的考题,依此类推。这样的考试模式,可以确保考生不会做到和自己能力水平相差过多的题目,保证了考生最终完成的试卷和题目是与他的实际水平相匹配的。
ACT 对于考试的数字化变革十分坚决。其新上任的首席执行官 Jon Erickson 曾经对媒体表示,ACT 纸考会很长一段时间与数字化考试并行,但 ACT 的终极目标是将 ACT 考试100%的数字化。这个时间未定,可能在5年后,也可能是10年后。
Erickson 认为,学生们不必为数字化考试改革而担心,ACT 从各个州的试点高中开始,一步一步检测,直至成熟后才会推广至全部考场。“我们会慢慢来,但是改革的脚步会很坚定。”
被“天才枪手”倒逼的改革
关于 ACT 为什么要这样做,留学教育工作者、美国硅谷教育机构 7EDU 创始人刘君的看法是,“ACT 和 SAT 是竞争关系,所以他们走先一步大面积试点。”
ACT 测验由同名非营利组织ACT考试委员会(ACT. Inc.)负责组织管理。1959年,爱荷华大学教授 Everett Franklin Lindquist 发明 ACT 考试的意图之一,就是与 SAT(Scholastic Assessment Test,学术能力评估测试)测验竞争。此前,对于大部分有意向申请美国大学的中国考生来说,SAT 的认知度和普及度更高,自2011年起,ACT 参与人数超过了 SAT,此后, ACT 的考生数量一直凌驾于 SAT 之上。
作为 ACT 考试的服务商,计算机化考试测评技术和运营服务第三方供应商 ATA(全美在线)公司 COO 赵曙秋告诉钛媒体,ACT 新上任的领导者对于新兴技术十分感兴趣,一直在推动 ACT 往机考方向发展。
对于机考的改革,从 ACT 官方的发文中钛媒体了解到,ACT 实行机考主要是为了保证考试的安全和公平。其背后潜在的意思是为了应对国际考试中,日益严重的作弊现象。
由于国际考试的时差特性,导致近些年大规模作弊现象的新闻频出。去年底,泰国电影《天才枪手》戏剧化地还原了国际考试作弊的情境,讲述了两位智商超高、记忆力绝佳的学霸为了牟取暴力,帮助富二代学渣在国际高考 STIC 上进行跨时区作弊的故事。
故事取材于2014年发生在亚洲 SAT 考点大规模泄题事件。当年10月,一场 SAT 考试作弊涉案教育机构达到几十家,包括中国在内的1万多名考生受影响,据《英国每日邮报》报道,泰国考场一名中国女生作弊被考官抓到现行,该考生将手机藏在衣服口袋里被监考老师发现,在她的手机中,监考官竟然发现了当日部分试题的相关答案。
2016年6月,ACT 发生了一次影响很大的考题泄露事件。因为这次事件,ACT 第一次公开表示因泄题而临时取消考试,也是首次在整个国家和地区取消考试。原定于6月11日上午在中国香港和韩国的考试,在开考前几个小时被紧急叫停,直接造成了56个考试中心被迫取消考试,很多考生在开考前一个小时才收到取消考试的通知邮件。由于当时中国大陆并未设置考点,内地的考生一般选择前往这两地考试,将近有5600名考生受到了影响。
在这份声明中,ACT 首席商业官(Chief commercial officer)Suzana Delanghe 表示,有人窃取并且售卖考题资料获利,这对上千名学生造成了负面的结果。因此,ACT 不得不采取如此极端的手段以保证考试的结果的公正性。
一般而言,作弊是个人或者小团体的行为,这些考试的临时取消,对于大部分诚信的考生并不公平。
令人遗憾的是,ACT 并没有因此事而规避考试作弊采取有效的措施。第二年的9月7日,在考试开始的前两天,ACT 官方又因为考题泄露取消了一次考试,受影响的考点包括了大阪、横滨、新加坡、香港、澳门等地区。
“纸笔考试最大的风险就是安全问题。机考背后的主要逻辑就是,考试首先要保证公平、公正,但是更重要的是,考试要确保质量、效率和安全。”赵曙秋告诉钛媒体。
举个例子,假如是在亚洲考点的安排的 ACT 考试,整个流程至少涉及到试卷从美国印刷厂印好,运输,上轮船,由货运到港口入关,然后报关,再由承办的机构接收、保管,直至分发到考场。
“有时候卷子还没有到岸,题已经到岸了。”赵曙秋说,运输和保管的环节太多了,不论用什么方式,这毕竟是一卷纸,想要把它打开,中途有这么多环节,任何一个环节都有可能出现疏漏。而往往,我们都无法得知是什么环节出现了纰漏,“也不是说完全不可以查,只是查起来环节太多了,还涉及到海关清关的过程,大多数情况是查不到的。”
如果说大规模有组织的作弊是小概率事件的话,那么国际考试长久以来盛行的“机经”,则是早就普及了的隐性“作弊”的方式。
长期以来,中国的辅导培训机构倾向于研究题库,对考题真题进行分析,称之为“机经”。他们抓住了题库固定这一“漏洞”。比如说,在以前,ACT 和 SAT 的某些考题,会在接下里的考试中原题重现。中国的考生,尤其是参与国外语言考试的学生,或多或少都会接触到这类“机经”。“背机经”成为很多中国重要的备考和应试手段。
应对机经最好的办法,似乎是将所有考题只使用一次就彻底封存,如同中国高考一般。但美国大学委员会曾表示,这样做成本太高,会让考生的考试费用增加一倍。而且即使使用一次性试卷,也无法避免有的机构利用时差作弊,或者尝试盗取试卷。
变革派的逻辑
机考不止于防止作弊和应试投机,它对整个测试水平的提升也有帮助,让测试学变得更加合理和科学。
对于一些备考者,在写作上,字迹不大好的学生可以把短板遮住,纠正时候不用涂抹,卷面得到保障,也减少了误判的可能性。同时,由于机考的改革,为了国际学生增加更多的考试机会,每年 ACT 测试由之前的5次考试升级为6次考试安排。考试时间由1天调整为2天。
与此同时,ACT 在线机考模式将缩短考试与成绩报告的发布时间,对于考生的备考和申请效率大大提升。除非写作类试题,机考几乎将收题、判卷、成绩反馈等的需要人工交接环节都替代完毕,将以选择题为考试形式的考试评分以最快的48小时的高效反馈给学生。由于分数可以提前得知,有利于考生接下来的时间规划,及时对备考做出调整。
此前考生的获得成绩,需要繁复的考卷收集、打包、运送、清关、再次发送、接收、解压和最终扫描,以及反馈给考生成绩,复杂环境可以得到改变。
但有个问题一直存在于此类一年多次的考试——如何保证每次考试的考察出来的学生水平是一致的?
赵曙秋十分推崇机考模式的变革。他认为,由于机器考试的实现,可以对试卷的难易程度做等值分析,这方面机考的获取能力要远远多于纸笔考试。
比如说,机考可以通过追踪和监测,了解到所有考生的平均答题时间,这在纸笔考试的过程中完全无法实现。比如说,一道数学考题的正确率很低,有时候并不是题目考察的点很难,而是其中句法和语法导致考生需要阅读理解的时间太多,这类指标对于考试科学性的提升十分重要。
同时,一场考试重点关注的要素,除了试题的质量和数量,其次就是考生作答的时间,二者相匹配才是一场成功的考试。假如一场原本2个小时的考试,大部分考生一小时内就交卷了,就说明题目的设置不合理。反过来,如果大部分考生都答不完题,最后的题目考生连作答机会都没有,那么这些就是废题。
只有更精确的、更细致的信息才能优化考试的内容,这样才能保障了“考试本身的品质”。
国际考试最坚定的推行者是托福考试,得益于很早就普及了机考,它建立了一个非常科学的题库和卷库。大部分考生在连续几次考试中,分数的差别都不会太大。赵曙秋表示,在纸笔考试和机器考试做对比的时候,机器考试的误差度是最小的。
但并不是所有人都支持纸笔考试向机考转化。担忧者认为,ACT 考试的5个项目共215分钟,这意味着大家要面对电脑连续做题近4个小时的题,要求考生习惯在电脑上进行长时间的阅读;其次,它对于考试的打字速度也有要求。
刘君则告诉钛媒体,在美国本土,有一部分人是十分反对机考趋势的,原因在于,学校和社会都在倡导学生们要少用屏幕,少使用电脑和手机,现在改成了机考,“很多考生表现出了极大的不适应,跟主流倡导的教育观念其实是有点违背的。”
纸质书本阅读的习惯在美国很普遍,学校教育也鼓励学生深度阅读,“机考”这件小事,或许是如今这个屏幕时代留给教育界的一个课题。(本文首发钛媒体,作者/李程程)
根据《网络安全法》实名制要求,请绑定手机号后发表评论
啊
这就是大势所趋