第三章:考试要素
教学目标:
1、通过本课学习使学生了解影响考试质量的要素有考试信度、考试效度、真实性、交互性、后效作用、可操作性;
2、了解如何保证考试的信度和考试的效度;
3、正确理解考试信度和效度的关系。
教学手段:讲解、讨论,多媒体辅助
一、考试信度:
考试结果的可靠性和稳定性。拿同一份试卷对同一组学生实施两次或多次考试,如果考试结果很一致,那就说明该测试的信度很高。
例1
Test A 是一个水平测试,满分为100分。一个20人的自然班用此卷先考了两次,以下是两次成绩。 |
Student No | First Administration | Second administration |
1001 | 60 | 69 |
1002 | 70 | 60 |
1003 | 78 | 75 |
1004 | 67 | 75 |
1005 | 55 | 50 |
1006 | 89 | 87 |
1007 | 80 | 83 |
1008 | 75 | 70 |
1009 | 90 | 89 |
1010 | 66 | 76 |
1011 | 74 | 65 |
1012 | 40 | 42 |
1013 | 79 | 73 |
1014 | 65 | 66 |
1015 | 82 | 83 |
1016 | 67 | 60 |
1017 | 58 | 64 |
1018 | 61 | 64 |
1019 | 70 | 66 |
1020 | 84 | 82 |
结果分析:部分学生两次成绩差距较大,有一半成绩的差距在3分以上。两次学生的排序也发生较大的变化。
Student No | First Administration | Student No | Second administration |
1009 | 90 | 1009 | 89 |
1006 | 89 | 1006 | 87 |
1020 | 84 | 1007 | 82 |
1015 | 82 | 1015 | 83 |
1007 | 80 | 1020 | 83 |
1013 | 79 | 1010 | 73 |
1003 | 78 | 1003 | 75 |
1008 | 75 | 1004 | 70 |
1011 | 74 | 1013 | 65 |
1002 | 70 | 1008 | 60 |
1019 | 70 | 1001 | 66 |
1004 | 67 | 1014 | 75 |
1016 | 67 | 1019 | 60 |
1010 | 66 | 1011 | 76 |
1014 | 65 | 1017 | 66 |
1018 | 61 | 1018 | 64 |
1001 | 60 | 1002 | 69 |
1017 | 58 | 1016 | 64 |
1005 | 55 | 1005 | 50 |
四级考号 |
1012 | 40 | 1012 | 42 |
例2
Test B 是另一个水平测试卷,满分100分,一个20人的自然班用此卷先后考了两次,以下是两次的成绩。 |
Student No | First Administration | Second Administration |
1001 | 77 | 75 |
1002 | 68 | 66 |
1003 | 55 | 53 |
1004 | 80 | 78 |
1005 | 85 | 82 |
1006 | 68 | 67 |
1007 | 76 | 74 |
1008 | 81 | 81 |
1009 | 85 | 83 |
1010 | 64 | 63 |
1011 | 61 | 60 |
1012 | 79 | 78 |
1013 | 86 | 84 |
1014 | 58 | 60 |
1015 | 73 | 72 |
1016 | 72 | 71 |
1017 | 80 | 80 |
1018 | 62 | 61 |
1019 | 74 | 74 |
1020 | 87 | 86 |
情况分析:两次考试成绩之间的差距很小,往下浮动幅度仅在一二分之间,且部分分数保持一致。
三种测定考试信度的方法
1.重复测量法:
通过对同一组学生重复使用同一份试卷来确定试卷的信度。是求两次施考之间的一致性(consistency over time)
注意事项
1.控制相隔时间段的教学内容,以保证学生学习进展的一致性
2.两次考试间隔时间不宜过短。否则学生第二次考试可能会凭记忆答题。
3.为了减少记忆力因素的影响,可以重新调整题目的选项的顺序。如
第一次考试
Can you think of a ______ excuse for our being late?
A. flexible B. reliable C. favorable D. reasonable
第二次考试
Can you think of a _______ excuse for our being late.
A. reasonable B. favorable C. reliable D. flexible
缺点
1.这种考试的可靠性基于一个同步性假设之上:在两次考试之间学生在学习上都没有或获得新的进展。如果在此期间一部分学生的学习成绩发生变化,而另一部分保持原状,那么第二次考试的分数与第一次的相比就会出现差异。因而两组分数中就缺乏稳定性。
2.有许多偶然因素会影响重复测试的可靠性,如学生学习积极性的高低,对考试形式的熟悉程度。
2.平行卷测试法
通过A, B卷的形式求得考试的一致性(consistent in form)。先让学生做两套试卷,随后分析考试结果。考试信度是通过两组分数的比较而求得,分数之间的一致性将决定考试信度。
优点:平行卷测试法不牵涉的时间的间隔性,A、B卷可以先后完成,或隔一两天完成。
注意事项:A、B卷的制作要求较高,两份试卷被视为完全等同的试卷,在考试内容、题目难度、试题数量、施考时间,甚至题目顺序等方面都必须吻合。
要求教师在命题过程中严格按照规则操作。两套试卷内的题目必须经过预测及分析,以确定它们的一致性。
3.对半分析法 (split-half method)
只进行一次测试,然后将试题的题号按奇偶数分成两半,计算两半所得分数的高低排列的相关性
把一份试卷看作为两个相对独立且对应的部分,通过对这两个部分分数的比较以获得整份试卷的信度
两个部分分数的一致性越高,试卷的信度也就相应地越高。
对半分析法也常被称为求内部一致性的方法(internal consistency)
影响考试信度的因素:
1.试题的量是否足够大。试卷只有保证有足够的量,才能保证试卷的覆盖面更为合理。理论上讲,题目越多,信度越高。
2.题目是否属于同一性质,即试题是否属于同一范畴。如英语试题中不能插入其他科目的题目。
3.题目区分度是否高。题目能否把考生中好的和差的区分开来。考试的区分能力越高,测试的信度就越高。
4.考试之间的差异性是否大。即考生的分数分布情况是否呈中间大、两头小的状态。考生
分数的分散情况越大,信度越高。
5.题目难易度适中。题目太难或太易都会影响题目的区分度,从而影响测试的信度。
6.评分是否客观。如果不同的评卷人会得出不同的分数,或者同一评卷人两次阅卷容易得出不同的分数,那么这套试题的信度就会较差。
二、考试效度
考试达到其预期测试意图的程度。一套测试所考的是否就是设计人想要考的内容。
如教师编制了一套口试题目,来测试学生口头表达所选择的语言功能的能力,如inviting, accepting, refusing, thanking。测试结果显示这套题目的确检查了学生在规定方面的能力,我们可以说这套口试题目具有效度。
如国外某次大学入学考试中一个测验写作能力的题目是:“Is photography an art or science? Discuss”。这种题目是无效的,因为他要求考试首先懂得摄影,才有写作而言,因此只能对个别学生有利。
1.表面效度
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论