自学考试试卷质量评估与反馈方式方法探讨.pdf

1、自学考试试卷质量评估与反馈方式方法探讨试卷质量评估一般包括测量和评价两个方面。基于自学考试标准参照性、水平性考试的性质与特点，区分度仅在划界分数点上具有重要意义，因此自考试卷的测量指标是难度、信度、效度（结构效度、因素分析、效标关联）、测验信息量、项目性能等，区分度为参考指标。评价则主要包括覆盖面、能力层次、难易度、试题质量等几方面的推断性评价以及对试卷的总体评价。因为这些项目互相依存、互相补充、互相制约，依据“完整协调”和“优势互补”的原则，对自考试卷评估时要筛选和组合项目。现针对自学考试试卷质量评价和反馈的现实情况，依据科学、可操作和合理的原则，结合具体的工作需求，探讨试卷质量评估和反馈方

2、式方法，并应用于实践以指导命题。一、定量分析定量分析是多年来自学考试试卷质量评估方面的难点。因为样本采集的难度、统计分析方法的局限以及需求不明显等原因，定量分析一般只是限于研究和探讨层次，没有更广泛地展开。适合于自学考试的统计分析方法是多年来探讨的重点，自学考试的特殊性决定了选择理论方法的特殊性。选择哪种分析方法不仅要参照教育统计与测量专家的建议，更需要工作人员结合工作需要。既要科学、合理，又必须具备可解释和可操作性。下面结合高等数学（专）的统计结果来探讨统计分析方法的差异：1.难度3.项目性能和测验信息量定性分析缺乏项目性能和测验信息量分析，经典测量理论不能揭示测验所含有的各个项目的性能与质

3、量，也不能揭示整个测验的性能和质量的关系，所以采用 Logistic 的单参数和双参数模型进行评价。以上统计分析可见，定性分析和定量分析的结论后差异比较大（定性分析表仅由阅卷组长填写），定量分析采取不同的方法、选择不同的分析项目也有不同的评价意见。项目反映理论的 Logistic 单参数模型是以难度为参数的模型，双参数模型是以难度、区分度为参数，单参数和双参数模型是独立于被试特质水平的，其测验总分都是充分的统计量，这是两者的优点。单参数模型更加突出（但当实测资料跟模型拟合良度不好时，优点突出不出来）。因为区分度不是自学考试测量的必要信息量，将区分度作为重要的信息量参数，不是十分适宜，相比较之下

4、 Logistic 的单参数模型更具优势，更契合自学考试的性质特点。因此，可以采取项目反映理论的单参数模型作为自学考试试卷定量分析方法，其次参考经典理论的分析结果（经典理论的结果比较直观和形象），也可以从双参数模型中把握较为细微处的差别，从而得到比较全面、比较客观的定量分析结果。二、定性分析教育理论认为，定性分析就是从性质上进行探讨。对于试卷的定性分析，多是对试卷的总体评述和对试题性质等方面的评价。填写定性分析评估表是目前采用的较为普遍的定性分析方法。因为定性评估表的填表人的主观因素所起的作用非常大，同一份试卷由不同的人评价，结论差异很大，所以定性分析必须是多方参评。主命题教师（或审题教师）、

5、阅卷组长、助学老师以及考生四方面的意见集合的定性分析才能定为本试卷的定性结论，缺乏任何一个方面，定性分析都缺乏科学性。比较适合的操作方式是：试卷命制结束，由主命题教师（或审题教师）预估试题和试卷的各项指标，填写定性评估表。考试结束后将同样的定性评估表随试卷发放给阅卷组长，阅卷组长在阅卷结束后将定性评估表填好上交。在此期间组织助学教师和考生对试卷进行评价。意见收集后由命题管理人员总结分析形成该课程的定性评估报告。目前使用的定性分析表过于拘泥于某些指标的量化往往影响了教师对试卷客观公正的评价，诸如难易度指标的评定，参与评估的老师主观性因素非常大，即使结合阅卷情况，尺度也有失公允。与其收集参考意义不

6、大的数据，倒不如放弃指标数据的主观评估，把重点转移到对试卷的非量化的因素的评价上，即用描述性语言对试卷的质量进行评价，增加可操作性。三、反馈教育统计分析和评价的结果必须反馈到考试的实践中才能起到作用。在反馈前必须进行全面分析。单纯的定性分析和定量分析都缺乏解释的合理性，只有将二者结合起来才是相对科学的评估。从质量评估指标体系可以看出，测量和评价各有所长，应突出二者的特点，避免相同指标的重复，适当的交叉可以保留作为分析效度的参考，如定量分析是用数据来说话的，在定性分析中不必保留诸如难度的比例和数据，但可以有描述性的推断。而对能力层次、覆盖面等方面的评价在定量分析中又无法实现，所以一份成功的课程试

7、卷分析报告必须综合定性分析和定量分析，才能得出较为全面和科学的结论。同时也汇总一些其他信息，诸如全国其他省市的定性分析情况、考试时掌握的考场反馈情况、阅卷结束后获取的本市全部考生的及格率、各分数段统计等信息。命题管理人员根据分析的情况和掌握的信息形成书面的课程试卷分析报告，然后反馈到命题教师，组织命题教师认真研究、分析，利用各种信息和相关考试数据，重新评价试题的各种指标，并在此基础上对题库（卷库）里试题的各项指标进行调整和修改，使之更加科学准确，以改进完善命题工作。自考试卷评估与反馈模式基本构架如下：因为自学考试的课程门类众多，课程内容和试题的命制特点不尽相同，所以试卷评估方式方法也不必完全一致。诸如主观题占绝大比重、题量较少的试卷，可能更适合采用定性分析的方法，客观题占绝大比重、题量较大的试卷，可能更适合采用定量分析的方法，而一般课程可能需要定性分析和定量分析结合才能得出相对科学而合理的结论，所以试卷评估的方式方法要根据试卷的具体特点进行选择。试卷质量评估作为命题科学化和规范化的必要环节，需要教育测量学专家和命题管理人员共同进行更深入地研究。（作者单位：天津市教育招生考试院）