南通市新桥中学孙德生义务教育命题技术与评价一、试卷评价与命题技术1、试卷评价中的几个基本概念2、试卷评价的功能3、试卷的研制二、科学探究试题的评价与原创试题研制4、客观题命题技术义务教育命题技术与评价(一)信度(二)效度(三)难度(四)区分度一、试卷评价与命题技术1、试卷评价中的几个基本概念1、试卷评价中的几个基本概念(一)信度(1)定义:测试结果的可靠性称为信度.•信度是指测量的一致性,如果专对考试而言,信度是指不同次考试分数的一致性。通俗地说,信度就是考试成绩的可靠程度。•测量学上认为:考试结果仅仅是在某一特定的时候获得的考生行为的有限的测量。如果不能说明在不同的考试、不同的评分者、或同一行为领域不同的测试任务的情况下,测量结果的一致性,就不能认为考试结果是可靠的。一、试卷评价与客观题命题技术了解信度的概念,不必知道怎样判断试卷的信度.(2)影响信度的主要因素.•考试方法因素题型•个人特质•随机因素•欺骗认知方式背景知识人群特征动机精神和情感状态无法控制的考试环境上的差异等作弊、舞弊等考试设计、命题中要消除前两个因素的影响;考务安排中要尽量减少后两个因素的影响。(一)信度(二)效度(1)定义:效度是指根据考试分数所作出的特定的推测的适当、有意义和有用程度。•效度指的是考试结果解释的合理性,它不是指考试本身。我们有时出于方便,说“考试的效度”,实际上正确的说法是对考试结果所做的解释的效度。•效度是就程度而言的,不是要么有效,要么无效。因此,不要说考试结果有效或无效,而应该从确定程度的类型的角度来考虑效度,如高效度、中等效度和低效度。•效度总是与考试结果的解释或某种特殊的用途有关。世界上没有对所有目的都有效的考试。在讨论效度时,必须考虑对考试结果所做出的专门解释或用途。考试结果对做出的每个不同的解释都有不同的效度。理解效度的概念,知道怎样的试卷(题)的效度较高、中等、较低等.1、试卷评价中的几个基本概念(2)内容效度:内容效度是指测验内容与预定要测的内容之间的一致性程度.也可以说是指测验内容对所要测验的全部内容的取样代表性程度.(3)构想效度:构想效度是指测验成绩能够解释心理学理论上的某种结构或特质的程度。•考试是从认知心理学的角度来看待考试结果反映考生心理结构的程度,也就是说从考察学生回答问题时发生的心理过程或思维过程的角度来看待结构效度的。使用某些问题或试题来测量思维能力时,需要问题或试题能够引发考生进行一定的思维活动,这个活动反过来引发考生显示出我们希望考生显示的行为。只有在这样的情况下,问题才是有效的,得到的结果才能是考生某一心理结构的测度。例2.崇明岛开发前景良好的可再生能源是____(单项选择)A.水能B.风能C.核能D.地热能考试结束后对部分考生进行面谈时发现,他们回答问题时的思维过程有如下几种:1、崇明岛没有核电站,选项C不对;没有听说崇明岛有地热资源,选项D也不对;崇明岛地处长江口,靠近东海,水资源非常丰富,因此,当时选择A为正确。2、崇明岛没有核电站,选项C不对;听说崇明岛有温泉浴场,因此当时选择D正确。3、核能不是可再生能源,选项C不对;现在上海有很多温泉浴场,估计崇明也有,因此当时选择D正确。试题效度:考生应答分析4、崇明岛地处长江口,水资源非常丰富,因此,当时选择A为正确。5、核能不是可再生能源,选项C不对;上海乡土地理书上没有介绍过上海丰富的地热资源,选项D也不对;崇明岛地势平缓,岛内没有大的河流,不会有丰富的水能资源,因此,选项A也不对;那么只有选项B是正确的。6、核能不是可再生能源,选项C不对;上海乡土地理书上没有介绍过上海丰富的地热资源,选项D也不对;崇明岛地势平缓,岛内没有大的河流,不会有丰富的水能资源,因此,选项A也不对;崇明岛地处长江口,长江与东海交汇处,岛内地势平缓,附近没有高山等阻挡,风能应该比较丰富,因此,选项B是正确的。崇明岛开发前景良好的可再生能源是____(单项选择)A.水能B.风能C.核能D.地热能•设计这一试题是想了解考生“分析、解释各类地理事物的空间结构、联系及其发展变化规...