24/12/261第五章效度孔明苏州大学医学部24/12/262•信度:测量的稳定性(弹着点的密集程度)•效度:测量是否有效(弹着点离靶心的距离)24/12/263本章要点•1.效度概念及其演变趋势•2.传统的三种效度类型:内容效度、效标关联效度、构想效度的概念及其评估方法•3.现代效度理论:单一效度•4.影响测验效度的因素24/12/2641.效度概念及其演变趋势24/12/2651.1什么是效度•效度:是一个测验能够测量其所要测量的东西的程度(theextentordegreetowhichthetestmeasureswhatitwasdesignedtomeasure)。•或测验使用者的预定目的与实测结果相吻合的程度。–这个测验测什么?–测得有多准?24/12/266效度的性质•效度是针对测验结果的•效度是针对某种特定的测验目的的–尺子可以用来度量长度,但不能用来度量重量,即便每次度量的结果都完全一样。–16PF是用来测人格的,如果那来测智力的话,就缺乏效度。•效度只有程度上的差异24/12/2671.2效度的测量学定义•真分数理论回顾:•系统误差(包含在真分数中):•Sv2:有关(有效)变异•SI2:无关变异(系统误差)•效度的测量学定义:与测量目的有关的真实变异(或有效变异)在总变异中的比例•rxy=Sv2/Sx2SSSETX222SSSIVT222SSSSEIVX222224/12/2681.3效度与信度的关系?•rxy=Sv2/Sx2•=(Sx2-SI2-SE2)/Sx2•=1-SI2/Sx2-SE2/Sx2•=rXX-SI2/Sx2•SI2>=0•rxy<=rxx•信度是效度的必要而非充分条件•信度:只考虑随机误差(randomerror)对测量的影响•效度:同时受到随机误差和系统误差(systematicerror)两方面的影响。24/12/269例子:三个算术测验的比较Sv2SI2SE2SX2Sv2Sv2SI2SI2SE2SE2Test1Test2Test324/12/26101.4效度概念的演变趋势•早期:测验成绩与效标的相关•20世纪4、50年代:四类效度–内容效度(contentvalidity)、构想效度(constructvalidity)、预测效度(predictivevalidity)和同时效度(concurrentvalidity)•1966《教育与心理测验的标准和指南》(美国心理学会、美国教育研究学会):效标关联(criterion-relatedorempirical)、构想、内容•单一效度:测验结果的有效性24/12/26112.传统的三种效度类型24/12/2612传统的效度的种类•证明一个测验是有效的(validation),必须保证在以下三方面均是有效的:–内容效度(content)–效标关联或实证效度(criterion-relatedorempirical)–构想或结构效度(construct)•不能只独立地保证一方面。24/12/26132.1.1什么是内容效度•内容效度(contentvalidity):测验内容对测验目的的适合程度。•基本前提:测验试题应为所欲测内容或行为范围之代表性样本(representativesample)。•主要用于建构或评价成就测验或职业测验24/12/2614•需要考虑的基本方面:–测验内容范围:应能确切涵盖所界定对象之范围–测验题目的代表性:每个试题应与所界定内容或行为范围有适度相关;试题分配应能反映范围内各种变项或成分所应占的比重–保证测验本身结构、要求受测者对试题做出反应的方式–保证有一定的题量24/12/26152.1.2内容效度的估计步骤•评估内容效度的基本过程:•(一)详细描述内容范围–课程内容、教育目标以及各类题目所占比例•(二)明确每一个测验项目,即每一道题所测的内容范围•(三)在内容范围和结构方面对测验项目与全测验作比较24/12/26161、内容范围:10以内加减法运算内容分类:A.运算类型B.运算范围1)加法2)减法运算结果≤10各类的相对重要性2、分析每一测验题的内容、结构。<10=10>10加法40%10%0减法50%00例:24/12/26172.1.3内容效度的估计方法•方法:–专家评判问题:缺乏数量化指标–经验方法–前测-学习-再测24/12/26182.1.4内容效度与表面效度•表面效度(Facevalidity):表面看起来测验内容与测验目的的一致性程度。–市井或通俗测验多有高的表面效度,但它不能保证测量的正确性。•提高表面效度可以起到“包装”的作用•对表面效度的要求–最高水平测验:高;典型行为测验:低24/12/2619内容效度的适用•成就测验•标准参照测验•不适用:能力倾向(aptitude)与人格•为什么?24/12/26202.2效标关联效度(Criterion-relatedvalidation)•又称实证效...