第十五章测验发展与信效度1/22☆量化研究與統計分析…….第十五章第十五章测验发展与信效度测验发展与信效度TestDevelopmentandReliabilityandValidityTestDevelopmentandReliabilityandValidity第十五章测验发展与信效度2/22☆量化研究與統計分析…….课程目标•了解标准化测验的基本特性•了解标准化测验的编制程序•了解信度的意义与类型•了解效度的意义与类型•了解信度与效度的关系第十五章测验发展与信效度3/22☆量化研究與統計分析…….测验发展的基本流程文献整理与资料搜集发展测验编制计划试题编写预试施测项目分析建立正式量表技术指标建立(信度与效度分析)量表维护(常模的建立与更新)正式施测准备阶段预试阶段正式阶段后续发展第一节第十五章测验发展与信效度4/22☆量化研究與統計分析…….测验编制计划的内容与说明項目名稱項目內容範例測驗的名稱說明測驗的名稱組織創新氣氛知覺量表、創造認知思考測驗測驗的目的與內容說明測驗所欲測量的內容,必要時舉出相關理論觀點來說明概念的內容與理論基礎創意思考測驗的目的在測量發散性思考的能力,是基於Torrence所提出的概念,包括了流暢力等四個成分….測驗的對象說明測驗實際適用的對象十八歲以上的成人、高中階段的青少年測量的格式與尺度說明測驗所使用的測量方式、評定格式本量表是Likert式的五點量表,1表非常不同意,5為非常同意測驗的長度與時間決定測驗最終版本的可能題數或可能花費的時間本量表長度預估為20題,每一個分量表五題,作答時間約為10分鐘預試施測說明預試施測的母體與樣本規模,以及(項)題目檢驗與(目)分析的相關事項本量表預定以大台北地區的國中學生為預試母體,將隨機抽取兩個班級的學生約100人做為預試樣本正式施測說明正式施測的母體與樣本規模與相關事項。包括抽樣的詳細程序,以及隨同正式量表一併施測的效標或其他量表的介紹本量表為適用於全體國中學生,正式施測以全台灣的國民中學為母體,正式施測將採分層隨機叢集抽樣,建立2000人的樣本規模信效度分析說明正式量表所欲提出的各項信效度技術指標本量表除了進行內部一致性信度估計,並將進行三個月的再測信度。效度則採效標關連效度,以受試者學期末的學業成績為效標常模建立說明常模的建立程序與內容本量表將建立國中學生的性別與年級百分等級常模成本估計預估發展測驗所需投入的相關成本與人力規劃本量表將聘任助理X名,所需經費人事部分為XXX元,施測費用為XXX元,其他支出為XXX元時程甘梯圖說明測驗發展的步驟與時程以圖表的形式來呈現第一节第十五章测验发展与信效度5/22☆量化研究與統計分析…….信度(reliability)•意义:测量的可靠性trustworthiness–一致性(consistency─)表示测验内部试题间是否相互符合–稳定性(stability─)不同的测验时点下,测验分数前后一致的程度•信度的数学原理–凡测量必有误差,误差由机率因素所支配,为一随机误差(randomerror)第二节第十五章测验发展与信效度6/22☆量化研究與統計分析…….古典测量理论的信度观点•测量分数组成–测量分数=真分数+测量误差–测验总变异量=真实分数的变异+随机误差变异•信度系数–1-误差占测量变异百分比–信度系数介于0与+1之间,数值越大,信度越高22221xexT222eTx22xTxxr第二节第十五章测验发展与信效度7/22☆量化研究與統計分析…….测量标准误SEM(StandardErrorofMeasurement)•信度表示测量分数的稳定与可靠性,亦表示测量受到测量误差的影响程度–测量分数的变异量,受到测量误差影响的部分,称为测量误差变异量,开方后称为测量标准误(σe)–测量误差被假设呈常态分配,因此测量标准误配合常态化机率可以用来进行测量分数的区间估计xxxrSEM1rxxX特质的测验信度exT96.1X分数的95%的信心区间第二节第十五章测验发展与信效度8/22☆量化研究與統計分析…….信度的类型•再测信度(test-retestreliability)–系指以同一种测量工具,对同一群受试者,前后测验两次的相关系数。又称稳定系数。•复本信度(a1ternate-formreliability)–同一群受试者接受两种复本测验的得分之相关系数。•折半信度...