另外,在给领域认知模型选择合适的概念架构时,还可以从命题的角度进行考虑。因为作为某个领域测验的题目,它需要有足够的代表性,能代表测量的目标,还能保证测量结果的稳定性,同时题目总量又不能太多。作为任务或刺激材料的题目,总是会存在领域具体性的问题。因此,一般来说,领域越一般的概念需要越多的题目才能代表它的完整结构,而领域越具体的概念需要的题目量则越少。即使题库的题目数量足够大,但对被试的某一次测试来说,它的测量目标领域还是有限的,测试的题目量也是有限的。因此,对于测量的目标领域非常具体的测验,可以从任务内容的角度进行分类,如各学科的单元测验和学期测验。当测量的目标领域更一般化时,需要使用更一般的概念,如升学考试的测量目标、工作中人才选拔的测量目标等。
通过具体任务来描述领域目标,这种方式的优势是直接、直观、易理解、易操作。然而,它存在的问题是列举的任务内容可能没有全面真实地代表该领域的潜在特质结构;通过潜在特质结构来描述领域目标,这种方式的优势是自上而下统合各类知识、技能和策略,具有较好的逻辑理论基础,这种描述方式的不足是测量中难以操作化。比较好的解决办法是将两种领域目标的描述方式相结合,使自上而下的理论逻辑与自下而上的材料列举有机统一。比如,语文能力评价中,首先研究确定语文能力的潜在特质结构,它包括语言的基础理论知识和语言的实际应用能力。语言的实际应用能力包括语言理解能力和语言表达能力。语言表达能力包括书面表达能力和口头表达能力。书面表达能力就体现在各类具体的任务工作中,如公文写作、散文写作、议论文写作、叙事文写作等,对于每类写作任务又可以提出具体的要求。至此,语文能力评价目标就把潜在特质结构描述有机地与具体的问题任务结合在一起,既能够较好地保证领域潜在特质结构的完备性,又能够保证问题任务有较好的代表性。
二、领域认知模型的构建
在确定了定义领域目标的参考概念架构后,接下来就是要对测量目标的认知模型进行构建。认知模型的构建过程需要将文献调查、专家定义和数据分析有机地结合在一起进行,具体步骤可以参考如下。
第一,研究人员对该领域有关的文献进行详尽的梳理,了解已有的关于该领域测量目标的定义。
第二,专家结合文献资料,初步确立领域目标认知模型,包括测量的知识、技能、问题解决策略等,以及这些成分之间的结构关系。针对每个认知模型节点(每一种认知成分或任务类型),专家需要命制一些有代表性的示例题目(具体任务)来解释它。
第三,将专家命制的示例题目组成试卷(假设专家定义的题目属性正确,题目属性定义和检验见下节内容),收集一批有代表性的被试测试数据。测试数据需要包括尽量详尽的解题过程信息、被试作答过程中的出声思考(thinkaloud)信息以及作答结果信息。
基于被试提供的详尽的解题过程信息和出声思考信息,可以具体分析被试在答题过程中使用到的知识点和解题的策略(protocolanalysis)。对原始答题信息进行分析已经被公认为是一种有效的识别题目测量的具体知识成分及认知加工过程的方法。
另外,基于作答结果信息,我们还可以尝试针对专家定义的认知模型进行被试离散性检验和题目作答关联性检验。
被试离散性检验就是针对每个认知成分检验被试作答得分的离散性程度。离散性程度显著偏低就需要考虑对定义的认知模型进行修订。得分的离散性程度偏低可以分成两种情形:一种是被试基本掌握了该认知成分,则应该考虑删去该认知成分;另一种是被试基本未掌握该认知成分,如果的确属于该群体的测量目标,那么就应该将该认知成分进行进一步细分。
题目作答关联性检验是检验题目所代表的认知成分之间的关系。简单的检验方法就是检验每两个存在关联的认知成分之间的平均得分差异。作为前置条件的认知成分得分应该不低于作为后置条件的认知成分得分。
哦豁,小伙伴们如果觉得倾城文选不错,记得收藏网址 或推荐给朋友哦~拜托啦 (>.<)
传送门:
认知诊断评价理论基础
认知诊断理论
认知诊断评价理论基础是什么