|
知识点: 甄选的可靠性与有效性 一、信度 1. 概念 信度是指一种测试手段不受随机误差干扰的程度,它反映了一个人在反复接受同一种测试或等值形式的测试时所得到的分数的一致性程度。信度又称为测试的内部一致性程度和稳定性系数。 (1)信度是对任何一种测试工具的最基本要求。 (2)信度系数 2 信度的高低是用来信度系数表述的,信度系数介于0~1之间。 2 0表示信度最低,1表示信度最高。 2 一般情况下,信度系数不低于0.70的测试工具被视为信度较好。 2.常用的信度类型(4个)
| 重测 信度 | (1) 又称再测信度,指用同一种测试工具在不同的时间对同一群人进行多次测试所得到的结果的一致性程度。 (2) 用来考察一种测试工具在时间上的稳定性,具体信度系数用多次测试所得结果之间的相关系数来表示 (3) 时间间隔越长,,两次测试之间的相关系数就越低。 (4) 根据一般经验,两次测试的时间间隔为半个月到半年可能比较合适。 | | (1) 复本 所谓复本,是指在测试的结构、实际测试效果等方面与最初的测试工具基本保持一致的另一种测试工具。这种工具常常作为最初测试工具的备用测验。 【举例】高考以及很多重要考试中经常使用的A卷和B卷。 (2) 复本信度概念:使用两种功能等值但是表面内容并不相同的测试形式,然后考察在这两种等值的测试中被试者取得的分数之间的相关程度。 (3) 复本信度的高低反映了两个测验在内容上的等值性程度。 | | (1)概念 反映同一测试内容的各个题目之间的得分一致性程度。 一种很好的测试工具必须具有良好的内部一致性。 (2)考察内部一致性信度的方式 l 分半信度就是将一个测试中包含的题目一分为二,然后考察这两个半份测试结果之间的相关系数。 【举例】最常见的分半方法就是根据题目排列的奇偶数顺序来划分,即一半是奇数题,一半是偶数题。 l 同质性信度则是指一种测试内部的所有各个题目考查同一内容的程度。 表示同质性信度的一个常用参数是克伦巴赫α系数。 | | 概念:不同评价者在使用同一种测试工具时所给出的分数之间的一致性程度。 【举例】不同评价者给出不同评价的情况:情境模拟测试、投射测验、面试、无领导小组讨论等需要由专家或评价者来打分的情况;员工绩效考核。 |
(1) 测试过程要标准化,尽可能按照测量学的要求去做。 (2) 选取的样本要有广泛的代表性,当在总体中抽样时,样本应尽可能具有异质性,而不是集中于某一类人。 (3) 注意保持良好的测试环境,包括心理环境和物理环境,努力使被试者保持一种轻松自然的心态。 (4) 注意测试的难度。测试太难或太易都不好,因为很可能会出现地板效应(得分普遍过低)或天花板效应(得分普遍偏高)的现象。 (5) 注意测试的长度。尽管测试的条目越多,信度往往越高,但是太长的测试容易引起被试者的疲劳和厌倦,从而影响测试的质量。 二、效度 (一)概念 效度即有效性,反映了一种测试工具对于它所要测量的内容或特质进行准确测量的程度。 【注意】信度是效度的必要条件(但不是充分条件)。如果一项测试的效度较好,则其信度一定也比较高。 (二)常用的效度指标(3个) 1.内容效度 (1)概念 l 一项测试的内容与测试所要达到的目标之间的相关程度,即一项测试的内容能够代表它所要测量的主题或特质的程度; l 内容效度所要考察的是在测试中所涉及的问项、提出的问题或者设置的难点是否能够很好地反映实际工作情境或代表在实际工作中存在的典型问题 l 一份具有较高内容效度的测试将会使求职者置身于与实际工作非常类似的情境之中,然后测试求职者目前是否有足够的知识、技术或能力来处理将来可能会面临的这些情况 【举例】例如招聘打字员,一般凭据打字的速度及准确性招聘,效度是最高的;如用计算机维修技术作为测试方法,其内容效度就比较低。 (2)采用专家判断方法检验 (3)不太适合对智力、领导能力以及诚实性等较为抽象的特质进行评价。 (4)一项测试要想具有较好的内容效度,通常必须满足条件: l 确定好想要测试的内容的范围,并且使测试中的全部项目均在此范围之内; l 测试中的项目应当是已经界定好的内容范围中具有代表性的样本。 (5)局限性 l 首先,隐藏在内容效度背后的一个基本假设是:求职者在被雇用的时候已经具备了一定的知识、技术或能力。因此,如果一个组织准备在甄选和雇用求职者之后,再通过正式培训计划来教会他们掌握工作所必需的技能,那么内容效度就不太适合。 l 其次,由于在内容效度中主观判断的作用很大,因而必须设法将判断过程中的推测成分减至最少,最好是将评价者的评分建立在某种相对具体和可观察的行为的基础之上。 2.效标效度 (1)概念 也称效标关联效度,是指一种测试或甄选技术对被试者的一种或多种工作行为或工作绩效进行预测的准确程度。 特点:省时,但有可能无法准确预测应聘者未来的工作潜力。 (2)判断方法 l 看通过甄选测试所得到的分数与实际工作绩效得分之间是否存在实证性联系。 l 如果在测试分数与实际工作绩效分数之间存在明显的相关关系,那么便可以证明这种测试具有较好的效标效度。 【注意】与甄选工作有关的效标包括产出数量或质量、上级的评价结果、缺勤率、事故发生率、销售额以及组织认为代表绩效的其他一些指标 (3)效标关联效度的类型 a) 预测效度 l 概念:所要考察的是员工被雇用之前的测试分数与其被雇用之后的实际工作绩效之间是否存在实证性联系。 l 确定预测效度的基本方法 在雇用求职者之前首先对求职者进行某种测试,然后将他们中的一部分人雇用到组织中,等他们进入组织一段时间之后,再来考察这些人的实际工作绩效情况,最后来看这些人在被雇用前后的两组数据(即甄选过程中参加测试时的分数以及后来的绩效分数)之间的关联性。 l 如果两者之间的相关系数较高,则称这种测试具有较好的预测效度,即在这种测试中得分较高的人在未来的实际工作中往往也是绩效最好的人,这就意味着利用这种测试工具对求职者进行筛选是有效的。 l 存在的问题:这就是组织必须等待很长的时间。 b) 同时效度 l 含义:需要在同一时间获取上述两组数据,即考察求职者的测试分数与已经在某种岗位上从事工作的任职者的测试分数之间存在怎样的相关关系。 3.构想效度 (1)概念 也称结构效度,是指一项测试对于某种不可观察的、比较抽象的构想或特质进行测量的程度。即一项测试的结果是否能够证实或解释某一理论上的假设、术语或构想以及解释的程度如何。 (2)影响构想效度的因素 理论上的构想代表性不足 构想代表性过宽,以至于包括了无关事物。 (3)存在争议 因为有些构想概念非常模糊,缺乏一致性的定义,确定构想效度时也没有明确的操作步骤,没有单一的数量指标能够描述其有效程度。 随堂练习: 【例题:单选】一个测评工具的信度系数达到()时,表明该测试工具被视为信度较好。 A.0.50 B.0.60 C.0.70 D.0.80 【答案】C 【解析】信度的高低是用来信度系数表述的,信度系数介于0~1之间。0表示信度最低,1表示信度最高。一般情况下,信度系数不低于0.70的测试工具被视为信度较好。 【例题:单选】( )考察一种测试工具在时间上的稳定性。 A.重测信度 B.评分者信度 C.内部一致性信度 D.复本信度 【答案】A 【解析】重测信度又称再测信度,指用同一种测试工具在不同的时间对同一群人进行多次测试所得到的结果的一致性程度。 【例题:单选】考察求职者的测试分数与已经在某种岗位上从事工作的任职者的测试分数之间存在怎样的相关关系,由此取得的效度指标是( )。 A.内容效度 B.同时效度 C.效标关联效度 D.预测效度 【答案】B 【解析】同时效度考察求职者的测试分数与已经在某种岗位上从事工作的任职者的测试分数之间存在怎样的相关关系。 【例题:单选】关于信度与效度的说法,错误的是()。 A.信度与效度的含义不同 B.信度是效度的充分条件 C.信度是指一种测试手段不受随机误差干扰的程度 D.效度反映了一种测试工具对于它所要测量的内容或特质进行准确测量的程度 【答案】B 【解析】信度是指一种测试手段不受随机误差干扰的程度,它反映了一个人在反复接受同一种测试或等值形式的测试时所得到的分数的一致性程度。信度又称为测试的内部一致性程度和稳定性系数。效度即有效性,反映了一种测试工具对于它所要测量的内容或特质进行准确测量的程度。信度是效度的必要条件(但不是充分条件)。
|