关键词职业技能评价;职业教育;有效性框架;证据;修正式德尔菲法
作者简介
黄方慧（1988-），女，中国消防救援学院讲师，博士，研究方向：教育评价，技能评价（北京，102202）;赵志群（1966-），男，北京师范大学教授，博士，博士生导师，研究方向：职业教育课程与教学论
基金项目
一、问题提出
2019年1月，国务院颁发《国家职业教育改革实施方案》（国发[2019]4号）（简称“职教20条”），提出在职业院校和应用型本科高校启动“学历证书+职业技能等级证书”（即“1+X”证书）试点工作，这项工作是否能够成功，在很大程度上取决于职业技能评价的质量，而评价方法对技能评价结果的真实性与可信度具有直接影响。目前，国内对技能评价的方法和工具研究较弱，现有评价方法普遍在技术上缺乏系统性考虑，如高职招生考试特别是专业考试，无法保证区分度、信度和效度[1];评价标准不清晰，评分随意，评价结果缺乏客观性和公平性等[2]。虽然部分技能评价方法已经开始从评价技术上探讨评价方法有效性问题，例如检验评价方法的信度、效度、区分度和难度等，但尚缺乏对技能评价方法的系统性元评价研究，也未形成技能评价方法的质量标准。
二、研究方法
三、研究过程与结果
本研究首先通过文献研究确定高质量的技能评价方法要满足哪些评价技术质量标准;其次明确已有可借鉴的有效性评价方式和框架;最后采用修正式德尔菲法进行有效性框架的构建和质量测算。
（一）专家咨询质量测算
为保证修正式德尔菲法专家咨询的质量，对专家积极系数、权威度、意见协调度进行测算。
1.专家积极系数
2.专家权威度
考虑到不同专家对不同指标权威度理解的差异，需要获取专家对指标的熟悉程度和判断依据。根据权威度要求，剔除部分不符合要求的专家。熟悉程度和判断依据的赋值均参照已有研究[10]。邀请专家根据实际情况对评判依据做出自评，按照等级分值及公式算出专家权威系数。一般认为专家权威系数Cr大于等于0.700即为可接受，研究剔除了权威系数低于0.700的两位专家，入选的6位专家的权威系数分布如表1所示，6位专家的权威系数都在0.800及以上，所选专家具有较高的可信度。
3.专家意见协调度
专家意见协调程度有两种测算方法，一种是通过变异系数计算，另一种是通过肯德尔系数计算，获得专家对某指标意见的分歧。变异系数越小表示意见协调程度越高，通常认为变异系数小于0.25可接受，变异系数大于0.25表示专家分歧较大。研究选取0.25作为变异系数的基准数进行指标筛选。肯德尔协调系数（W）是检验专家对指标评分结果一致性的指标，判断专家对指标的评价是否存在较大分歧。数据显示，第一轮和第二轮专家咨询的肯德尔系数分别为0.462和0.560，均在可接受范围内。
（二）第一轮专家咨询
将第一轮问卷数据录入数据处理软件SPSS26中，计算平均数、标准差和变异系数，对有效性框架进行量化和质性分析。根据数据分析结果，对指标体系进行修改和完善。研究以算术平均分大于3.50分、标准差小于1.00、变异系数小于0.25作为指标筛选标准。
1.量化分析
测算结果显示，第一轮专家咨询问卷中个别指标变异系数大于0.25，说明专家有不同意见。其中，一级和二级指标的算数平均值均大于3.50，标准差小于1.00，变异系数均小于0.25，说明专家认同一级和二级指标。三级指标中，III-1、III-13、III-27三个指标的标准差均大于1.00、变异系数也大于0.25，其他三级指标的算术平均分均大于3.50、标准差小于1.00、变异系数小于0.25，说明专家对III-1、III-13、III-27指标持有不同意见，见表2。针对有异议的指标，研究者与专家进行深入沟通与交流，最后达成共识。
2.质性分析
综合以上量化和质性分析结果，研究对指标体系进行优化与完善，形成第二轮专家咨询问卷。
（三）第二轮专家咨询
针对第一轮专家咨询修改后的指标体系，邀请专家再次对指标的合理性进行评分。将专家数据录入SPSS26中，计算标准差、平均数和变异系数。计算结果显示，指标体系的一级、二级和三级指标的算术平均数均大于3.50、变异系数均小于0.25、标准差小于1.00，说明专家对指标达成一致意见。在第二轮专家咨询问卷中，没有专家提出问题和建议。综上，可认为专家都认同第一轮问卷修改后的指标体系。
经过两轮专家咨询问卷，确定技能评价方法有效性框架，包括4项一级指标、11项二级指标和33项三级指标，如表3所示。
四、结论与建议
（一）结论
研究借鉴语言测试的论证框架，通过文献研究法、访谈法、修正式德尔菲法构建职业技能评价方法的有效性框架，得到以下结论：
1.信度、效度是职业技能评价方法在评价技术上最重要的质量标准
3.对职业技能评价方法的有效性评价是基于证据的有效性论证
4.所构建的有效性框架具有良好的应用价值和可推广性
研究所构建的职业技能评价方法有效性框架，通过两轮专家咨询达成了专家共识，即专家认同本研究所构建的有效性框架;专家积极系数、权威度和意见协调度也符合要求，咨询质量较高，具有较强的可信度。综上，所构建的有效性框架可应用于现有的职业技能评价领域。目前我国已有的职业技能考试，普遍存在缺乏从评价技术上考虑评价方法质量的问题。研究所构建的框架是一个通用的有效性框架，一方面可以为建立有效的“职教高考”制度、完善“文化素质+职业技能”的考试招生办法、改进技能大赛考核方法等提供理论基础和方法指导;另一方面可以规范职业技能评价方法的设计，改善我国职业技能评价方法的质量，提高职业技能评价结果的科学性和可信度。
（二）建议
1.职业技能评价方法的设计应将信度和效度理论作为理论基础
参考文献
[1]邵坚钢，张定华，许乐清.基于综合素质评价的高职提前招生研究[J].中国职业技术教育，2017（18）：53-56.
[2]雷炜.深化高职院校招生模式改革的思考——以浙江省为例[J].中国高教研究，2016（10）：98-102.
[3]张厚粲，刘红云.提高考试的科学性完善考试的功能[J].中国考试（研究版），2007（1）：9-11.
[4]TOULMIN，S.E.Theusesofargument[M].Cambridge：CambridgeUniversityPress，1958：11-217.
[5]KANE，M.T.AnArgument-basedapproachtovalidity[J].PsychologicalBulletin，1992（3）：527-535.
[6]BRENNAN，R.L.EducationalMeasurement（4thed.）[M].Westport，CT：Praeger，2006：17-64.
[7]BACHMAN，L.F.，PALMER，S.A.Languageassessmentinpractice：Developinglanguageassessmentsandjustifyingtheiruseintherealworld[M].Oxford：OxfordUniversityPress，2010：93-107.
[8]CROBACH，L.J.Designingevaluationofeducationalandsocialprograms[M].SanFrancisco：Jossery-Bass，1982：279-324.
[9]SHARKEY，B.，SHARPLES，Y.AnapproachtoconsensusbuildingusingtheDelphitechnique：developingalearningresourceinmentalhealth[J].NurseEducationToday，2001，21（5）：398-408.
[10]萬崇华，许传志.调查研究方法与分析[M].北京：中国统计出版社，2016：140.
[11]漆书青，戴海崎，丁树良.现代教育与心理测量学原理[M].北京：高等教育出版社，2002：261-264.
[12]BACHMAN，L.F.Fundamentalconsiderationsinlanguagetesting[M].Oxford：OxfordUniversityPress，1990：10-35.
[13]杨惠中.有效测试、有效教学、有效使用[J].外国语，2015（1）：2-26.
[14]BACHMAN，L.F.，PALMER，S.A.LanguageTestinginPractice[M].Oxford：OxfordUniversityPress，1996：1-24.
[15]赵志群，孙钰林，罗喜娜.“1+X”证书制度建设对技术技能人才评价的挑战——世界技能大赛试题的启发[J].中国电化教育，2020（2）：8-14.
[16]FRISBIE，D.A.Measurement：somefundamentalsrevisited[J].EducationalMeasurement：IssuesandPractice，2005（3）：21-28.
[17]STIGGINS，R.Newassessmentbeliefsfornewschoolmission[J].PhiDaltaKappan，2004（9）：22-27.
[18]KUNNAN，A.J.Testfairness[C]//MILANOVIC，M.，WEIR，C.Europeanlanguagetestinginaglobalcontext[C].Cambridge：CambridgeUniversityPress，2004：27-48.
[19]姜大源.职业教育的考试方法论[J].中国职业技术教育，2007（34）：1+8.
[20]埃贡G.古贝，伊冯娜S.林肯.第四代评估[M].北京：中国人民大学出版社，2008：2-23.
[21]闫宁.高等职业教育学生学业评价研究[D].西安：陕西师范大学，2012：19.827AFB11-E725-4353-B6B1-98A9710221ED
[22]田中耕治.學习评价的挑战：表现性评价在学校中的应用[M].上海：华东师范大学出版社，2015：26.
[23]谢小庆.考试公平的三种不同含义[C]//谢小庆.谢小庆教育测量学论文集.北京：北京语言大学出版社，2012：81-85.
ConstructionofEvidence-basedValidityFrameworkforVocationalCompetenceEvaluationMethod
HuangFanghui，ZhaoZhiqun
Keywordscompetenceevaluation;vocationaleducation;validityframework;evidence;modifieddelphimethod
AuthorHuangFanghui，lecturerofChinaFireandRescueInstitute（Beijing102202）;ZhaoZhiqun，professorofBeijingNormalUniversity827AFB11-E725-4353-B6B1-98A9710221ED