Le coefficient de fiabilité ou de généralisabilité (G) de l’échelle de confiance était de 0,73 (intervalle de confiance 95 %, 0,70 à 0,76), et la cohérence interne était de 0,86 (IC 95 %, 0,84 à 0,88). Les analyses ont été dérivées à partir de 2309 résultats CCAT de 35 résidents. Les corrélations de Spearman ont mesuré la relation entre des notes moyennes sur l’échelle de confiance et les scores de percentile aux examens de connaissances en anesthésiologie AKT-1 et AKT-6, les scores moyens à l’Examen clinique objectif structuré (ECOS), et les classements de performance par le Comité de compétences cliniques (CCC). La fiabilité de l’échelle de confiance a été estimée à l’aide de la théorie de la généralisabilité. Les notes sur les échelles de confiance ont été évaluées pendant les évaluations quotidiennes à l’aide d’un Outil d’évaluation des compétences cliniques (CCAT – Clinical Case Assessment Tool) dans les cadres préopératoire, peropératoire et postopératoire. Les notes sur les échelles de confiance ont été colligées pendant les sept premiers blocs de formation de trois cohortes de résidents. Cette étude a évalué les données de généralisabilité et d’extrapolation des échelles de confiance dans le cadre d’un programme d’évaluation pendant la formation en anesthésiologie. Toutefois, les propriétés psychométriques de l’évaluation basée sur la confiance sont relativement peu connues, particulièrement en anesthésiologie. Se fondant sur des évaluations basées sur le travail, les échelles de confiance sont apparues comme une méthode pour décrire la capacité d’un résident à performer de façon compétente. La formation médicale fondée sur les compétences nécessite une évaluation rigoureuse dans des environnements cliniques authentiques. Interpreting entrustment scores in this setting may constitute a valuable adjunct complementing traditional summative evaluations. Intraoperative entrustment scores had good reliability and showed acceptable internal consistency. ConclusionĪs part of an assessment program, entrustment scales used early during anesthesiology training showed evidence of validity. Intraoperative entrustment scores significantly correlated with the AKT-6 (rho = 0.51, P = 0.01), mean OSCE (rho = 0.45, P = 0.04), and CCC performance rankings (rho = 0.52, P = 0.006). The reliability or generalizability (G) coefficient of the entrustment scale was 0.73 (95% confidence interval, 0.70 to 0.76), and the internal consistency was 0.86 (95% CI, 0.84 to 0.88). ResultsĪnalyses were derived from 2,309 CCATs from 35 residents. Spearman’s correlations measured the relationship between median entrustment scores and percentiles scores on the Anesthesia Knowledge Test (AKT)-1 and AKT-6, mean Objective Structured Clinical Examination (OSCE) scores, and rankings of performance by the Clinical Competence Committee (CCC). The reliability of the entrustment scale was estimated using generalizability theory. Entrustment scores were assessed during daily evaluations using a Clinical Case Assessment Tool (CCAT) within the preoperative, intraoperative, and postoperative setting. MethodsĮntrustment scores were collected during the first seven blocks of training for three resident cohorts. This study assessed the generalizability and extrapolation evidence for entrustment scales within a program of assessment during anesthesiology training. Nevertheless, psychometric properties of entrustment-based assessment are relatively unknown, particularly in anesthesiology. Using work-based assessments, entrustment scales have emerged as a means of describing a trainee’s ability to perform competently. Competency-based medical education requires robust assessment in authentic clinical environments.
0 kommentar(er)
